CC BY
67
ОЦЕНКА ПОГРЕШНОСТИ ИЗМЕРЕНИЯ ГЕОМЕТРИЧЕСКИХ ПАРАМЕТРОВ ОБЪЕКТОВ ПРИ ПРОЕКТИРОВАНИИ СТЕРЕОСКОПИЧЕСКИХ СИСТЕМ
А.В. Горевой 12 3, В.Я. Колючкин 2, А.С. Мачихин 13 1 Научно-технологический центр уникального приборостроения РАН, г. Москва, Россия, 2Московский государственный технический университет имени Н.Э. Баумана, г. Москва, Россия, 3Национальный исследовательский университет «МЭИ», г. Москва, Россия
Статья посвящена обоснованию метода оценки погрешностей стереоскопических систем, предназначенных для измерения трехмерных координат и геометрических параметров объектов. Такой метод требуется на этапе их проектирования для оптимизации конструктивных параметров систем регистрации и параметров алгоритмов обработки данных и должен быть применим для различных математических моделей систем регистрации при наличии данных о погрешностях определения координат соответствующих точек на изображениях, а также погрешностях определения параметров системы регистрации при калибровке. Проведен анализ известных методов оценки погрешностей путём сравнения с результатами моделирования по методу Монте-Карло для проективной и трассировочной моделей систем регистрации. Показано, что сигма-точечное преобразование (unscented transformation) обеспечивает более высокую точность оценки и универсальность, чем метод линеаризации. На примере измерения длины отрезка показано, что использование симметричного доверительного интервала, построенного по среднему значению и дисперсии, может приводить к недостоверной оценке погрешности измерения геометрических параметров. Предложен метод расчета доверительных интервалов на основе комбинации сигма-точечного преобразования и интервальных оценок. Его эффективность подтверждена результатами математического моделирования. Полученные результаты могут быть использованы для проектирования как пассивных стереоскопических систем, так и активных триангуляционных систем, а также усовершенствования их программного обеспечения.
Ключевые слова: стереоскопические оптические системы, измерение геометрических параметров, калибровка, оценка погрешности измерения.
Цитирование: Горевой, А.В. Оценка погрешности измерения геометрических параметров объектов при проектировании стереоскопических систем / А.В. Горевой, В.Я. Колючкин, А.С. Мачихин // Компьютерная оптика. - 2018. - Т. 42, № 6. - С. 985-997. - DOI: 10.18287/24126179-2018-42-6-985-997.
Аннотация
Стереоскопический метод измерения трехмерных координат объектов широко используется для решения различных задач технического зрения, в медицине, биологии и других областях. Данный метод является бесконтактным, пассивным, позволяет проводить измерения во всех точках изображения и создавать текстури-рованные трехмерные (3Б) модели объектов. Для реализации метода требуется система регистрации, позволяющая получить изображения объекта с двух и более ракурсов. Калибровка такой системы и определение соответствующих точек на изображениях позволяют вычислять трехмерные координаты точек объекта и производить геометрические измерения его параметров в соответствии со схемой, показанной на рис. 1 [1]. Алгоритм вычисления трехмерных координат использует математическую модель формирования изображения (ММФИ), параметры которой определяются при помощи алгоритма калибровки. Такая модель содержит минимум информации о системе регистрации изображений, необходимый для вычисления 3Б-координат точки по ее двумерным (2Б) проекциям на изображениях. Эта информация также может использоваться для ограничения области поиска или дополнительной обработки изображений (устранения дисторсии, ректификации) при поиске соответствующих точек. Это показано пунктиром на рис. 1.
Введение
Рис. 1. Основные этапы обработки данных при использовании стереоскопического метода
Известны различные схемы регистрации изображения объекта с нескольких ракурсов: с отдельными оптическими системами (ОС) и матричными приемниками излучения (МПИ), с перемещением одной ОС и МПИ, а также сложные ОС, позволяющие регистрировать изображения с разных ракурсов на одном МПИ поочередно [2, 3] или одновременно за счет использования призм [4 -7], зеркал [8, 9] или дифракционных решеток [10]. В зависимости от типа ОС для их описания используются различные ММФИ [4 -7, 11], которые часто в явном виде содержат конструктивные параметры ОС, МПИ или отдельных элементов (фокусное расстояние, координаты центра входного зрачка, показатель преломления материала призмы, размер пикселя и др.).
При проектировании измерительных стереоскопических систем критерий качества формируется
исходя из величины погрешности измерения трехмерных координат и геометрических параметров объекта. Основные источники погрешности и ее преобразования на различных этапах обработки данных показаны на рис. 2. При этом на свойства зарегистрированных изображений (пространственное разрешение, отношение сигнал/шум, дисторсия) влияет множество факторов, из которых только малая часть представлена в ММФИ, что не дает возможности анализировать их, не вводя более подробных математических моделей. С другой стороны, ММФИ достаточно для расчета преобразования погрешности в пределах выделенной на рис. 2 зоны, что позволяет использовать ее для предварительных расчетов на начальном этапе проектирования и для формулировки основных требований к ОС и МПИ на последующих этапах [12].
Характеристики МПИ: размер элемента, чувствительность, щум,
С'Погрешность 20-координат
Погрешность параметров калибровки
Зона работы метода \ оценки погрешности \
Алгоритм вычисления 3И-координат
Погрешность ЗВ-координат точек
Алгоритм измерения геометрических параметров
Рис. 2. Основные источники погрешности измерения геометрических параметров объекта стереоскопическим методом
Таким образом, для расчетов необходимо иметь метод оценки погрешности, который позволяет вы-
числить ее при известных погрешности определения координат соответствующих точек на изображениях и погрешности параметров калибровки (входные данные метода). Выбор вида представления погрешности (доверительный интервал, среднеквадратиче-ское отклонение (СКО) или др.) зависит от метода. Чтобы на этапе проектирования иметь возможность сравнения различных типов ОС, данный метод должен быть достаточно универсальным относительно ММФИ. Наличие такого метода также необходимо в процессе эксплуатации, например, для выдачи рекомендаций оператору и принятия решений о корректности результатов контроля.
В настоящее время разработано несколько методов для оценки погрешности, которые могут быть применены для решения данной задачи. Одним из них является метод интервальных оценок, основанный на задании значений погрешности в виде доверительных интервалов [13]. Его недостатками являются завышенные результирующие значения погрешности и сложность применения к преобразованиям, заданным в неявном виде. Метод применялся для оценки погрешности 3Б-координат, полученных стереоскопическим методом при использовании проективной модели [14], а также
для оценки погрешности в задачах определения положения и ориентации робота по измеренным 3Б-координатам объектов [15, 16]. Использование метода для произвольной ММФИ затруднительно.
Другую группу составляют методы, в которых погрешность характеризуется параметрами плотности распределения вероятностей. Так, в работах [17, 18] распределение вероятностей для 3Б-координат точки было рассчитано аналитически при использовании упрощенной проективной модели. В случае, когда ММФИ и алгоритм вычисления 3Б-координат описываются нелинейными преобразованиями или преобразованиями, заданными в неявном виде, обычно используется линеаризация. Такой подход чаще других применяют для оценки погрешности 3Б-координат, полученных стереоскопическим методом [5, 12, 19 - 21]. При этом обычно принимают допущение о нормальном законе распределения (НЗР) входных данных и для описания используются их средние значения и матрицы ковариации. Однако данный метод не позволяет оценить смещение оценки и может приводить к значительным ошибкам, которые зависят от вида нелинейного преобразования.
Подходом, альтернативным линеаризации нелинейных преобразований, является использование сигма-точечного преобразования (unscented йап^ог-
mation, далее - UT-метод) [22, 23]. В данном методе погрешность задается средним значением и матрицей ковариации; при расчете нелинейное преобразование применяется к специальным образом сформированной выборке из входных данных. Чаще всего применяется для модификации фильтра Калмана (Unscented Kalman filter) при прослеживании положения и скорости движения объекта. Достоверность получаемых оценок зависит от выбора внутренних параметров метода [24 -26]. Метод пригоден для любых ММФИ и алгоритмов вычисления 3Б-координат, поскольку рассматривает их как «черный ящик», позволяет оценить смещение оценки и уже использовался для расчета погрешности измерения геометрических параметров призменно-линзовой стереоскопической системой [27, 28]. По сравнению с методом, в котором используется линеаризация нелинейных преобразований, UT-метод обеспечивает большую точность оценки для проективной ММФИ [29].
Самым надежным и универсальным методом оценки погрешности является моделирование на основе метода Монте-Карло, однако его использование при оптимизации параметров системы или оценке различных вариантов на стадии проектирования невозможно из-за высокой вычислительной сложности.
Приведенные в литературе результаты исследований эффективности перечисленных выше методов в основном касаются только проективной ММФИ и не позволяют сделать однозначного вывода о преимуществе одного из них.
Целью исследований, изложенных в статье, является обоснование метода оценки погрешностей стереоскопических систем, предназначенных для измерения трехмерных координат и геометрических параметров объектов. Для достижения этой цели проведён сравнительный анализ метода линеаризации, метода интервальных оценок и UT-метода применительно к таким системам. В данной работе эти методы сравниваются с результатами моделирования Монте-Карло для проективной (на примере типовой системы регистрации из двух камер) и трассировочной (на примере эндоскопической призменно-линзовой ОС) ММФИ.
1. Математическая модель
формирования изображения
Обобщенная ММФИ может быть записана в виде
р,-=Pi о Ei(lw ,), где lw i- вектор 3Б-координат прямой в
глобальной системе координат (ГСК) и р,- вектор 2Б-координат соответствующей точки в плоскости изображений i-й камеры, i = 1...N, N - количество камер [7, 11, 12, 30]. Вектор координат прямой lw i включает 3D-координаты точки Cw и направляющего вектора Vw:
1 w _ (cw , vw ) .
Обозначение Ei используется для евклидова (жесткого) преобразования х,- = Ei(xw) = R,Xw+ ti, переводящего 3D-координаты точки xw из ГСК в систему координат (СК) i-й камеры (Ri - матрица поворота, ti - вектор переноса), т. е.
1, = E, (1 w) = ((, vf )
при с,-=R,Cw+ ti , у, = RiVw. Преобразование P, определяет соответствие р, = Р,(1,) между лучом 1, в пространстве предметов i-й камеры и точкой р, в ее плоскости изображения. Знак «◦» используется для последовательного применения преобразований, то есть P, о E,(1wi) = P,(Ei(1wi)). Набор преобразований E, и
Pi описывается вектором параметров k, который определяется в результате калибровки. Аналогично можно записать обратное преобразование 1 w , = E, 1 о P, 1 (р,), позволяющее найти луч 1w, в
ГСК для каждой точки р, в плоскости изображения. ММФИ можно разделить на две большие группы в зависимости от того, прямое или обратное преобразование записано для них в явном виде.
Проективная модель. Наиболее широко в компьютерном зрении используется центральная проективная (pinhole) модель [1, 11, 20, 31]. Она подразумевает, что все лучи 1, для i-й камеры проходят через центральную точку (центр проекции):
1 i =((0,0,0) ,vf )T .
Следовательно, можно использовать одну точку x, для задания каждого луча и заменить 1,- на х,- и 1w,- на Xw в выражениях выше (см. рис. 3).
Обычно в такую модель дополнительно включают дисторсию ОС, тогда преобразование Р,- записывают в виде комбинации простых преобразований [30]
р, = Р о Е, (х) = Л, о Б, о Е о Ег (х), (1)
где Е - центральная проекция на единичную плоскость х} = Е (х,); Б, - 2Б-преобразование дисторсии
х'= Б, (х, ) и Л, - 2Б аффинное преобразование
р I = Л (х1). В зависимости от типа ОС преобразование
дисторсии Б,- представляется в виде полиномиальных или более сложных моделей [1, 11, 30, 31]. Чисто проективная модель (не включающая преобразование Б,) поз-
воляет записать и прямое, и обратное преобразование в явном виде. Полиномиальные модели дисторсии не всегда имеют явное выражение для обратного преобразования D1, вместо него используется итерационная процедура [11, 30]. В этом случае проективная ММФИ с дисторсией относится к первой группе.
Трассировочная модель. Вторая группа ММФИ включает трассировочные модели, в которых луч lwi в ГСК определяется путем задания точек пересечения луча с двумя плоскостями [11], в том числе при помощи полиномов [32] или при помощи трассировки от плоскости изображения через стеклянную пластину [3] или призму [4, 6, 7]. Как правило, такие ММФИ являются нецентральными и вычисление прямого преобразования для них требует итерационного метода (ray aiming), так как направляющий вектор луча 1wi для произвольной точки Xw заранее неизвестен.
В данной работе в качестве примера используем ММФИ для системы, регистрирующей два изображения на одном МПИ за счет применения призмы [4, 6, 7]. Для описания трассировки лучей введем обозначение для преобразования луча 1t, =St, i (Ья, ) при его преломлении на k-й поверхности для i-й части изображения согласно закону преломления в векторном виде (рис. 4).
©(g)
Рис. 4. Трассировочная ММФИ для призменно-линзовой системы
Для определения координат луча 1о, используется обратная проективная модель, далее рассчитывается преломление луча на двух поверхностях призмы. Преобразование Р-1 зависит только от параметров основной ОС и МПИ и является одинаковым для обеих частей изображения. Подобно выражению (1), обратное преобразование можно представить в виде последовательности преобразований
l w i = E-1 о Pr1 (Pi ) =
= E-1 о S2,i о SU о F-1 о D-1 о Л-1 (p,),
(2)
где преобразование Е одинаково для обеих частей изображения в соответствии с выбором СК [7]. На рис. 4 преобразование Е показано как единичное. Преобразование Б-1 здесь учитывает только радиальную дисторсию и записано в явном виде.
Алгоритм вычисления ЭБ-координат. Вычисление 3Б-координат точки по N ее 2Б-проекциям р,- рассматривается как задача минимизации вида
Xw = argmin (C (x w, p, k)),
(3)
где р = (рТ, р2,..., pN) , С - оценочная функция.
Обозначим алгоритм вычисления 3Б-координат (триангуляции) как алгоритм Т, решающий данную задачу минимизации: Х* = Т (р,к). Обычно в качестве
такого алгоритма используются итерационные алгоритмы, такие как алгоритм Левенберга-Маркуардта [20]. Выбор оценочной функции С в общем случае не очевиден, поскольку он зависит от априорных данных о положении точки и ее проекций р,, статистики погрешности измерения координат проекций и свойств ММФИ. Для ММФИ первой группы, таких как центральная проективная ММФИ, лучшим выбором оценочной функции является расстояние Маха-ланобиса в плоскости изображения [20, 21]
С(Хте,р,к) = (р-р)Т Ер1 (р-р), (4)
где р = (рТ,р2,...,рN)Т, р, = Р, °Е, (Х*)- оценка координат проекции точки Х* в плоскости изображений ,-й камеры, а Е-1 - обратная (или псевдообратная с учётом ранга) матрица ковариации ошибки измерения координат для р. Поскольку преобразования Е,- и Р,- зависят от к, р в формуле (4) является функцией р (Хте, к). Для
ММФИ второй группы, не имеющих прямого преобразования в явном виде, целесообразно использовать оценочную функцию на основе расстояния ё от точки до лучей 1т- в ГСК:
d2 (xw, lw i ) = b ,tb i, b i =(ld3x3 - vw ivw iT )(cw i - Xw ),
(5)
где Мэхэ - единичная матрица размера 3x3. Введя обозначения
ё2 (Хте, 1 * , ) = Ь ,Т Ь i,
ь = (, Ь ь N )Т
и 1 * =( 1Т , ^2Т ,..., 1 w ^ )Т ,
запишем оценочную функцию аналогично (4):
С ( р, к ) = Ь Т Е -1Ь, (6)
где Еь - матрица ковариации для Ь, которую можно выразить через Еь на основе выражений (5) в виде
Еь =
5b 51 w
51 w T 5b T
(7)
51 * 5р 5р 51 *
В соответствии с выражениями (2) и (5) 1Ь также
является функцией Ь(Х-*,р,к). Для вычисления
51* / 5р требуется продифференцировать выражение (2), для вычисления 5Ь / 51«, - выражения (5).
x
w
2. Методы оценки погрешности
Допустим, что для принятой ММФИ с известным набором параметров к вектору 3Б-координат х— соответствует вектор координат точек в плоскостях
изображений р = ((,р^,...,рЖ) . В случае измерения 3Б-координат точки х— постановку задачи для метода линеаризации и иТ-метода можно определить в следующем виде: найти смещение оценки Е[х— - х— ] и апостериорную матрицу ковариации Ех для вычисленного значения х— при известном среднем значении Е[р -р] = Е[р]-р и матрице ковариации Ер. Здесь и далее оператор Е[ ] обозначает математическое ожидание.
Для оценки погрешности геометрических измерений в исходных данных должны присутствовать координаты всех точек, участвующих в рассматриваемом измерении (например, 2 точки для измерения длины отрезка, 3 точки для измерения площади треугольника, 4 точки для измерения расстояния от точки до плоскости и т. д.). Будем считать, что в рассматриваемом измерении участвует М точек, для каждой из которых определим вектор 3Б-координат х— и вектор проекций р■>, ] =1..М, так, чтобы измеренное по этим координатам значение некоторого скалярного геометрического параметра г было равно его «истинному» значению 7. В данном случае задачей метода будет определение смещения оценки Е [7 - 7] и СКО стг для вычисленного значения геометрического параметра г при известных средних значениях Е [рг - рг ] и общей матрице ковариации
Ер г для ошибки измерения вектора рг = (р1 т, р2Г,^,рМ т)т координат всех точек.
Метод линеаризации. Чтобы использовать метод линеаризации, воспользуемся теоремой, приведенной в [19], для задачи минимизации (3). В случае использования ММФИ первого типа и оценочной функции (4) для измерения 3Б-координат точки получим
Е[ - х— ] = ^Е[р -р] = Жр1 |р-Г Е-1Е[р -р],
Е х = Эх—Е р % = Жр-1,
Эр Эр
(8)
где Жр =
Эр
Эх —
-1
Эх —
для вычисления производных др / дхте используется выражение (1). Если требуется учесть влияние погрешности параметров калибровки, разложим преобразования РрЕ{ в ряд по степеням к в окрестности к и используем приближение первого порядка
Э(°Е, (хте))
р, -р, ~ р, -Р о Е, (х— )-
Эк
'(к - к). (9)
В случае, когда погрешности для р и к независимы, выражения (8) примут вид
Е[ -]=ЭхрТЕ[р-Е[к-к] =
= Ж,
1 £ Е-'(Е[р-р]-ЭрЕ[к-к]
Е =_Эх—Е Эх—т Е эх—т
Ех = . ер . + _ Ек"
(10)
= Ж,-1 + Ж,
Эр Эр
-1 Эр
Эк
-1 эр
Эк
Эр т
Е Р Е к Е
Эр
Жр-т,
Эх Эк Эк Эх-р
где Е [к - к ] = Е [к]- к - среднее значение и Ек -
матрица ковариации отклонений к от к . Вывод выражений для др / дк зависит от принятой параметризации преобразований в выражении (1).
Для ММФИ второго типа и оценочной функции (6) указанная теорема применяется аналогично, в выражениях (8 - 10) нужно заменить р на Ь, Ер на Еь и использовать Е1 1 о Рг 1 вместо РрЕг в выражении (9). Отметим, что для применения теоремы алгоритм т должен решать задачу минимизации типа (3).
Чтобы оценить погрешность измерения скалярного геометрического параметра г методом линеаризации, вначале определим смещения Е [х— г - х— г ] и
матрицу ковариации Ех г ошибки измерения объединённого вектора трёхмерных координат
х — г
т х 2 т
„М т '
для всех точек, участвующих в измерении. Для этого используем формулы (8 - 10), где заменим все вектора и матрицы на их объединённые для всех точек аналоги:
р на рг, х— на х— г =(х—т, хрт
Эр
Эх—
Эр
Эр г
на = dlag
Эх р
((
Эр1 Эр2
0-М т'
Эр
М
Эх— Эх—
Эх-
М
Эр г
— на -5— Эк Эк
^Эр1 т Эр2т
"ЭГ , "Эк" :
Эр
М
т Л
Эк
и т. д. Следует отметить, что при наличии погрешностей калибровки ошибки измерения 3Б-координат отдельных точек х— могут быть зависимыми даже при независимых ошибках координат на изображении р^, т. е.
Ех г *^(ЕХ,ЕХ,...,ЕМ) при Ер г = ^(Ер,Е2,...,ЕМ).
Далее искомые значения смещения Е [Г - 7] и СКО стг вычисляются по формулам
Эг
Е [Г - 7 1=эхГ Е[
Эг
Эг
(11)
СТ г =
Эх — г Х г Эх—
Как правило, значение измеряемого критерия г выражено через координаты х 4 в явном виде, так что выражения для частных производных дг / 5хте г также можно найти в явном виде.
иТ-метод. Основная идея метода состоит в том, что вместо упрощения нелинейного преобразования используется упрощение характеристик плотности распределения вероятности (ПРВ) исходных данных, по сути заключающееся в дискретизации ПРВ. Рассмотрим применение метода на примере измерения 3Б-координат точки.
Вначале требуется задать набор из Ь векторов р /, / =1...Ь и их весовых коэффициентов wm/ и wc/ (так называемых сигма-точек). Значения р / и Мт /, Мс / выбираются в соответствии с имеющейся информацией о статистике для р; весовые коэффициенты должны удовлетворять
условию нормировки мт I = ^мс I = 1. В случае использования симметричной схемы [22, 29] для вектора р размерности т задаётся Ь = 2т + 1 точек:
2 < / < т +1; т + 2 < / < 2т +1;
р / = Е [р], / = 1;
<р/ = Е[р] + (((т + Х)Ер )
р/ = Е [р] -(((т + Х)Ер )) мт / = Х/(т + Х), / =1;
•М / = мт / +(1 -а2 +р), / = 1; (12)
мт / = мс / = 1/2(т + X), 2 < / < 2т +1.
Здесь X = а2(т + к) - т; величины а, р и к являются параметрами. Под обозначением (((т + X) Ер ) подразумевается (/ - 1)-я строка квадратного корня из матрицы (т + Х)Е. Далее алгоритм Т применяется к заданному набору векторов координат проекций р /, чтобы получить набор векторов 3Б-координат X4 / = Т (р /, к). По этому набору вычисляются Е [Х4 - х4 ] и Ех: Ь
Е[хх4] = ХМт /X4/, Е[ -Хте ] = Е[ ]-Хте, /=1
2х =Х Мс / (Х41 - Е[Хте ])(Х/ - Е[Хте ]). (13)
/=1
Погрешность полученных оценок во многом зависит от метода выбора р/ и Мт /, М /, некоторые из которых обсуждены в [23], а также выбора параметров а, р и к [25]. Отметим, что иТ-метод позволяет одинаково работать не только с ММФИ обоих типов, но и произвольным алгоритмом Т, в том числе не использующим оптимальные оценочные функции и даже не обязательно решающим задачу вида (3).
Если требуется оценить влияние погрешности определения параметров калибровки, то во всех выражениях для ИТ-метода, приведённых выше, следует вместо век-
тора р использовать объединённый вектор (рТ, к7)7. Соответственно, в выражениях (12) вместо Е[р] нужно использовать (Е[р]Т, Е[к]Т)Т, а вместо Ер - diag(Ep , Ек).
Полученный набор из Ь векторов (рТ, кТ) далее аналогично используется для определения
X 4 / = Т (р /, к/).
В случае оценки погрешности измерения параметра г ИТ-методом каждый вектор координат р г / в плоскости изображения будет включать координаты для всех точек, в выражениях (12) будут использованы Е[рг] и Ер г соответственно. Для каждого рг / последовательно применяется алгоритм Т и вычисляется значение г/ (это преобразование целиком также можно рассматривать как «чёрный ящик»). Таким образом, выражения для параметра г примут вид
Е[Г] = Хмп /г/, Е [Г-г ]= Е [[]-г,
/=1
Ь 2
Ех =Х Мс / (г/ - Е[г]) .
(14)
/=1
Если использовать выражения (13), то в таком случае будут вычислены Е[Х4 г - х4 г ] и Ех г.
Метод интервальных оценок. В отличие от двух ранее рассмотренных методов, метод интервальных оценок описывает погрешность в виде доверительного интервала. Непосредственное применение этого метода к алгоритму Т, для которого нет формулы в явном виде, затруднительно. Однако можно использовать метод линеаризации или ИТ-метод для алгоритма Т, а метод интервальных оценок - для алгоритма вычисления геометрических параметров. Использование такого комбинированного метода оправдано тем, что по результатам измерения ПРВ большинства геометрических параметров может сильно отличаться от НЗР, в частности, быть значительно несимметричной, так что симметричные доверительные интервалы, построенные на основе Е [г - 7] и стг, могут приводить к ошибочной оценке.
Для реализации предложенного подхода сначала необходимо рассчитать Е[Х4 г -Х4 г ] и Ех г методом линеаризации или ИТ-методом и на их основе задать границы интервалов |Х 4 г, Х 4 г ^. Одним из вариантов
задания интервалов будет принять, что Х4 г подчиняется НЗР и использовать квантиль распределения %2 для выбранной вероятности. Далее, применяя правила для преобразования интервалов к формуле для вычисления значения г, необходимо найти границы интервала |г-, г. В случае, когда матрица Ех г не является диагональной, требуется применить соответствующее преобразование [13] и учесть его в формуле для вычисления г.
3. Компьютерное моделирование
Чтобы оценить универсальность каждого метода, при проведении компьютерного моделирования были выбраны системы, использующие ММФИ двух разных типов.
В первом случае рассмотрена типичная система регистрации из двух камер, для описания которых используется проективная модель (1). МПИ каждой из камер имеет 1600x1200 элементов размером 6^6 мкм2, фокусное расстояние объективов составляет 25 мм, угловое поле каждого канала - около 22°. Для описания дисторсии используется радиальная полиномиальная модель [31] с коэффициентом k1 = 0,1. Расстояние между камерами составляет 200 мм, угол поворота одной камеры относительно другой - 0,1 рад. Рабочий диапазон расстояний системы - от 1000 до 3000 мм.
Во втором случае для примера взяты параметры трассировочной модели (2), полученные в результате калибровки промышленного эндоскопа Mentor Visual iQ VideoProbe производства GE Inspection Technologies с призменной стереонасадкой прямого обзора XLG3TM616060FG, обеспечивающей угловое поле каждого канала 55°х55° [7]. Диаметр зонда равен 6,1 мм, рабочий диапазон расстояний - от 10 до 40 мм.
Для алгоритма измерения 3Б-координат в первом случае использована оценочная функция (4), во втором - (6).
Измерение ЭБ-координат точки. Была проведена оценка погрешности измерения 3Б-координат точки, расположенной в разных частях рабочего объема на
Z, мм
2530
а)
2520 2510 2500 2490 2480 2470
1
' X, мм
разных расстояниях г. При этом матрица ковариации Ер г была задана в виде Ер г = СТр2Ы4х4, погрешности параметров калибровки не учитывались. Для ИТ-метода значения параметров были приняты а = 1, р = 0 и к = 4, для расчётов методом Монте - Карло использовались 105 значений. На рис. 5 показаны средние значения и сечения эллипсоидов ковариации в плоскости хОг, рассчитанные для вероятности 0,9545 для нескольких точек в центре и на краю рабочего объема. Для проективной модели точки взяты на расстоянии г = 2500 мм при стр = 1, для трассировочной модели - на расстоянии г = 30 мм при стр = 0,3. Результаты, полученные разными методами, практически совпадают и не различимы в масштабе рисунка. Смещение Е [хте - хте] в обоих случаях мало и по модулю не превосходит 0,1% от расстояния г.
Для иллюстрации зависимости погрешности измерения 3Б-координат точки от расстояния г и погрешности определения координат соответствующих точек стр построим графики для СКО стр погрешности вычисления координаты г точки хте (рис. 6).
Результаты, полученные разными методами, очень близки, разница в значениях az не превышает 1%. Далее был проведен расчет расстояний Махаланобиса для хте , полученных моделированием Монте-Карло, что показано на рис. 7 в виде гистограмм для точки на краю рабочего объема для обеих моделей.
Гистограммы хорошо соответствуют %2 распределению с 3 степенями свободы, что говорит о том, что распределение для хте близко к НЗР.
2, ММ
31,5
31,0 30,5 30,0 29,5 29,0 28,5
л л
/ /
//
V
/ г
X, мм
0
20 40 60 430 450 470 б)
0 0,2 0,4 0,6 4,7 4,9 5,1 5,3
Рис. 5. Эллипсы ковариации, характеризующие погрешность измерения 3Б-координат точки в плоскости хОг:
для проективной (а), для трассировочной (б) модели
аг,лш_ 16
12
ар=1 пи =1 / КС ¡j.
/ / *
* :
* Ж * 1 Z,MM
16
12
z=< I500, ш ,* s Jr P
J / /
fi * с Op, пике
а2,мм 0,8
0,6
а)
1000 2000 3000
0,4 0,2 0
dp=( 13 пиш ' /
i J * .7 :
* p *
у Z,MM
az,MM
0,14 Г
0,12 0,10 0,08 0,06 0,04 0,02
: J
z=. Омм i * r :
/
: У r* ¡c
3 / ¿y :
/ с op, пике
***
Монте-Карло Линеаризация UT-метод
0,2
0,6
1,0
0,5 1,0 1,5 б) 10 20 30 40
Рис. 6. Зависимость СКО погрешности измерения г-координаты точки от г-координаты и СКО погрешности определения координат соответствующих точек для проективной (а) и для трассировочной (б) модели
Измерение длины отрезка. В качестве примера
для измерения геометрических параметров проведе-
ны оценки погрешности измерения длины для отрезка длиной г, расположенного в центре рабочего объ-
ема на разных расстояниях г. Поскольку результаты для проективной и трассировочной моделей схожи между собой и приводят к одинаковым выводам, для экономии места далее приведены только расчеты для трассировочной модели.
Координаты точек отрезка заданы в ГСК: для х-
отрезка х^ =(-г/2,0,г)Т, х^ = ((2,0,г)Т ; для г-
т _•
2 _
= (0,0, г + г/2)т .
отрезка х^ =(0,0, г - г/2)
Матрица ковариации ЕрГ была задана в виде
Г = стр2 М8х8 с Стр = 0,3, остальные параметры взяты
аналогично расчету для 3Б-координат точки. При расчёте интервалов для вероятности 0,9545 методом Монте-Карло интервалы для вероятности (1 - 0,9545) / 2 были отсечены с обеих сторон. Для метода линеаризации и иТ-метода применялась их комбинация с методом интервального анализа, как описано выше. Результаты оценки для отрезка длиной 1 мм показаны на рис. 8: верхний ряд графиков соответствует изме-
рениям для х-отрезка, нижний - для г-отрезка; левый столбец графиков относится к методу линеаризации, правый - к иТ-методу.
Очевидно, что границы интервала для вероятности 0,9545, полученные методом Монте-Карло, заметно отличаются от границ Е[г] + 2стГ, то есть полученная ПРВ для г заметно несимметрична.
0,25
0,20 0,15 0,10 0,05
0
г = 2500 мм проективная
10
<Р, ММ
0,25 0,20
0,15
0,10
0,05
0
г = 30 мм трассировочная
10
(I2, мм
Рис. 7. Гистограммы расстояния Махаланобиса для измеренных 3Б-координат точки и х2 - распределение
Метод линеаризации
х-отрезок, мм
иТ-метод
А у
у У1 *
у,- и * |е
1— % * . + у + '
1 * * * .
2, ММ
х-отрезок, мм 3,0
2,5 2,0 1,5
А /
> У'
л /
т —+— _.+— *
г, мм
10 15 20 г-отрезок, мм
25
30 35 40
> -г'% '
о—о—5 з—^ V + +
.г
1= * * \
2, ММ
0,5 0
10 15 20 г-отрезок, мм
Моделирование Монте-Карло
среднее значение
Е[П ***
интервал
Е[г]±2аг □ □ □
интервал 0,9545
25
30 35 40
<
г
р—о—: 1—ф р—-+—■
'"»О-.®.,
* > * :
г, мм
Оценка методом линеаризациии иТ-методом
среднее значение
ЕЩ
интервал Е[Р]±2аг
интервал 0,9545
10 15 20 25
30 35 40
10 15 20 25 30 35 40
Рис. 8. Оценки погрешности измерения длины отрезка в зависимости от г-координаты
Проанализируем гистограммы для г при двух значениях расстояния г = 10 мм и г = 30 мм (рис. 9а для измерения х-отрезка и рис. 9б для измерения г-отрезка соответственно). На рисунках дополнительно на врезке показано соотношение измеряемого отрезка г и эллипсоидов ковариации для погрешности измерения 3Б-координат его концов. Для эллипсоидов также обозначен доверительный интервал Д2 измерения г-координаты при вероятности, равной 0,9545, для сравнения с истинной длиной отрезка.
Из гистограмм для х-отрезка видно, что ПРВ уже при малых г является несимметричной. Е [г] смещено относительно Г = 1 мм, величина смещения увеличивается с увеличением расстояния г. Напротив, гистограммы для г-отрезка демонстрируют, что ПРВ
приблизительно соответствует НЗР до тех пор, пока расстояние г не превышает 25 мм (при этом расстоянии доверительные интервалы Д2 для начала и конца отрезка начинают перекрываться).
Как видно на рис. 8, метод линеаризации даёт неправильное значение стГ для х-отрезка, поскольку ПРВ для Г уже при малых г заметно отличается от НЗР. иТ-метод позволяет адекватно предсказать значения Е [г] и стГ во всех случаях, хотя может давать заниженные значения. На графиках для г-отрезков можно отметить, что при малых значениях г, когда ПРВ для Г близко к НЗР, оба метода демонстрируют одинаковые результаты, совпадающие с результатами моделирования Монте-Карло.
0,98 1,00 1,02 1,04 0,8 1,2 1,6 2,0
г, мм
г, мм
0,8 0,9 1,0 1,1 1,2 1,3
б)
Рис. 9. Гистограмма вычисленных значений длины х-отрезка(а) и г-отрезка (б)
Расчёт доверительного интервала при помощи комбинации метода линеаризации или иТ-метода с методом интервальных оценок даёт практически одинаковые результаты.
Это вызвано тем, что ПРВ координат вектора х2 - х- близка к НЗР, и, следовательно, среднее значение и матрица ковариации, вычисленные для него обоими методами, примерно одинаковы. Как и ожидалось, полученные таким образом границы интервала являются более широкими по сравнению с результатами моделирования.
Поскольку погрешность измерения 3Б-координат точки обладает значительной анизотропией (погрешность г-координаты на порядок превышает значения для других координат), то погрешность измерения длины отрезка зависит как от ориентации отрезка, так и от его расположения в рабочем объеме. Кроме того, вид ПРВ для г зависит от соотношения длины отрезка и погрешности измерения 3Б-координат его концов, что приводит к различному смещению доверительного интервала для отрезков разной длины, расположенных на одном расстоянии.
Влияние параметров иТ-метода. Как показано в работах [25, 26], точность, обеспечиваемая ИТ-методом, в значительной степени зависит от выбора параметров самого метода. Для рассматриваемой задачи поиск оптимальных значений параметров, описанный в этих работах, неприменим, поскольку требует отдельного и достаточно большого времени на обучение. Тем не менее, необходимо провести анализ влияния параметров иТ-метода на результат оценки погрешности. Для этого повторим проведённые ранее расчёты для трассировочной модели при изменении параметра к от 0 до 8 (рис. 10).
мм 3,0
2,5 2,0 1,5 1,0 0,5
0 10 мм 3,0 Г~
х-отрезок
У
-- А
н
— '-^¿¡с—-
1, ММ
15 20
25
30 35 40
2,5 2,0 1,5
ДОО-ий—! 0,5
Л.---и
-г £-+-—й-
—о—.
/
—+—* ..-а__
/А
10 15 20 25
30 35 40
мм 3,0
2.5 2,0 1,5.
1.6 0,5
0 10 мм 3,0 Г~
ъ-отрезок
к'* ¿0Х-*
___
__*—' 1 Н ' +
г, мм хХ—:
15 20
25
30 35 40
2,5 2,0 1,5
1,(Ц—а-~сц., 0,5
я-'
■-й
<
' □
10 15 20 25
2, ММ п.
30 35 40
Моделирование
Монте-Карло + + +
Е[П ***
Е[г]±2аг □ □□
интервал 0,9545
ЦТ-метод к: Е[г\
0 -
2 -
4 -
8
0__Е[г\±2аг
8 -
интервал 0,9545
0-----
2
8 -
Рис. 10. Оценки погрешности измерения длины отрезка в зависимости от г-координаты при различных параметрах ЦТ-метода
Таким образом, при изменении параметра к оценки смещения и СКО могут заметно изменяться (до 25% в случае СКО). В то же время для г-отрезка при г
менее 25 мм (где ПРВ приблизительно соответствует НЗР) изменение параметра мало влияет на результат. Рассчитанные при помощи комбинации с интерваль-
ным анализом границы интервалов практически не изменяются (разница менее 0,2%).
Заключение
Результаты проведенного исследования показывают, что UT-метод является наиболее универсальным методом для оценки погрешности измерений в задачах проектирования стереоскопических систем. Данный метод позволяет работать с алгоритмом вычисления 3Б-координат и алгоритмом измерения геометрических параметров как с «черным ящиком» и требует лишь их наличия в реализованном виде. В отличие от метода линеаризации, UT-метод не требует дифференцирования оценочной функции, входящей в алгоритм вычисления 3Б-координат. Таким образом, этот метод позволяет сравнивать различные оптические схемы системы регистрации и описывающие их ММФИ, а также различные алгоритмы на этапе проектирования, не внося изменений в сам метод оценки погрешности. UT-метод и метод линеаризации показывают схожие результаты в задаче оценки погрешности измерения 3Б-координат точки, в то время как UT-метод позволяет получить более точные результаты при оценке длины отрезка.
Полученные результаты свидетельствуют о том, что среднее значение и матрица ковариации являются достаточным описанием погрешности измерения 3D-координат точки, поскольку полученная ПРВ близка к НЗР. Напротив, для измерений геометрических параметров, таких как длина отрезка, площадь и пр., ПРВ может быть заметно несимметричной. В таком случае целесообразно использовать для описания погрешности измерений среднее значение и доверительный интервал и применять для их оценки предложенную в данной работе комбинацию UT-метода и метода интервальных оценок.
Поскольку погрешность измерения 3D-координат точки обладает значительной анизотропией, то погрешность измерения длины отрезка зависит не только от его расположения в рабочем объеме, но и от его ориентации и длины. Этот результат справедлив и для измерения площадей, а также других геометрических параметров. Это обстоятельство должно быть учтено при проектировании и эксплуатации стереоскопических измерительных систем.
Рассмотренные в работе методы представлены в общем виде и могут быть использованы не только для классических двухкамерных стереоскопических систем, но и для устройств с большим количеством камер, а также для активных триангуляционных систем. Полученные результаты могут быть полезны для проектирования стереоскопических систем, в частности, усовершенствования программного обеспечения.
Благодарности
Работа выполнена за счет гранта Российского научного фонда (проект №7-19-01355).
Литература
1. Wöhler, C. 3D Computer vision. Efficient methods and applications / C. Wöhler. - 2nd ed. - London: SpringerVerlag, 2013. - 382 p. - ISBN: 978-1-4471-4149-5.
2. Kim, H. Distance measurement using a single camera with a rotating mirror / H. Kim, C.S. Lin, J. Song, H. Chae // International Journal of Control Automation and Systems. -2005. - Vol. 3. - P. 542-551.
3. Chen, Z. Depth from refraction using a transparent medium with unknown pose and refractive index / Z. Chen, K.Y. Wong, Y. Matsushita, X. Zhu // International Journal of Computer Vision. - 2013. - Vol. 102, Issues 1-3. - P. 3-17. -DOI: 10.1007/s11263-012-0590-z.
4. Cui, X. Accurate geometrical optic model for single-lens stereovision system using a prism / X. Cui, K.B. Lim, Q. Guo, D. Wang // Journal of the Optical Society of America A. - 2012. - Vol. 29, Issue 9. - P. 1828-1837. - DOI: 10.1364/J0SAA.29.001828.
5. Kee, W.L. Parameter error analysis of singlelens prism-based stereovision system / W.L. Kee, Y. Bai, K.B. Lim // Journal of the Optical Society of America A. - 2015. - Vol. 32, Issue 3. -P. 367-373. - DOI: 10.1364/JOSAA.32.000367.
6. Wu, L. Single-lens 3D digital image correlation system based on a bilateral telecentric lens and a bi-prism: validation and application / L. Wu, J. Zhu, H. Xie // Applied Optics. - 2015. - Vol. 54, Issue 26. - P. 7842-7850.
7. Gorevoy, A.V. Optimal calibration of a prism-based video-endoscopic system for precise 3D measurements / A.V. Gorevoy, A.S. Machikhin // Computer Optics. - 2017. -Vol. 41, Issue 4. - P. 535-544. - DOI: 10.18287/2412-61792017-41-4-535-544.
8. Zhu, J.G. Design and calibration of a single-camera-based stereo vision sensor / J.-G. Zhu, Y.J. Li, S.-H. Ye // Optical Engineering. - 2006. - Vol. 45, Issue 8. - 083001. - DOI: 10.1117/1.2336417.
9. Zhou, F.Q. A novel way of understanding for calibrating stereo vision sensor constructed by a single camera and mirrors / F.Q. Zhou, Y.X. Wang, B. Peng, Y. Cui // Measurement. - 2013. - Vol. 46, Issue 3. - P. 1147-1160. - DOI: 10.1016/j.measurement.2012.10.031.
10. Pan, B. Single-camera microscopic stereo digital image correlation using a diffraction grating / B. Pan, Q. Wang // Optics Express. - 2013. - Vol. 21, Issue 21. - P. 2505625068. - DOI: 10.1364ЮЕ.21.025056.
11. Sturm, P. Camera models and fundamental concepts used in geometric computer vision / P. Sturm, S. Ramalingam, J.-P. Tardif, S. Gasparini, J. Barreto // Foundations and Trends in Computer Graphics and Vision. - 2011. - Vol. 6, Issues 1-2. - P. 1-183. - DOI: 10.1561/0600000023.
12. Горевой, А.В. Методы оценки погрешности измерения координат в комплексированных системах регистрации трёхмерных образов объектов [Электронный ресурс] / А.В. Горевой, В.Я. Колючкин // Инженерный журнал: наука и инновации. - 2013. - Вып. 9(21). - URL: http://engjournal.ru/catalog/pribor/optica/923.html (дата обращения 17.04.2018). - DOI: 10.18698/2308-60332013-9-923.
13. Jiang, C. Interval arithmetic operations for uncertainty analysis with correlated interval variables / C. Jiang, C.-M. Fu, B.-Y. Ni, X. Han // Acta Mechanica Sinica. - 2016. - Vol. 32, Issue 4. -P. 743-752. - DOI: 10.1007/s10409-015-0525-3.
14. Farenzena, M. Rigorous accuracy bounds for calibrated stereo reconstruction / M. Farenzena, A. Busti, A. Fusiello, A. Benedetti // Proceedings of the 17th International Conference on Pattern Recognition. - 2004. - Vol. 4. - P. 288-292. - DOI: 10.1109/ICPR.2004.1333760.
15. Telle, B. 3D boundaries partial representation of objects using interval analysis / B. Telle, O. Stasse, T. Ueshiba, K. Yokoi, F. Tomita // Proceedings of IEEE/RSJ International Conference on Intelligent Robots and Systems. -2004. - Vol. 4. - P. 4013-4018. - DOI: 10.1109/IROS.2004.1390042.
16. Mustafa, M. Rigid transformation using interval analysis for robot motion estimation / M. Mustafa, A. Stancu, S.P. Guteirrez, E.A. Codres, L. Jaulin // Proceeding of the 20th International Conference on Control Systems and Computer Science. - 2015. - P. 24-31. - DOI: 10.1109/CSCS.2015.98.
17. Blostein, S.D. Error analysis in stereo determination of 3-D point positions / S.D. Blostein, T.S. Huang // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 1987. - Vol. 9, Issue 6. - P. 752-765. DOI: 10.1109/TPAMI.1987.4767982.
18. Rodriguez, J.J. Stochastic analysis of stereo quantization error / J.J. Rodriguez, J.K. Aggarwal // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 1990. -Vol. 12, Issue 5. - P. 467-470. - DOI: 10.1109/34.55106.
19. Zhang, Z. Determining the epipolar geometry and its uncertainty: A review / Z. Zhang // International Journal of Computer Vision. - 1998. - Vol. 27(2). - P. 161-195. - DOI: 10.1023/A:1007941100561.
20. Hartley, R.I Multiple view geometry in computer vision / R.I. Hartley, A. Zisserman. - 2nd ed. - Cambridge: Cambridge University Press, 2004. - 670 p. - ISBN: 978-0-521-54051-3.
21. Kanatani, K. Statistical optimization for geometric computation: Theory and practice / K. Kanatani. - Mineola: Dover Publications, 2005. - 526 p. - ISBN: 978-0-486-44308-9.
22. Julier, S.J. The scaled unscented transformation / S.J. Julier // Proceedings of the 2002 American Control Conference. - 2002. - Vol. 6. - P. 4555-4559. - DOI: 10.1109/ACC.2002.1025369.
23. Zhang, W. Accuracy analysis of unscented transformation of several sampling strategies / W. Zhang, M. Liu, Z. Zhao // Proceedings of the 10th ACIS International Conference on Software Engineering, Artificial Intelligences, Networking and Parallel/Distributed Computing. - 2009. - P. 377-380. -DOI: 10.1109/SNPD.2009.13.
24. Sibley, G. The iterated sigma point Kalman filter with applications to long range stereo / G. Sibley, G.S. Sukhatme, L.H. Matthies // Proceedings of Robotics: Science and Systems. - 2006. - DOI: 10.15607/RSS.2006.II.034.
25. Sakai, A. Discriminative parameter training of unscented Kalman filter / A. Sakai, Y. Kuroda // IFAC Proceedings Volumes. - 2010. - Vol. 43, Issue 18. - P. 677-682. - DOI: 10.3182/20100913-3-US-2015.00063.
26. Turner, R. Model based learning of sigma points in unscented Kalman filtering / R. Turner, C.E. Rasmussen // Neurocomputing. - 2012. - Vol. 80. - P. 47-53. - DOI: 10.1016/j.neucom.2011.07.029.
27. Gorevoy, A.V. 3D spatial measurements by means of prism-based endoscopic imaging system / A.V. Gorevoy, A.S. Machikhin, A.V. Shurygin, D.D. Khokhlov, A.A. Nau-mov // Proceedings of GraphiCon. - 2016. - P. 253-256.
28. Горевой, А. В. Оценка погрешности измерений геометрических параметров, выполняемых с использованием призменно-линзовых оптических систем / А.В. Горевой, А.С. Мачихин // Труды ГрафиКон. - 2017. - С. 197-201.
29. Chiu, A. A comparison of linearisation and the unscented transform for computer vision applications / A. Chiu, T. Jones, C.E. van Daalen // Proceedings of the Pattern Recognition Association of South Africa and Robotics and Mechatronics International Conference (PRASA-RobMech). - 2016. - P. 1-6. - DOI: 10.1109/RoboMech.2016.7813159.
30. Kannala, J. A generic camera model and calibration method for conventional, wide-angle, and fish-eye lenses / J. Kannala, S.S. Brandt // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2006. - Vol. 28, Issue 8. - P. 1335-1340. - DOI: 10.1109/TPAMI.2006.153.
31. Zhang, Z. Flexible camera calibration by viewing a plane from unknown orientations / Z. Zhang // Proceedings of the 7th IEEE International Conference on Computer Vision. -1999. - P. 666-673. - DOI: 10.1109/ICCV.1999.791289.
32. Matsuzawa, T. Camera calibration based on the principal
rays model of imaging optical systems / T. Matsuzawa // Journal of the Optical Society of America A. - 2017. -Vol. 34, Issue 4. - P. 624-639. - DOI: 10.1364/JOSAA.34.000624.
Сведения об авторах
Горевой Алексей Владимирович, 1987 года рождения, в 2010 году окончил МГТУ имени Н.Э. Баумана, младший научный сотрудник НТЦ УП РАН. Область научных интересов: обработка изображений, расчет и конструирование оптических систем, компьютерная графика. E-mail: gorevoy.a@gmail. com .
Колючкин Василий Яковлевич, 1948 года рождения, в 1972 году окончил МВТУ имени Н.Э. Баумана, в 1986 году - МИФИ, д-р техн. наук, профессор кафедры лазерных и оптико-электронных систем МГТУ имени Н.Э. Баумана. Область научных интересов: проектирование оптико-электронных систем, обработка изображений. E-mail: [email protected] .
Мачихин Александр Сергеевич, 1984 года рождения, в 2007 году окончил МГТУ им. Н.Э. Баумана, канд. физ.-мат. наук, ведущий научный сотрудник НТЦ УП РАН, доцент кафедры электротехники и интроскопии НИУ «МЭИ». Область научных интересов: машинное зрение, видеоспектрометрия, акустооптика. E-mail: [email protected] .
ГРНТИ: 59.71.33, 59.45.39.
Поступила в редакцию 27 мая 2018 г. Окончательный вариант - 9 октября 2018 г.
ESTIMATION OF THE GEOMETRICAL MEASUREMENT ERROR AT THE STAGE OF STEREOSCOPIC SYSTEM DESIGN
A.V. Gorevoy12 3, V.Ya. Kolyuchkin 2, A.S. Machikhin 13
1 Scientific and Technological Center of Unique Instrumentation, Russian Academy of Sciences, Moscow, Russia,
2 Bauman Moscow State Technical University, Moscow, Russia,
3 Moscow Power Engineering University, Moscow, Russia
Abstract
The article is dedicated to the error estimation method for stereoscopic systems measuring three-dimensional coordinates and geometric parameters of objects. This method is required for stereoscopic
system design to optimize the parameters of the image acquisition system and the data processing algorithms. The technique should be suitable for different mathematical models of image acquisition systems and allow to access the measurement uncertainty with a known uncertainty in determining the coordinates of the corresponding points on the images and the uncertainty of the calibration parameters. We analyzed known methods by comparing their results with the Monte Carlo simulation for the pinhole and the ray tracing models. It is shown that the method using the unscented transformation provides better accuracy and versatility than the linearization method. Using the example of measuring the length of a segment, it is demonstrated that the use of a symmetric confidence interval constructed from the mean and variance can lead to an inaccurate estimation of the error in measuring geometric parameters. We propose a method for calculating confidence intervals based on a combination of unscented transformation and interval analysis and confirm its effectiveness by the computer simulation. The analysis is applicable to the design of both passive stereoscopic devices and active triangulation systems as well as improving their software.
Keywords: stereoscopic optical system, geometric parameter measurement, calibration, error estimation.
Citation: Gorevoy AV, Kolyuchkin VYa, Machikihin AS. Estimation of the geometrical measurement error at the stage of stereoscopic system design. Computer Optics 2018; 42(6): 985-997. DOI: 10.18287/2412-6179-2018-42-6-985-997.
Acknowledgements: The Russian Science Foundation (project #7-19-01355) financially supported the work.
References
[1] Wohler C. 3D computer vision. Efficient methods and applications. 2nd ed. London: Springer-Verlag; 2013. ISBN: 978-1-4471-4149-5.
[2] Kim H, Lin CS, Song J, Chae H. Distance measurement using a single camera with a rotating mirror. Int J Control Autom Syst 2005; 3: 542-551.
[3] Chen Z, Wong K-Y, Matsushita Y, Zhu X. Depth from refraction using a transparent medium with unknown pose and refractive index. Int J Comput Vis 2013; 102(1-3): 3-17. DOI: 10.1007/s11263-012-0590-z.
[4] Cui X, Lim KB, Guo Q, Wang D. Accurate geometrical optic model for single-lens stereovision system using a prism. J Opt Soc Am A 2012; 29(9): 1828-1837. DOI: 10.1364/J0SAA.29.001828.
[5] Kee WL, Bai Y, Lim KB. Parameter error analysis of sin-glelens prism-based stereovision system. J Opt Soc Am A 2015; 32(3): 367-373. DOI: 10.1364/JOSAA.32.000367.
[6] Wu L, Zhu J, Xie H. Single-lens 3D digital image correlation system based on a bilateral telecentric lens and a bi-prism: validation and application. Appl Opt 2015; 54(26): 7842-7850. DOI: 10.1364/AO.54.007842.
[7] Gorevoy AV, Machikhin AS. Optimal calibration of a prism-based videoendoscopic system for precise 3D measurements. Computer Optics 2017; 41(4): 535-44. DOI: 10.18287/2412-6179-2017-41-4-535-544.
[8] Zhu J-G, Li YJ, Ye S-H. Design and calibration of a single-camera-based stereo vision sensor. Opt Eng 2006; 45(8): 083001. DOI: 10.1117/1.2336417.
[9] Zhou FQ, Wang YX, Peng B, Cui Y. A novel way of understanding for calibrating stereo vision sensor constructed by a single camera and mirrors. Measurement 2013; 46(3): 1147-1160. DOI: 10.1016/j.measurement.2012.10.031.
[10] Pan B, Wang Q. Single-camera microscopic stereo digital image correlation using a diffraction grating. Opt Express 2013; 21(21): 25056-25068. DOI: 10.1364/OE.21.025056.
[11] Sturm P, Ramalingam S, Tardif J-P, Gasparini S, Barreto J. Camera models and fundamental concepts used in geometric computer vision. Foundations and Trends in Computer Graphics and Vision 2011; 6(1-2): 1-183. DOI: 10.1561/0600000023.
[12] Gorevoy AV, Kolyuchkin VYa. Methods for estimation of coordinate measurement uncertainty of multichannel 3D
imaging systems [In Russian]. Engineering Journal: Science and Innovation 2013; 9(21). Source: (http://engjournal.ru/catalog/pribor/optica/923.html). DOI: 10.18698/2308-6033-2013-9-923.
[13] Jiang C, Fu C-M, Ni B-Y, Han X. Interval arithmetic operations for uncertainty analysis with correlated interval variables. Acta Mechanica Sinica 2016; 32(4): 743-752. DOI: 10.1007/s10409-015-0525-3.
[14] Farenzena M, Busti A, Fusiello A, Benedetti A. Rigorous accuracy bounds for calibrated stereo reconstruction. Proc 17th International Conference on Pattern Recognition 2004; 4: 288-292. DOI: 10.1109/ICPR.2004.1333760.
[15] Telle B, Stasse O, Ueshiba T, Yokoi K, Tomita F. 3D boundaries partial representation of objects using interval analysis. Proc IEEE/RSJ International Conference on Intelligent Robots and Systems 2004; 4: 4013-4018. DOI: 10.1109/IROS.2004.1390042.
[16] Mustafa M, Stancu A, Guteirrez SP, Codres EA, Jaulin L. Rigid transformation using interval analysis for robot motion estimation. Proc 20th International Conference on Control Systems and Computer Science 2015: 24-31. DOI: 10.1109/CSCS.2015.98.
[17] Blostein SD, Huang TS. Error analysis in stereo determination of 3-D point positions. IEEE Trans Pattern Anal Mach Intell 1987; 9(6): 752-765. DOI: 10.1109/TPAML1987.4767982.
[18] Rodriguez JJ, Aggarwal JK. Stochastic analysis of stereo quantization error. IEEE Trans Pattern Anal Mach Intell 1990; 12(5): 467-470. DOI: 10.1109/34.55106.
[19] Zhang Z. Determining the epipolar geometry and its uncertainty: A review. International Journal of Computer Vision 1998; 27(2): 161-195. DOI: 10.1023/A:1007941100561.
[20] Hartley RI, Zisserman A. Multiple view geometry in computer vision. 2nd ed. Cambridge: Cambridge University Press; 2004. ISBN: 978-0-521-54051-3.
[21] Kanatani K. Statistical optimization for geometric computation: Theory and practice. Mineola: Dover Publications; 2005. ISBN: 978-0-486-44308-9.
[22] Julier SJ. The scaled unscented transformation. Proceedings of the 2002 American Control Conference 2002; 6: 4555-4559. DOI: 10.1109/ACC.2002.1025369.
[23] Zhang W, Liu M, Zhao Z. Accuracy analysis of unscented transformation of several sampling strategies. Proc 10th ACIS International Conference on Software Engineering,
Artificial Intelligences, Networking and Parallel/Distributed Computing 2009: 377-380. DOI: 10.1109/SNPD.2009.13.
[24] Sibley G, Sukhatme GS, Matthies LH. The iterated sigma point Kalman filter with applications to long range stereo. Proc Robotics: Science and Systems 2006. DOI: 10.15607/RSS.2006.II.034.
[25] Sakai A, Kuroda Y. Discriminative parameter training of unscented Kalman filter. IFAC Proceedings Volumes 2010; 43(18): 677-682. DOI: 10.3182/20100913-3-US-2015.00063.
[26] Turner R, Rasmussen CE. Model based learning of sigma points in unscented Kalman filtering. Neurocomputing 2012; 80: 47-53. DOI: 10.1016/j.neucom.2011.07.029.
[27] Gorevoy AV, Machikhin AS, Shurygin AV, Khokhlov DD, Naumov AA. 3D spatial measurements by means of prism-based endoscopic imaging system. Proc GraphiCon 2016: 253-256.
[28] Gorevoy AV, Machikhin AS. Uncertainty evaluation of geometric parameter measurements performed using
prism-based optical system. Proc GraphiCon 2017; 197201.
[29] Chiu A, Jones T, van Daalen CE. A comparison of linearisation and the unscented transform for computer vision applications. Proc Pattern Recognition Association of South Africa and Robotics and Mechatronics International Conference (PRASA-RobMech) 2016: 1-6. DOI: 10.1109/RoboMech.2016.7813159.
[30] Kannala J, Brandt SS. A generic camera model and calibration method for conventional, wide-angle, and fish-eye lenses. IEEE Trans Pattern Analysis and Machine Intelligence 2006; 28(8): 1335-1340. DOI: 10.1109/TPAMI.2006.153.
[31] Zhang Z. Flexible camera calibration by viewing a plane from unknown orientations. Proc 7th IEEE International Conference on Computer Vision 1999: 666-673. DOI: 10.1109/ICCV.1999.791289.
[32] Matsuzawa T. Camera calibration based on the principal rays model of imaging optical systems. J Opt Soc Am A 2017; 34(4): 624-639. DOI: 10.1364/JOSAA.34.000624.
Authors' information
Alexey Vladimirovich Gorevoy (b. 1987) graduated from Bauman Moscow Technical University in 2010, Laser and Optic-Electronic Systems subdepartment. Currently he works as the researcher at the Scientific and Technological Center of Unique Instrumentation of RAS. Research interests include image processing, optical system design and computer graphics. E-mail: [email protected] .
Vasiliy Yakovlevich Kolyuchkin (b. 1948) graduated from Bauman Moscow Higher Technical School in 1972 and Moscow Institute of Engineering and Physics in 1986. Advanced D. Sc. (Eng.), professor of Laser and Optic-Electronic Systems subdepartment of Bauman Moscow State Technical University. Research interests include electro-optical system design and image processing. E-mail: [email protected] .
Alexander Sergeevich Machikhin (b. 1984) graduated from Bauman Moscow Technical University in 2006, Development of Optic-Electronic Systems for Scientific Research subdepartment. PhD. Currently he works as the leading researcher at the Scientific and Technological Center of Unique Instrumentation of RAS and assistant professor in Moscow Power Engineering Institute. Research interests include machine vision, spectral imaging, acousto-optics and spec-troscopy. E-mail: [email protected] .
Received May 27, 2018. The final version - October 9, 2018.
