CC BY
86
ИРКУТСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ ПУТЕЙ СООБЩЕНИЯ
Оценка дисперсии первой производной сигнала на выходе к-го элементарного звена в переходном режиме примет вид:
N к-1 к-1 N-1 N к-1 N
о1(1) = УО + 2УУО ,, + 2УУО „ - 2УУс1 „
2 4 ' ¿¡уст 2рст2]уст ¿¡уст^уст 2уст2уст 5
¿=1 ¡=1 у=г+1 1=к у=г+1 ¡=1 ]=к
N
к-1
+ О; (О - 4У (О + (О
1=к ¡=1
(14)
По окончании переходного режима в последнем элементарном звене дисперсия примет установившееся значение аналогичное (10).
Подобным образом могут быть определены оценки корреляционной функции и дисперсии самого выходного сигнала. Для этого во всех рассмотренных выражениях к'(^) следует заменить на к($).
3. Основные результаты.
Вместо определения текущих значений дисперсии первой производной по (1) - (3) предлагается определение текущих значений по приближенным выражениям соответственно (5), (12), (14). Независимо от сложности вида к'(^) при-
ближенные выражения содержат сравнительно простые составляющие унифицированного вида (6) - (9), в которых под знаком интеграла только функция ЯВ, а сами интегралы отличаются друг от друга только верхними и нижними пределами. Особенно значительное снижение трудоемкости достигается для нестационарных сигналов в апериодических ЛДЗ любого порядка. Такие ЛДЗ имеют к'(^) всего с двумя участками знакопосто-янства, которые аппроксимируются двумя элементарными звеньями (N=2). В зависимости от рассматриваемого момента времени приближенные выражения (5), (12), (14) будут содержать от 1 до 8 составляющих вида (6) - (9).
БИБЛИОГРАФИЯ
1. Мадыев А. П. Дисперсия выходной реакции и ее производной линейных динамических систем в сложных переходных режимах : сб. науч. тр. ВСГТУ. Улан-Удэ, 1996.
Перелыгин В. Н. УДК 681.518.2
ОПРЕДЕЛЕНИЕ ПРОСТРАНСТВЕННЫХ КООРДИНАТ ТОЧЕК СЦЕНЫ С ИСПОЛЬЗОВАНИЕМ СТЕРЕОПАРЫ
1. Введение.
Одной из центральных задач в области машинного зрения (Computer Vision) является задача определения ориентации и расположения камеры в пространстве по изображению, полученному с ее помощью. Эту задачу также называют задачей внешней калибровки камеры [1-4] или определения ее внешних параметров. Решение данной задачи требуется в различных областях: картографии, системах распознавания объектов, в расширенной реальности, системах управления компьютером посредством определения положения рук или направления взгляда, системах управления роботами и т.д. Очевидно, что данная задача легко преобразуется в определение координат сцены относительно системы координат камеры, поскольку является обратной ей.
В частности, подобная задача возникает при реализации системы автоматизированного тепло-
визионного мониторинга [5] и диагностики оборудования с возможностью распознавания объектов исследования, заполнения баз данных, выдачи заключения по состоянию в режиме реального времени. Данная система, в силу существенных ограничений по использованию тепловизионного изображения как основы для приложения методик распознавания объектов, должна быть дополнена оптическими сенсорами. При этом важнейшей становится задача корректного сопоставления те-пловизионного и оптического изображений любой сцены на произвольном расстоянии до системы сенсоров. Для определения соответствия между оптическими и тепловизионными изображениями предварительно должна быть проведена калибровка каждого сенсора отдельно, чтобы устранить искажения, вызванные несовершенством оптики камер, а также для преобразования трехмерных координат объекта в пространстве, фиксируемого
камерой, в пиксельные координаты. Далее должна быть выполнена калибровка системы сенсоров, или задание однозначного соответствия между точками всех полученных в системе изображений, независимо от величины параллакса и геометрии сцены [6] путем определения вектора поворота-сдвига системы координат текущего сенсора относительно базового. При этом, прежде всего, необходимо установить вектор (обычно преобразованный в матрицу) между сенсорами стереопары, после чего определить положение термосенсора относительно одного из оптических. Данная работа посвящена решению задачи калибровки стереопары.
2. Теоретические основы калибровки стереопары.
В случаях, когда геометрия объектов сцены, в данном случае контрольных точек известна, рассматривается модель, представляющая собой набор черт и их взаимное расположение. Модель налагает ограничения и сужает область решений задачи. В качестве черт используются определенные точки (вершины), отрезки (грани) и углы объекта.
Условием для решения задачи являются п соответствий между точками изображения и точками модели объекта, а также известное взаимное расположение точек модели объекта. Дело в том, что выделение черт на изображении и установление соответствия между ними и их проекциями отнимает значительное процессорное время. Следовательно, для приложений, ориентированных на работу в режиме реального времени, требуется использовать минимальное число черт. К сожалению, при минимальном количестве точек данная задача сводится к решению уравнения четвертой степени. Также возможны такие конфигурации точек, что задача дает четыре различных решения, а выбор единственно верного решения является сложной задачей, требующей большого объема вычислений.
В связи с этим иногда рассматриваются варианты задачи для четырех, пяти и шести точек. Шести точек достаточно для задания системы линейных уравнений, имеющей единственное решение. Для каждого решения из полученного множества строится искусственное изображение посредством проектирования на картинную плоскость точек модели объекта. После этого проводится анализ расположения проекций точек на искусственном и реальном изображениях.
Рассмотрим процесс преобразования контрольного изображения в базовое. Обычно базовое
изображение дано и не претерпевает никаких изменений. Контрольное изображение может быть получено из базового, или дано, но нуждается в преобразовании геометрии, чтобы совпасть с базовым. Функции преобразования для трансформации изображений определяются с использованием набора контрольных точек с известными координатами, которые могут быть выбраны вручную или автоматически (control points). Преобразования подразделяются на глобальные и локальные. Глобальные преобразования затрагивают все изображение, локальные используются для определенного участка, оставляя остальное изображение в исходном виде. Очевидно, что в данном случае необходимо использовать глобальные преобразования. Наиболее гибким инструментом из области глобальных линейных преобразований являются проективные преобразования [7], которые представляют собой единственное приближение первого порядка к процессу съемки изображения.
Обозначим точку в системе координат (рис.
1) матрицы первого сенсора щ = \u\, vi ]Г , точка во внешней, 3-х мерной системе координат M = \X, Y, Z]Г , %\ и п2 - плоскости изображения первой и второй камеры соответственно.
м (x, y, Z)
ч
Рис. 1. Геометрия стереоскопической пары
Примем расширенный вектор
т[=[и[,у[,1]г и М = [Х,У,2,1]г. Тогда преобразование из 3D точки М в точку т[ будет выглядеть так (в операторном виде):
5 • т[= А -К ,Г ]■ ММ . (1)
Здесь 5 - общий коэффициент масштабирования, (К ,Г) - матрица внешних параметров первой
ИРКУТСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ ПУТЕЙ СООБЩЕНИЯ
камеры 4 х 3, Я - матрица поворота первой камеры, Т - вектор смещения первой камеры.
Г11 Г12 Г13
Г21 Г22 Г23
Г31 r '32 r 'зз
матрица поворота (Я), с использованием элементарных Эйлеровых углов поворота со,ф,к вокруг осей х, у, ъ соответственно.
проективных преобразований, в иностранной литературе имеет специальный термин - homography. В общем случае матрица Н определяет переход из координатной системы модели объекта к системе координат камеры. Таким образом, эта матрица содержит информацию о взаимном расположении объекта и камеры, т.е. определяет внешние параметры камеры.
Поскольку первая камера помещена в центр глобальных координат, то матрица проективных
преобразований для этой камеры (Нх) будет иметь вид
Х0 "1 0 0 0
У 0 - вектор сдвига относительно начала коор- И1 = 0 1 0 0
z 0 _ 0 0 1 0
динат (T).
A - матрица внутренних параметров первой камеры.
а у и0
A = 0 ( V0
0 0 1
Учитывая единичную матрицу Их запишем выражение (2) в виде
и' "1 0 0 0
5 • V' = 0 1 0 0
1 0 0 1 0
X Y Z 1 ^
(4)
где (и0, v0) - координаты точки проекции проективного центра на плоскость матрицы камеры (principal point), а и ( - коэффициенты масштабирования по осям u и v, соответствуют эффективному фокальному расстоянию f у - параметр, характеризующий косоугольность системы координат, (перпендикулярности соответствует значение коэффициента, равное нулю). Тогда если обозначить '' как столбец матрицы 3 х 3 - R, выражение (1) можно записать как
Тогда выразим координаты точки на матрицы первой камеры
Аналогично, для второго сенсора в матричном виде
X
и' Y
v2 = И 2 . Z
1
1
(6)
или
и,
= a • '', r2\ r;, t ]•
X Y Z
^ 1 ^
5 • m[ = H • MM ,
(2)
(3)
или в операторном виде
где И = A, •['',r2',r3',T]. Здесь И, - матрица
5 • m' = H • M.
Матрица
h1 1 h12 h 2 h1
И 2 =
h21 h22 h23 h24
(7)
= [A2 • ['',T2]], (8)
5
V
1
системный анализ и его приложения
где h - коэффициенты перспективного преобразования, - матрица поворота второй камеры, Т2 - вектор сдвига относительно начала координат второй камеры.
Тогда выразим координаты точки на матрицы второй камеры:
кп • X + к2 • У + к23 • 2 + к14
U2 =
h31 ■ X + h32 ■ Y + h33 ■ Z + h34
h21 ■ X + h22 ■ Y + h23 ■ Z + h24 h31 ■ X + h32 ■ Y + h33 ■ Z + h34
(9)
Учитывая уравнение (5) и (9) можно составить систему из четырех уравнений и с тремя неизвестными
(u2 ■ h31 - ю ■ x + (u2 ■ h32 - hl2) ■y + + (^2 ■ ^^ ) ■ Z — ■ U2;
(V2 ■ h 1 - h2i ) ■ x + (V2 ■ h32 - h22) ■ y + + (v2 ■ ¿33 - h23) ■ Z — h24 - h34 ■ V2;
-X + u[ ■ z — 0; -y + V ■ Z — 0,
V2 ■ ¿33 h23
(10)
или в матричном виде
V2 ■ ¿31 - h21 V2 ■ h32 - h22 -1 0 0 -1
¿14 - u2 ■ h34
h - V ■ h
h24 V2 h34 0 0
Таким образом, представлено матричное уравнение (10), в котором искомые координаты точки во внешней системе координат переопределены. Для решения данного уравнения был использован метод наименьших квадратов. При этом эффективный ранг матрицы получен с использованием алгоритма QR-декомпозиции. Решение может быть найдено только в том случае, если эффективный ранг матрицы не превышает количества ненулевых элементов в любом столбце матрицы. Данный способ в иностранной литературе часто обозначается как «matrix left division» или «способ обратного деления» и может быть записан
следующим образом
где М —
X Y Z
теме координат;
m — k \ b,
- точка во внешней, 3-х мерной сис-
K —
u2 ■ h31 - hj u2 ■ h32 - h
31
V2 ■ h31 - h21 - 1 0
B —
u2 ^¿з 3 3
V2 ■ h33 - h23
U 2
12
V2 ■ h32 - h22 0 -1
h14 U 2 ■ h34
h - v' ■ h
"24 ^2 "34
0 0
Для определения соответствия пространственных координат точек сцены между двумя камерами предложена последовательность действий:
1) Важны только относительные положения камер двух камер. Две камеры жестко скреплены на известном расстоянии друг от друга, находятся на оном уровне. Для обеих камер применена модель камеры-обскуры (камера с точечной апертурой, pinhole camera);
2) Одна из камер (первая) помещена в центр глобальных координат, ее углы поворота и наклона равны нулю и вектор сдвига относительно начала координат тоже равен нулю;
3) Положение второй камеры относительно первой определяется тремя параметрами переноса и тремя параметрами вращения. Матрица перспективных преобразований для первой камеры известна, далее можно определить координаты точки на плоскости изображения первой камеры и второй, учитывая внутренние параметры камер, матрицу поворота и перемещения;
4) В результате получена система из четырех уравнений с тремя неизвестными.
3. Численный эксперимент
Чтобы проверить работу и оценить точность вычисления предложенного алгоритма, написана программа в программной среде MatLab и проведен численный эксперимент, заключающийся в следующем:
V
<
1) Построена трехмерная модель калибро- ние до объекта равно 1,45 метра. Расстояние меж-вочной плоскости с известным расстоянием между ду контрольными точками равно 0,06 метра или 72 точками; пикселя, разрешение снимков 1200х1600 пиксе-
Plot errors
Рис. 2. График исходных и полученных координат точек объекта (модели)
2) Контрольные точки спроецированы на плоскость изображения камер с использованием реальной матрицы внутренних параметров камер
Л;
3) Искусственно введена ошибка в определение пространственных координат точек сцены, распределенная по нормальному закону, которая моделирует помехи. Ошибка введена в вычисление проекций точек изображения камер и округлена до целого значения пикселя;
4) Смоделирована матрица проективных преобразований для первой и второй камер;
5) Выражены координаты изображения первой камеры в относительных координатах, выражены координаты изображения второй камеры;
6) Составлено и решено матричное уравнение, в котором искомые координаты точки во внешней системе координат переопределены, методом наименьших квадратов.
Матрица внутренних параметров была принята из результатов работы [8], фокусное расстоя-
лей. И в результате были получены удовлетворительные данные по определению соответствия трех мерных координат точек между стереопарой.
Результаты ошибки вычисления координат точек объекта, представлены на рис. 2. Синим цветом обозначены исходные точки объекта, а красным цветом точки, полученные в результате работы программы. Координаты точек даны в метрах.
Построена гистограмма распределения ошибки рис. 3. Значения распределения ошибки по результатам 40 экспериментов:
1) Количество корректно сопоставленных точек, т.е. ошибка равна или меньше одного миллиметра, по координате Х равно 55 точек, по координате У равно 60 точек, по 2 равно 70 точек. Из представленных результатов видно, что общее количество корректно сопоставленных точек превышает половину от общего числа, что удовлетворительно для сопоставления изображения полученного цифровой камерой и изображения с использованием термографа.
Coordinate X Coordinate Y
-4 -2 0 2 4
Errors value (m) ^ ^ q 3
Рис. 3. Гистограмма распределения ошибки по координатам
2) Точки, определенные с погрешностью 0,5 процента по оси Х составили количество равное 13 точкам, по оси У равное 11 точкам, по оси Z равное 30 точкам. Относительно оси Z можно сказать, что предложенный алгоритм определение пространственных координат точек сцены, корректно сопоставил точки модели с двух камер.
3) Соотношение точек с ошибкой сопоставления более 1 процента составили по X - 27 точек, по У - 29 точек. Количество точек с данной ошибкой составляет не более одной третьей от общего числа.
Как видно из результатов, метод корректен и перспективен для использования при сопоставлении изображений для сенсоров с постоянной базой.
Также были построены графики абсолютной ошибки по каждой координате в зависимости от количества точек (рис. 4). График ошибки по оси X обозначен красным цветом, по оси У - черным, а по оси Z - синим. По результатам 20 экспериментов для 100 точек максимальная абсолютная ошибка по оси X составила 0,015 метра или 1,5 см, для оси У это значение составило 0,008 метра или 0,8 сантиметра, и для оси Z - 0,003 метра или 0,3 сантиметра.
Выводы. Предложенный алгоритм при наличии информации о взаимном расположении ка-
мер стереопары друг относительно друга позволяет восстанавливать пространственные координаты точек сцены с достаточной точностью. Искусственно смоделированный шум, при определении координат точек на изображениях, был распределен по нормальному закону с СКО = 1 пиксель и показал уровень точности определения координат менее 1% (для 60% от общего числа точек) на расстоянии съемки от 0,5 до 1,5 метров, что является достаточным для уверенной локализации системы.
Данный метод также будет протестирован в ряде натурных экспериментов. Сравнение полученных результатов с результатами численного эксперимента позволят сделать выводы о пригодности предложенной методики к применению в алгоритме позиционирования промышленного автоматизированного тепловизионного комплекса.
Дальнейшие исследования будут направлены на совместную калибровку стереопары и теп-ловизионного датчика с целью окончательной компоновки промышленного образца устройства.
БИБЛИОГРАФИЯ
1. Weckesser P., Hetzel G., Dillman R. Photogram-metric Calibration Methods for an Active Stereo
Diagrams absolute errors in meter
X 0 02 г
о
° -0.02 L-^-^-^-^-^-^-^-^-^-J:
0 10 20 30 40 50 60 70 80 90 100
number points
Рис. 4. Графики абсолютной ошибки по координатам.
Vision System // Intelligent Robotic Systems. Grenoble, France, 1994. P. 326-333.
2. Heikkila J., Silven O. A four-step Camera Calibration Procedure with Implicit Image Correction // In Proc. Of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'97). San Juan, Puerto Rico, 1997.
3. Slama C. C. Manual of Photogrammetry. 4-th ed., American Society of Photogrammetry. Falls Church, Virginia, 1980.
4. Zhang Z. A flexible new technique for camera calibration : Technical Report MSR-TR-98-71. 2002.
5. Thermal Imaging Diagnostics of Electric Locomotives / A.V. Lukiyanov, V.N. Perelygin, V.Yu. Garifulin, A.I. Romanovskiy // Innovation & Sus-tainability of Modern Railway Proceedings of the First International Symposium (ISMR'2008).
Nanchang , China, 2008. Oktober 16-17. P. 592957.
6. Лукьянов А. А., Капустин А. Н., Лукьянов А. В. Алгоритмическое и программное обеспечение автоматизи-рованного термомониторинга и диагностики оборудования // Контроль. Диагностика. 2005. № 9. С. 45-53.
7. Р. Дуда, П. Харт. Распознавание образов и анализ сцен : пер. с англ. Г. Г. Вайнштейна, А. М. Васьковского. М. : Мир, 1976. 502 с.
8. Эффективное сопоставление изображений в инфракрасном и оптическом спектральных диапазонах с использованием стереопары «тепловизор - видеокамера» / А. Н. Капустин, В. Ю. Гарифулин, В. Н. Перелыгин, А. В. Лукьянов // Современные технологии. Системный анализ. Моделирование. 2008. № 2 (18). С. 8799.
