CC BY
10
УДК 004.932.2
DOI: 10.18698/0236-3933-2022-1-119-134
МАТЕМАТИЧЕСКОЕ МОДЕЛИРОВАНИЕ И ИССЛЕДОВАНИЕ ОПТИМАЛЬНЫХ КОНФИГУРАЦИЙ ТРИАНГУЛЯЦИОННОЙ ОПТИКО-ЭЛЕКТРОННОЙ СИСТЕМЫ ПРИ ПОДСВЕТКЕ ПРОСТРАНСТВА ПРЕДМЕТОВ ОДНОЙ ПОЛОСОЙ
Д.Н. Степанов mitek1989@mail.ru
ИПС им. А.К. Айламазяна РАН, Переславль-Залесский, Ярославская обл., Российская Федерация
Аннотация
Работа посвящена теоретическому исследованию триангуляционных оптико-электронных систем, состоящих из видеокамеры и источника структурированной подсветки в виде одиночной прямой полосы. Подобные оптико-электронные системы могут использоваться для решения различных задач трехмерного моделирования, например в задаче обнаружения препятствий перед автономным мобильным роботом. Цель работы — найти оптимальную конфигурацию такой системы для достижения наилучшей точности определения размеров наблюдаемых объектов, а также расстояний до них. С использованием аппарата аналитической геометрии, линейной алгебры и математического анализа разработана математическая модель подобной системы, учитывающая различные внутренние параметры и технические характеристики видеокамеры и источника подсветки, а также взаимное расположение и ориентацию камеры и источника. С использованием построенной математической модели получены уравнения, позволяющие оценить погрешность вычисления расстояний до детектированных объектов. Исследован вопрос оптимальной конфигурации подобных оптико-электронных систем, критерии оптимальности: минимизация погрешностей определения расстояния, наименьшая высота детектируемых объектов. Полученные теоретические результаты могут быть использованы в системах управления беспилотных аппаратов, неразрушающего контроля промышленных изделий и в дальнейших исследованиях оптико-электронных систем подобного типа
Ключевые слова
Математическая модель, структурированная подсветка, видеокамера, определение расстояния, триангуляционная оптико-электронная система, погрешность, оптимизация
Поступила 02.04.2021 Принята 25.06.2021 © Автор(ы), 2022
Введение. Важный компонент автономных мобильных роботов — система навигации и обнаружения препятствий. Подобные системы можно подразделить на пассивные и активные. В пассивных системах точность определения расстояний зависит от эффективности используемых алгоритмов сопоставления образов объектов на двух и более снимках с видеокамер. Активные системы имеют более высокую точность и основаны на лазерных сканерах, структурированной подсветке или дальномерах различного типа. Дальномеры позволяют восстановить ЭБ-координаты только одной точки пространства, а лазерные сканеры имеют высокую стоимость, что повышает актуальность исследований систем на основе именно структурированной подсветки.
Два основных компонента подобной системы: 1) проектор; 2) видеокамера. Как правило, исследования систем на основе подсветки направлены на разработку алгоритмов определения взаимной ориентации и положения камеры и проектора (калибровки). Общая идея существующих алгоритмов: проектор рассматривают как «обратную» видеокамеру, а общеизвестная математическая модель камеры-обскура адаптирована к особенностям проектора. Так, в [1] описаны следующие типовые этапы калибровки.
1. Калибровка камеры с применением калибровочного стенда «шахматная доска» [2].
2. Определение положения и ориентации калибровочной плоскости, на которую затем проецируется подсветка. Рисунок подсветки — чаще всего также паттерн «шахматная доска».
3. Поиск угловых точек спроецированного паттерна на изображении с камеры, наблюдающей калибровочную плоскость.
4. Вычисление ЭБ-координат угловых точек спроецированного паттерна.
5. Сведение задачи калибровки проектора к задаче калибровки камеры [Э].
Подобный метод использован, например, в [4-6]: паттерн «шахматная доска» проецируется на ту же плоскость, на которую нанесен рисунок шахматной доски, далее оба паттерна снимают видеокамерой. Стенд со специальными маркерами использован в [6], рисунок подсветки также представлял собой сетку из маркеров. Камера снимает калибровочную плоскость, при этом спроецированные и распечатанные маркеры находятся рядом друг с другом в одной плоскости. Проецирование рисунков подсветки в виде черно-белых полос на шахматную доску описано в [7]. Чтобы облегчить детектирование рисунка подсветки на снимках, стенд выполнен в красном и синем цвете. Первая часть снимков стенда выполняется с вы-
ключенной подсветкой, вторая часть — с применением источника освещения красного цвета (для калибровки камеры), третья часть — с включенной подсветкой (для калибровки проектора). Для калибровки системы в [8] использовано проецирование паттернов из полос на стенд, на который нанесены белые кружки. Для калибровки в [9] применен стенд из белых кружков на черном фоне, на него проецируется подсветка. Предложен метод восстановления уравнения плоскости, которую создает подсветка, с помощью съемки стенда в двух разных положениях.
Имеются работы, в которых предлагается использовать трехмерный стенд из двух перпендикулярных плоскостей. Так, в [10] на стенд нанесены черные кружки, а подсветка представляет собой сетку из горизонтальных и вертикальных полос.
Для калибровки в [11] использована еще одна камера, описан метод выделения полосы подсветки на снимках. Две камеры облегчают поиск полосы на снимках и позволяют отказаться от взаимной калибровки камер и подсветки. Для облегчения выделения подсветки на снимках применены узкополосные фильтры перед камерами. Две камеры, первая из которых выполняет снимки в цвете, вторая — выдает полутоновые снимки и используется совместно с фильтрами, воспринимающими только ближний ИК-диапазон, в котором излучает проектор, описаны в [12]. На калибровочную плоскость спроецирована подсветка, требуется вручную измерять расстояния от камеры до стенда для каждого снимка, а также обеспечивать параллельность стенда относительно плоскости изображения камеры.
Система с дополнительным лазерным дальномером, измеряющим расстояния до плоскости, на которой расположен исследуемый объект, рассмотрена в [13]. В работе сделано много допущений, которые ограничивают возможности использования предложенных методов: совпадение фокальных плоскостей системы проецирования и фотофиксации; перпендикулярность луча дальномера обеим фокальным плоскостям и др. Проблема построения плана помещения с помощью камеры и подсветки в виде одной или трех полос изложена в [14], камера должна быть ориентирована горизонтально, а ее оптическая ось строго параллельна оси светового пучка.
Согласно изложенному выше, основное внимание в перечисленных работах уделено проблеме калибровки видеокамеры и источника подсветки, а не проблеме, которая в некоторой степени является обратной: необходимо подобрать такую конфигурацию компонентов триангуляционной системы, которая позволяла добиться приемлемой точности в оценке координат и размеров наблюдаемых объектов. Решение указанной проблемы является целью настоящего исследования. При этом будем рассматривать
источник подсветки в виде одиночной полосы: использование двумерных картин подсветки хотя и позволяет восстановить ЭБ-форму объекта, но для вычисления расстояния до препятствия и его высоты вполне достаточно подсветки в виде полосы. Следует отметить, что использование подобного варианта подсветки достаточно простое решение, не лишенное недостатков (разбору подобных ситуаций посвящен последний раздел статьи). В то же время такой вариант является одним из наиболее доступных способов организации триангуляционной оптико-электронной системы, позволяющей обнаруживать препятствия и оценивать их размеры.
Для достижения указанной цели поставлены следующие задачи.
1. Построение математической модели установки, состоящей из видеокамеры и источника подсветки в виде прямой полосы. Модель должна учитывать различные внутренние параметры компонентов триангуляционной системы и особенности их взаимного расположения.
2. Исследование с использованием построенной модели влияния параметров системы на значения погрешностей определения расстояний до объектов, а также на возможность детектирования объектов различных размеров.
3. Определение такой конфигурации системы, при которой погрешности определения расстояний будут минимальны.
Математическая модель триангуляционной оптико-электронной системы. Конфигурация описанной выше оптико-электронной системы показана на рис. 1. Пусть видеокамера располагается на высоте ^ над некоторой условной плоскостью: можно полагать, что это плоскость пола того помещения, внутри которого движется автономный робот.
Оптический центр камеры располагается в точке Oc, в этой же точке находится начало системы координат OcXcYcZc, привязанной к камере. Ось OcXc направлена к наблюдателю. Из точки Oc опустим перпендикуляр к условной плоскости, получим точку Ow на этой плоскости и привяжем к ней начало системы координат OwXwYwZw, которую назовем базовой. Ось OcXc направлена к наблюдателю, ось OwYw лежит на перпендикуляре, ось OwZw направлена по ходу движения мобильного робота. Пусть оптическая ось камеры (ось OcXc) располагается не строго параллельно условной плоскости: угол между осью OcYc и перпендикуляром равен ф. Плоскость изображения камеры обозначена отрезком AcBc.
Источник подсветки расположен в точке Ol. Лучи света от источника движутся по прямой ¡, которая образует с условной плоскостью угол а. Условимся, что источник подсветки ориентирован относительно камеры
Рис. 1. Конфигурация оптико-электронной системы
так, что образ полосы подсветки на снимке с камеры близок к горизонтальной линии. При такой конфигурации проекция плоскости, которую образуют лучи подсветки, — плоскость О^^^Х^ представляет собой прямую линию. Пусть перед автономным роботом расположено препятствие, лучи от источника подсветки пересекаются с ним в точке Р. Угол между оптической осью ОсХс и отрезком ОсР равен 9.
Пусть Рс — координаты некоторой точки пространства в системе координат камеры, а Pw — координаты этой же точки в базовой системе координат. Две системы координат связаны матричным уравнением:
(1)
Здесь Я, Т — ортонормированная матрица и вектор, задающие соответственно ориентацию и положение базовой системы координат относительно системы координат, связанной с камерой.
При известных координатах Рс можно вычислить координаты проекции этой точки на изображении с камеры рс [2]:
' 1 0 0 0
Pc = RPw + T = 0 cos ф - sin ф Pw + hc cos ф
0 sin ф cos ф hc sin ф
kpc = k
Xc ' fx 0 cx
7c = MPc = 0 fy С у
1 0 0 1
Pc.
(2)
Здесь M — матрица внутренних параметров камеры; fx, fy — фокальные длины камеры; cx, Cy — координаты главной точки (principal point) в двумерной системе координат изображения с камеры; к — масштабирующий множитель. В общем случае в набор уравнений (2) должны входить выражения, учитывающие различные виды дисторсии на изображениях (радиальная, тангенциальная и др.), но будем полагать, что камера уже от-калибрована, коэффициенты дисторсии известны, дисторсия на снимках устранена.
Влияние толщины полосы подсветки на расположение проектора относительно камеры. Имеется большое число источников подсветки, которые можно успешно применять на автономном мобильном роботе в целях обнаружения препятствий. Подобный источник подсветки использован в [15], а рисунок подсветки представлял собой полосу. Такой источник характеризовался низким рассеянием лучей: толщина создаваемой полосы составляла около 3 мм и оставалась неизменной как вблизи источника подсветки, так и на расстоянии нескольких метров, что было проверено непосредственными измерениями. С учетом скорости движения мобильного робота запаса в несколько метров вполне достаточно для выполнения действий по объезду препятствия. Таким образом, толщину проецируемой полосы подсветки можно полагать константой, не зависящей от расстояния. Обозначим толщину полосы подсветки как so.
С одной стороны, если полоса достаточно тонкая, это позволяет точнее вычислить 3Б-координаты того объекта, на который эта полоса проецируется. С другой, тонкую полосу труднее обнаружить на изображении с камеры, особенно если наблюдаемый объект находится на достаточном удалении. Экспериментальным путем можно определить минимально допустимую толщину sc образа полосы подсветки на изображении с видеокамеры (в пикселях), при которой полоса надежно детектируется. Конечно, это во многом зависит от используемого алгоритма обнаружения тех пикселей на изображении, которые соответствуют подсветке.
Обозначим через S максимальное расстояние (м) до наблюдаемого объекта, при котором полоса подсветки надежно детектируется на изображении. Все три перечисленные величины связаны следующей пропорцией (она легко доказывается по свойству подобия треугольников), откуда можно вычислить S:
fys0
(3)
s0 sc
Отметим, что это расстояние выражено в системе координат камеры 0сХсУ^с, т. е. отложено по оси 0^с. Поскольку угол ф может быть ненулевым, более наглядным будет значение расстояния от робота до препятствия в базовой системе координат, так как ось лежит в условной плоскости. Расстоянию 5 на рис. 1 соответствует отрезок 0с£тах. Пусть положение источника подсветки и угол а выбраны так, что проходящая через точку 1тах и перпендикулярная отрезку 0сЬтах прямая пересекается с осью 0wZw в той же точке, что и прямая I. Действительно, если перпендикуляр из точки Ьтах пересекается с прямой I в некоторой точке, расположенной на высоте Н над уровнем пола, то при приближении робота к объекту высотой менее чем Н этот объект просто не будет обнаружен, что может быть опасно для робота.
Искомая точка на поверхности пола имеет координаты (0, 0, Zmax )т в базовой системе координат. С использованием (1) вычислим координаты этой точки в системе координат камеры:
0 0
R 0 + T = hc COS ф- Zmax Sin ф
Zmax hc sin ф + Zmax cos ф
Аппликата полученной точки равна величине S, откуда можно легко вычислить значение
Z _ S - hc sin ф
Zmax _ •
cos ф
Вывод уравнения плоскости, порождаемой лучами подсветки, в системе координат камеры. В плоскости OwYwZw (см. рис. 1) проекция плоскости, порождаемой лучами подсветки, представляет собой прямую l. Согласно рис. 1, эта прямая проходит через две точки, которые в базовой системе координат имеют координаты (Х 1, 0, Zmax )т и (Х2, tg а, 0)т (конкретные значения абсцисс интереса не представляют). Вычислим координаты этих точек в системе координат камеры:
x1 ' Xi ' Xi
Yi = R 0 + T = -Zmax sin ф + hc cos ф
Zi Zmax Zmax cos ф + h sin ф
XX2 X2 X2
Y2 = R - Zmaxtg a + T = -Zmax cos ф tg a + hc cos ф
Z2 0 Zmax sin ф tg a + hc sin ф
Выведем уравнение прямой I в системе координат камеры О^с^с используя координаты двух полученных точек:
С =
Y2 - Y
Y = CZ + D, sin ф- cosф tgа _ sin ф cos а- cosф sin а
Z2 - Z1 - cos ф - sin ф tg а - cos ф cos а - sin ф sin а sin (ф-а)
- cos (ф-а)
= tg (а-ф^
(4)
D = Yi - ZiC = ■
Zmaxtg a-He
hc -Zmaxtg а
- cos ф - sin ф tg a cos ф + sin ф tg а
Оценка погрешности измерения расстояния до наблюдаемого объекта. Пусть известны координаты некоторой точки (xc, yc) на изображении, эта точка является проекцией точки пространства, на которую попадает полоса подсветки. В так называемой нормализованной системе координат эта точка имеет координаты:
Хс Хс
yc = M-1 Ус
1 1
хс = хс (хс) = -1 (хс -Сх), (5)
и
Ус = Ус (ус (ус - су ).
Если известны погрешности вычисления координат точки в пиксельной системе координат изображения, то соответствующие погрешности в нормализованной системе координат определяют с использованием формулы вычисления погрешности функции одной переменной при известной погрешности аргумента:
Axc =
Аус =
дХс Axc = 1
дХс f
eye Аус = 1
dye Ту
Axe,
Применяя выражение (5), можно восстановить ЗБ-координаты наблюдаемой точки в системе координат камеры с точностью до неизвестного положительного коэффициента к, а затем подставить полученные координаты в уравнение прямой I:
Xc Xc
Pc = Yc = k yc
Zc 1
7, = CZc + D,
(6)
kyc = Ck + DD ^ k = Zc = Zc (yc ) = —
D
Ус - с
Оценим погрешность вычисления расстояния до наблюдаемой точки при известной погрешности определения координат проекции этой точки на изображении с видеокамеры:
AZc =
dZc
dyc
Аyc =
- D
D2
D (У
(yc - C)
(yc - C)
f
2 ^^c =
Ayc =
\D\
(yc - C у
-Ayc =
D
yc - C
Ayc _ Z}hyc
D
D
По аналогии с (3) имеет место пропорция
Ayc = sq_
Zr
Ayc =
AZc =
_ Zc. fySp _ Z
D\
fy Zc Zc fyZc
Заменив Zc из выражения (7) выражением (6), получим
Ds0 _ sign (D)s0 _ sign (DD)s0
D
AZc -^
D\(jc - C )
(7)
(8)
Ус - С Ус - tg (а-ф)'
Отметим, что знаменатель дроби (8) не может быть равен нулю, в противном случае AZc стремилась бы к бесконечности.
Исследование влияния ориентации источника подсветки на точность вычисления расстояния до объектов. Легко заметить, что Zmaxtg а —
высота расположения источника подсветки над условной плоскостью К. Рассмотрим последнее выражение из набора выражений (4). Наложим ограничения на углы ф и а: угол ф > 0, но и ф < 90°, в противном случае камера была направлена в сторону, противоположную ходу движения; также 0 < а < 90°, откуда
К - Zmaxtg а
D = ■
cos ф + sin ф tg а
фе[0; к/2)^cosф>0, sinф>0
(9)
ае(0; и/2) ^ tgа> 0
cos ф + sin ф tg а > 0.
Знаменатель дроби из (9) всегда положителен. Отметим, что случай равенства величии hc и hi является вырожденным и соответствует вариантам, когда положения видеокамеры и источника подсветки совпадают, либо источник располагается за камерой и направлен на нее, либо источник попадает в поле зрения камеры — все эти варианты на практике неработоспособны.
Рассмотрим (8) и попытаемся найти стационарные точки функции Zc (а) путем приравнивания ее производной нулю:
dAZc _ sign (D)so (l/ (cos2 (а-ф)))_ sign (D)sq
da
(yc -tg(а-ф)) cos2 (а-ф)(ус -tg(а-ф))
Исследуем, может ли знаменатель быть равным нулю. Предположим, что cos (а - ф) = 0, тогда а - ф = тс /2. Если учесть выражение (9), то
, ^ f к к
(а-ф)^"-^
Получили противоречие, следовательно, cos (а - ф) не может быть равным нулю. Поскольку 5о положительна, производная функции Zc (а) нигде не равна нулю. Следовательно, функция Zc (а) является строго убывающей или строго возрастающей:
• /а\ „ , , dAZc п 5AZc sign ID I > 0, hc > hl ^ -> 0 ^--> min при а ^ 0,
v ' да да
■ /а\ „ , , ^AZc л dAZc
sign ID I < 0, hc < hi ^ -< 0 ^--> min при a^n /2.
v ' да da
Таким образом, если исходящие от источника подсветки лучи проходят под камерой, то для минимизации погрешностей определения расстояний до наблюдаемых объектов источник подсветки необходимо располагать так, чтобы значение угла а было как можно ближе нулю. Если лучи проходят над камерой, то значение а должно быть как можно ближе к 90°.
Исследование влияния ориентации источника подсветки на возможность детектирования препятствий различной высоты. Пусть видеокамера на роботе выполнила два кадра, за время между выполнением двух смежных кадров робот проехал расстояние V (рис. 2). Положения этой плоскости в два разных момента времени показаны в виде двух прямых li и I2. Пусть перед роботом находится некоторое препятствие высотой hmin. В первый момент времени лучи подсветки попали в нижнюю
V
Рис. 2. Детектирование препятствия некоторой минимальной высоты
часть препятствия (в точку, где препятствие соприкасается с полом). Во второй момент времени лучи света попали в верхнюю часть препятствия: если препятствие было бы высотой чуть меньше, то лучи подсветки спроецировались бы на плоскость пола позади препятствия, и препятствие не было обнаружено.
Легко рассчитать, каким должен быть угол а, чтобы подобных ситуаций не возникало, и оптико-электронная система позволяла бы обнаруживать препятствия высотой не менее чем
Другими словами, если угол между полом и плоскостью, которую порождают лучи подсветки, не превосходит указанного выше значения, то возможно детектирование препятствий высотой Нт[п и более. В свою очередь, расстояние V зависит от частоты получения кадров с камеры и скорости движения робота. Отметим, что на пути робота могут быть препятствия, которые хоть и имеют высоту более ^т1п, но при этом все равно могут быть не обнаружены при заданном значении угла а. Пример такого препятствия показан на рис. 3.
Пусть сформулирована задача не просто детектирования препятствий перед роботом, но и измерения их высоты. Обозначим максимально возможную высоту объектов как Нтах. Пусть есть ограничения на то, насколько близко робот может приближаться к препятствию, это расстояние не может быть меньше величины, которую обозначим как Zmn (см. рис. 1).
hmin = V tg а
Рис. 3. Пример препятствия, которое может быть не обнаружено оптико-электронной системой
Легко убедиться, что выполняется следующее отношение, которое позволяет вывести ограничение на угол а при заданных значениях Hmax, Zmax
и Zmin:
Hmax = (Zmax _ Zmin )tg (ctmin ), Hmax — (Zmax _ Zmin )tg tt,
H max
tg a>
Zmax Zmin
a>tg Hm
. ^шах ^шт
Заключение. Построена математическая модель триангуляционной оптико-электронной системы, состоящей из видеокамеры и источника подсветки в виде одиночной полосы. Модель учитывает различные параметры системы: внутренние параметры видеокамеры; углы наклона видеокамеры и источника подсветки к подстилающей поверхности; высоту камеры над поверхностью; особенности светового пучка от источника подсветки. Угол наклона источника подсветки является основным настраиваемым параметром. Полученная модель позволила:
1) оценить погрешность измерения расстояния до объектов в зависимости от параметров системы;
2) определить оптимальную конфигурацию системы, при которой достигаются минимальные погрешности измерения расстояния до объектов;
3) исследовать влияние параметров системы на возможность детектирования препятствий различной высоты.
Полученная математическая модель и выведенные оценки можно использовать при проектировании систем детектирования и распознавания
целевых объектов при движении автономных мобильных роботов, в системах неразрушающего контроля промышленных изделий и др. В дальнейшем предполагается объединить полученную модель и выведенные оценки с результатами, опубликованными в [15], а именно исследовать возможность и точность калибровки оптико-электронной системы предложенным ранее методом в зависимости от примерной конфигурации установки.
ЛИТЕРАТУРА
[1] Geng J. Structured-light 3D surface imaging: a tutorial. Adv. Opt. Photonics, 2011, vol. 3, iss. 2, pp. 128-160. DOI: https://doi.Org/10.1364/AOP.3.000128
[2] Bradski G., Kaehler A. Learning OpenCV. O'Reilly Media, 2008.
[3] Zhang Z. A flexible new technique for camera calibration. IEEE Trans. Pattern Anal. Mach. Intell., 2000, vol. 22, no. 11, pp. 1330-1334.
DOI: https://doi.org/10.1109/34.888718
[4] Falcao G., Hurtos N., Massich J. Plane-based calibration of a projector-camera system. VIBOTMaster, 2008, pp. 1-12.
[5] Sadlo F., Weyrich T., Peikert R., et al. A practical structured light acquisition system for point-based geometry and texture. Proc. Eurographics/IEEE VGTC Symp. Point-Based Graphics, 2005, pp. 89-145. DOI: https://doi.org/10.1109/PBG.2005.194069
[6] Audet S., Okutomi M. A user-friendly method to geometrically calibrate projector-camera systems. IEEE Computer Society Conf. on Computer Vision and Pattern Recognition Workshops, 2009, pp. 47-54. DOI: https://doi.org/10.1109/CVPRW.2009.5204319
[7] Zhang S., Huang P.S. Novel method for structured light system calibration. Opt. Eng., 2006, vol. 45, iss. 8, art. 083601. DOI: https://doi.org/10.1117/1.2336196
[8] Li Z., Shi Y., Wang C., et al. Accurate calibration method for a structured light system. Opt. Eng., 2008, vol. 47, iss. 5, art. 053604. DOI: https://doi.org/10.1117/1.2931517
[9] Pribanic T., Cifric I., Cifrek M., et al. Simplified light plane determination during structured light scanning. Automatika, 2006, vol. 47, no. 3-4, pp. 141-147.
[10] Давыденко Е.В., Приоров А.Л. Калибровка положения видеокамеры в задаче оптической лазерной триангуляции. Цифровая обработка сигналов, 2009, № 3, с. 16-20.
[11] Коротаев В.В., Джамийков Т.С., Нгуен Х.В. и др. Метод определения пространственных координат в активной стереоскопической системе. Научно-технический вестник информационных технологий, механики и оптики, 2014, № 6 (94), с. 48-53.
[12] Garbat P., Skarbek W., Tomaszewski M. Structured light camera calibration. OptoElectronics Review, 2013, vol. 21, iss. 1, pp. 23-38.
DOI: https://doi.org/10.2478/s11772-013-0076-8
[13] Скворцов Б.В., Черных А.В., Малышева-Стройкова А.Н. Фотопроекционный метод измерения геометрических параметров объектов сложной формы. Известия Самарского научного центра Российской академии наук, 2016, т. 18, № 4-6, с. 1242-1249.
[14] Косова А.В., Попков А.И. Построение плана замкнутого пространства с использованием компьютерного зрения и структурированной подсветки. Доклады Томского государственного университета систем управления и радиоэлектроники, 2015, № 2, с. 33-37.
[15] Степанов Д.Н. Новый способ калибровки активной оптической стереосистемы, состоящей из монокулярной камеры и структурированной подсветки в виде линии. Оптический журнал, 2020, т. 87, № 4, с. 52-60.
DOI: https://doi.org/10.17586/1023-5086-2020-87-04-52-61
Степанов Дмитрий Николаевич — канд. техн. наук, научный сотрудник Исследовательского центра мультипроцессорных систем Лаборатории методов обработки и анализа изображений ИПС им. А.К. Айламазяна РАН (Российская Федерация, Ярославская обл., 152021, Переславль-Залесский, ул. Петра Первого, д. 4а).
Просьба ссылаться на эту статью следующим образом:
Степанов Д.Н. Математическое моделирование и исследование оптимальных конфигураций триангуляционной оптико-электронной системы при подсветке пространства предметов одной полосой. Вестник МГТУ им. Н.Э. Баумана. Сер. Приборостроение, 2022, № 1 (138), с. 119-134. DOI: https://doi.org/10.18698/0236-3933-2022-1-119-134
MATHEMATICAL SIMULATION AND RESEARCH OF OPTIMAL CONFIGURATIONS OF A TRIANGULATION OPTOELECTRONIC SYSTEM WHEN BACKLIGHTING THE OBJECT SPACE WITH A SINGLE STRIP
D.N. Stepanov mitek1989@mail.ru
Program Systems Institute, Russian Academy of Sciences, Pereslavl-Zalessky, Yaroslav Region, Russian Federation
Abstract
The article discusses the theoretical research of triangulation optoelectronic systems consisting of a video camera and a source of structured illumination in the form of a single straight strip. Such optoelectronic systems can be used for solving various problems of three-dimensional modeling, for example, in the problem of detecting obstacles in front of an autono-
Keywords
Mathematical model, structured light, video camera, distance estimation, triangulation optoelectronic system, error, optimization
mous mobile robot. The aim of this work is to identify the optimal configuration of such systems to achieve the best accuracy in determining the size of the observed objects, as well as the distances to them. Using the apparatus of analytical geometry, linear algebra and mathematical analysis, a mathematical model of such a system has been developed, taking into account various internal parameters and technical characteristics of the video camera and the structured light source, as well as the relative position and orientation of the camera and the source. Using the constructed mathematical model, equations were obtained allowing estimating the error in calculating the distances to the detected objects. The question of the optimal configuration of such optoelectronic systems is examined, as well as optimality criteria: minimization of errors in determining the distance, the smallest height of the detected objects. The obtained theoretical results can be used in control systems for unmanned vehicles, in systems for non-destructive testing of industrial products, and in further studies of optoelectronic systems of this type
REFERENCES
[1] Geng J. Structured-light 3D surface imaging: a tutorial. Adv. Opt. Photonics, 2011, vol. 3, iss. 2, pp. 128-160. DOI: https://doi.Org/10.1364/AOP.3.000128
[2] Bradski G., Kaehler A. Learning OpenCV. O'Reilly Media, 2008.
[3] Zhang Z. A flexible new technique for camera calibration. IEEE Trans. Pattern Anal. Mach. Intell, 2000, vol. 22, no. 11, pp. 1330-1334.
DOI: https://doi.org/10.1109/34.888718
[4] Falcao G., Hurtos N., Massich J. Plane-based calibration of a projector-camera system. VIBOTMaster, 2008, pp. 1-12.
[5] Sadlo F., Weyrich T., Peikert R., et al. A practical structured light acquisition system for point-based geometry and texture. Proc. Eurographics/IEEE VGTC Symp. Point-Based Graphics, 2005, pp. 89-145. DOI: https://doi.org/10.1109/PBG.2005.194069
[6] Audet S., Okutomi M. A user-friendly method to geometrically calibrate projector-camera systems. IEEE Computer Society Conf. on Computer Vision and Pattern Recognition Workshops, 2009, pp. 47-54. DOI: https://doi.org/10.1109/CVPRW.2009.5204319
[7] Zhang S., Huang P.S. Novel method for structured light system calibration. Opt. Eng., 2006, vol. 45, iss. 8, art. 083601. DOI: https://doi.org/10.1117/1.2336196
[8] Li Z., Shi Y., Wang C., et al. Accurate calibration method for a structured light system. Opt. Eng., 2008, vol. 47, iss. 5, art. 053604. DOI: https://doi.org/10.1117/L2931517
[9] Pribanic T., Cifric I., Cifrek M., et al. Simplified light plane determination during structured light scanning. Automatika, 2006, vol. 47, no. 3-4, pp. 141-147.
Received 02.04.2021 Accepted 2Б.0б.2021 © Author(s), 2022
[10] Davydenko E.V., Priorov A.L. Calibration of the position of videocamera in the problem of optical laser triangulation. Tsifrovaya obrabotka signalov [Digital Signal Processing], 2009, no. 3, pp. 16-20 (in Russ.).
[11] Korotaev V.V., Djamiykov T.S., Hoang V.N., et al. Method for determining the spatial coordinates in the active stereoscopic system. Nauchno-tekhnicheskiy vestnik infor-matsionnykh tekhnologiy, mekhaniki i optiki [Scientific and Technical Journal of Information Technologies, Mechanics and Optics], 2014, no. 6 (94), pp. 48-53 (in Russ.).
[12] Garbat P., Skarbek W., Tomaszewski M. Structured light camera calibration. OptoElectronics Review, 2013, vol. 21, iss. 1, pp. 23-38.
DOI: https://doi.org/10.2478/s11772-013-0076-8
[13] Skvortsov B.V., Chernykh A.V., Malysheva-Stroykova A.N. Photoprotection method of measuring three dimensional objects. Izvestiya Samarskogo nauchnogo tsentra Ros-siyskoy akademii nauk [Izvestia of Samara Scientific Center of the Russian Academy of Sciences], 2016, vol. 18, no. 4-6, pp. 1242-1249 (in Russ.).
[14] Kosova A.V., Popkov A.I. Mapping the surrounding space with the use of odometry, inertial navigation, structured light and computer vision. Doklady Tomskogo gosudar-stvennogo universiteta sistem upravleniya i radioelektroniki [Proceedings of the TUSUR University], 2015, no. 2, pp. 33-37 (in Russ.).
[15] Stepanov D.N. Method of calibrating an active optical stereoscopic system that consists of a monocular camera and structured illumination in the form of a line. J. Optic. Technol., 2020, vol. 87, iss. 4, pp. 230-236. DOI: https://doi.org/10.1364/J0T.87.000230
Stepanov D.N. — Cand. Sc. (Eng.), Researcher, Research Center for Multiprocessor Systems, Laboratory of Image Processing and Analysis Methods, Program Systems Institute, Russian Academy of Sciences (Petra Pervogo ul. 4a, Pereslavl-Zalessky, Yaroslav Region, 152021 Russian Federation).
Please cite this article in English as:
Stepanov D.N. Mathematical simulation and research of optimal configurations of a triangulation optoelectronic system when backlighting the object space with a single strip. Herald of the Bauman Moscow State Technical University, Series Instrument Engineering, 2022, no. 1 (138), pp. 119-134 (in Russ.). DOI: https://doi.org/10.18698/0236-3933-2022-1-119-134
Издательство МГТУ им. Н.Э. Баумана 105005, Москва, 2-я Бауманская ул., д. 5, стр. 1 press@bmstu.ru https://bmstu.press
Подписано в печать 10.03.2022 Формат 70 х 108/16 Усл.-печ. л. 11,7 Отпечатано в типографии МГТУ им. Н.Э. Баумана 105005, Москва, 2-я Бауманская ул., д. 5, стр. 1 baumanprint@gmail.com
