CC BY
14
УДК 004.4:371 аог 10.15827/0236-235Х.142.293-302 2023. Т. 36. № 2. С. 293-302
Внешняя, калибровка всенаправленной системы компьютерного зрения и метод реконструкции внутренней среды помещения
И.Ю. Холодилин
Ссылка для цитирования
Холодилин И.Ю. Внешняя калибровка всенаправленной системы компьютерного зрения и метод реконструкции внутренней среды помещения // Программные продукты и системы. 2023. Т. 36. № 2. С. 293-302. (1о1: 10.15827/ 0236-235Х.142.293-302 Информация о статье
Поступила в редакцию: 11.10.2022 После доработки: 03.11.2022 Принята к публикации: 21.11.2023
Аннотация. Автономная навигация мобильных роботов внутри помещения привлекает внимание исследователей компьютерного зрения уже многие годы. Для решения данной задачи предложены разнообразные подходы и алгоритмы. Для выполнения заложенных в роботах алгоритмов они должны уметь оценивать трехмерную структуру окружающей среды. Однако визуальные датчики, такие как обычные камеры, не позволяют получать достаточное количество информации из-за ограниченного угла обзора. Авторы данного исследования предлагают комплексный подход для трехмерного моделирования внутренней среды. Система компьютерного зрения, рассматриваемая в работе, состоит из всенаправленной камеры и источника структурированного света. Всенаправленная камера обеспечивает широкий спектр информации, в то время как лазерный луч легко обнаружить и извлечь для дальнейшего анализа. Для получения достоверных результатов измерений система должна быть откалибрована. С этой целью предлагается усовершенствованный метод внешней калибровки. Рассматривается реконструкция внутренней среды помещения на базе аналогичной системы компьютерного зрения, а также алгоритма, включающего в свой состав нейронную сеть семантической сегментации. Для выполнения алгоритмов методов калибровки и трехмерного моделирования требуется одно входное изображение. Предложенные методы в значительной степени ускоряют процесс обработки данных без потери точности в измерениях. Их экспериментальная оценка осуществлялась с помощью данных, генерируемых посредством разработанного авторами ранее симулятора. Ключевые слова: виртуальная среда, всенаправленная камера, структурированный свет, семантические данные, внешняя калибровка, реконструкция помещения
Данное исследование обусловлено широким использованием всенаправленной камеры и структурированного света в качестве источников получения информации из окружающей среды. Например, картографирование или реконструкция помещения и навигация мобильных роботов - это потенциальные приложения. Использование всенаправленной камеры дает широкий угол обзора, что является преимуществом в сравнении со стандартными камерами. В силу высокого искажения изображений может вызвать затруднения извлечение одинаковых пикселей между ними в случае со стереозре-нием. Более того, условия окружающей среды способны выводить из строя алгоритмы сте-реозрения, например, условия освещенности. Решение может быть найдено путем интеграции структурированного света в систему. Основным преимуществом использования структурированного света для анализа данных является его простой механизм обнаружения и извлечения из исходного изображения. Таким образом, система компьютерного зрения, состоящая из все-направленной камеры в сочетании со структурированным светом, вызывает большой интерес среди ученых благодаря широкому углу обзора и высокой эффективности измерений.
Для получения достоверных измерений система компьютерного зрения нуждается в калибровке. Это обусловлено тем, что без известной связи между камерой и лазерной плоскостью невозможно провести измерения соответствующим образом. Данное утверждение можно обосновать, проанализировав несколько существующих исследований. В работе [1] авторы проводили эксперименты с определенными допущениями, а именно: камера и лазерная плоскость были установлены параллельно полу. Экспериментальные данные оказались не такими точными, как ожидалось. Следует отметить, что даже небольшие перекосы могут привести к неправильным измерениям, что особенно важно для всенаправлен-ной системы зрения, характеризующейся широким углом обзора.
В данной статье авторы рассматривают модель системы компьютерного зрения, включающую в свой состав всенаправленную камеру и источник структурированного света, а также калибровку системы и дальнейшую оценку качества калибровочных параметров посредством построения 2Б- и ЭБ-карт помещения. Отличительной особенностью данных методов является то, что можно произвести калибровку
системы и извлечь 2D- и SD-информацию о помещении за счет одного изображения. Эксперименты проводились на базе разработанного ранее симулятора iLabit OmViSys [2, 3, https:// ilabit4 .wixsite.com/mysite-1 ].
Методы и решения
Внешняя калибровка системы компьютерного зрения. В исследованиях других авторов представлены различные способы калибровки, такие как метод, основанный на использовании куба в качестве мишени, калибровка с применением шара [4], геометрический метод калибровки, основанный на параллельных линиях [5]. Наиболее популярно использование шахматного шаблона [6-8]. Для калибровки лазерной плоскости требуются, по меньшей мере, три неколлинеарные точки. Решение может быть получено путем анализа извлеченных лазерных точек, принадлежащих шаблону шахматной доски, размещенному в разных положениях. Аналогичная методика калибровки принята для системы всенаправленного зрения в работе [6]. Вместо перемещения шаблона в другое положение авторы использовали альтернативное решение, основанное на базе двух перпендикулярных шахматных фигур. Однако для взаимоотношений между лазерной плоскостью и камерой по шахматным шаблонам требуются дополнительные шаги, усложняющие процесс калибровки. Для каждой позиции шаблона должны быть сделаны два снимка - один с лазерным лучом (для извлечения луча) и другой без него (для извлечения точек шаблона). В случае с одним изображением (лазерный луч присутствует на изображении) точки шаблона могут быть извлечены неверно из-за принадлежности к нему лазерных точек, поэтому для получения достоверных результатов измерений необходимо внедрить новые шаблоны и методы калибровки, упрощающие процесс получения параметров.
Реконструкция помещения. Специалистам известны многочисленные методы реконструкции внутренней среды помещения. Общепринятым подходом к созданию цифрового представления сцены является генерация 3D-облака точек по нескольким цифровым изображениям [9]. Эффективность методов зависит от того, насколько хорошо текстуриро-вана окружающая среда. В связи с популяризацией RGBD-камер были предложены несколько методов моделирования сцен посредством Microsoft Kinect [10, 11]. Однако Kinect имеет
некоторые недостатки, один из главных - ограниченный угол обзора.
В статье [12] была предложена система, состоящая из нескольких сенсоров Kinect и зеркальных камер. Путем слияния изображений RGB и RGBD авторы смогли расширить угол обзора для реконструкции окружающей среды, но слепые зоны все еще присутствуют. Эта проблема может быть решена путем интеграции в систему еще большего количества Kinect-сенсоров, но это ведет к увеличению количества вычислительных операций и стоимости системы.
Для достижения широкого горизонтального угла обзора с большой дальностью действия и высокой точностью измерений несколько Kinect могут быть заменены на один лидар [9]. Меньшее количество элементов делает систему более надежной, но все же одного лидара недостаточно для анализа сцены в вертикальном направлении. В то же время системы, включающие в свой состав несколько лидаров, оказывают значительное влияние на стоимость, размер и вес системы.
Несколько подходов, основанных на использовании одного лидара, позволили решить эту проблему [12, 13], обеспечив экономичную систему и достижение широкого вертикального угла обзора. Общая идея этих работ заключается в переходе от жестких систем к более гибким конфигурациям, вращая лидар. Однако данные системы остаются довольно дорогостоящими для применения в закрытых помещениях. Более экономичное и менее габаритное решение может быть достигнуто за счет использования структурированного света.
В статье [14] рассматривался малогабаритный датчик размером с ладонь, состоящий из всенаправленной камеры, структурированного света и вращающегося двигателя. При вращательном движении извлекаются координаты лазера для построения 3D-модели помещения. В данной ситуации особое внимание должно быть уделено типу используемого энкодера, поскольку, например, магнитные энкодеры могут страдать от проблем нелинейности, что может отрицательно сказаться на конечных измерениях.
В работе [15] рассматривалась система, основанная на поворотной платформе. Обеспечив точный контроль угловой скорости, авторы добились высокой точности всенаправленной реконструкции. Однако данный тип зрительной системы имеет относительно габаритную и сложную структуру, которую трудно воссо-
здать без специального оборудования. Кроме того, методы, предлагаемые в [14, 15], предоставляют ЭБ-модель помещения без текстур. Даже если заниматься модернизацией данных программ, процесс построения модели будет затратным по времени, так как за счет поворота лазерной плоскости необходимо получить 3Б-модель всего помещения. Чтобы сократить время реконструкции, необходимо рассмотреть другие методы.
В последние годы прогресс в обучении нейронных сетей коснулся и исследований, направленных на реконструкцию структуры внутренних сцен [16, 17]. Основное преимущество предлагаемых методов заключается в том, что они позволяют получить 3D-макет внутренней сцены по одному изображению, захваченному всенаправленной камерой. Основным недостатком данных методов является то, что они не способны восстанавливать реальные размеры помещений. Таким образом, для исследователей до сих пор актуальна проблема создания надежного метода цифрового представления внутренней среды с меньшим количеством входных данных.
Метод калибровки
Модель системы. Система всенаправлен-ного зрения, рассматриваемая в данной работе, состоит из всенаправленной камеры и структурированного источника света (рис. 1). Камера, интегрированная в среду, установлена над мобильным роботом и имеет угол обзора, равный 180°, с возможностью расширения до 210° и 240°. Посредством симулятора расстояние между лазерной плоскостью и камерой может изменяться. Ориентация камеры и лазерной плоскости также может быть изменена. Расстояние до препятствий можно рассчитать после калибровки системы.
Рис. 1. Cистема компьютерного зрения Fig. 1. An omnidirectional vision system
Опираясь на модель камеры, описанную в работе [18], уравнение проекции лазерной плоскости можно записать следующим образом:
v
f (p)
fr
c F
' ]
= 0, (1)
где u, v - координаты пикселей изображения; гг^, гз" - векторы матрицы поворота камеры; г\, г2, гз\ I1 - параметры, представляющие матрицу перехода лазерной плоскости; f(p) - полином, который может быть расписан как
/ (р) = а0+ агр2 +... + амрм, (2)
р = >/("—, (3) где ai - коэффициенты; N - степень полинома; Vc - координаты центра изображения. Лазерная плоскость расположена на фиксированном расстоянии от оптического центра камеры (на рисунке 1 вдоль осиX). Данное расстояние соответствует первой строке вектора следовательно, глобальные координаты вдоль оси X не изменяются. Таким образом, в (1) X = 0, и это уравнение можно преобразовать:
У'
[г; гс гс ][г/ г г1 I1 ] г
= 0. (4)
f (Р).
Калибровка системы. Процедура внешней калибровки заключается в нахождении матрицы поворота камеры и матрицы перехода лазерной плоскости. Эти параметры можно найти, решив задачу оптимизации:
un^, \\f (Rc, [ R' | T' ])\\2, subject to f (Rc, [R' \ T' ]) =
(5)
Кс = [< г2 г ], [К' | Т' ] = [гс2 Г Iе ].
Для решения задачи была разработана калибровочная мишень (рис. 2). Она позволяет выполнять внешнюю калибровку посредством одного изображения.
Матрица поворота камеры. Опишем процесс получения параметров, формирующих матрицу поворота камеры Rc, входящую с состав уравнения (5). Координаты, принадлежащие границе между белой и черной областями
u " X "
v Rc, [Rl|Tl] Y
_ f ( p) _ 1
c
r
r
r
r
2
Рис. 2. Калибровочная мишень Fig. 2. A calibration target
мишени, проецируются уравнением (4) в глобальную систему координат (рис. 3а). После этого для каждого параметра задача минимизации может быть описана серией приведенных далее уравнений. Минимизированный pitch находится, делая проецируемые векторы AB и DC коллинеарными друг другу: | (pitch) ||2,
pitch
subject to f (pitch) =
ABr DC„
(6)
ABZ DCZ
Параметр yaw рассчитывается путем перемножения угловых коэффициентов векторов AB и DC. Эти векторы зависят от yaw, тогда как pitch, полученный на предыдущем этапе, постоянен. Формулировка выглядит следующим образом:
min.
l( yaw)||2
AB
subject to f (yaw) = Y
DCV
(7)
ab7 dc7
При известных pitch и yaw можно рассчитать параметр roll. Он может быть найден путем минимизации углового коэффициента вектора CB, тогда как pitch и yaw, полученные на предыдущих этапах, постоянны. Эту задачу минимизации можно записать следующим образом:
fmin„„ || (roll) ||2
CB7 (8)
subject to f (roll) =
CBr
Далее координаты пикселей, принадлежащие границе, могут быть повторно спроецированы при помощи уравнения (4), но уже с известными pitch, roll и yaw (рис. 3б). После того как камера откалибрована, можно перейти к калибровке лазерной плоскости.
Матрица перехода лазерной плоскости. Опишем процесс получения параметров, образующих матрицу перехода [R\T] лазерной плоскости, являющихся частью уравнения (5), при известных параметрах Rc. Сначала извлеченные из изображения координаты лазерного
Рис. 3. Проекции камеры: а) неоткалиброванной, б) откалиброванной
Fig. 3. Camera projections: a) uncalibrated, б) calibrated
луча, принадлежащие сторонам мишени, проецируются при помощи уравнения (4) (рис. 4а). После этого для каждого параметра матрицы перехода задачи минимизации могут быть описаны серией приведенных далее уравнений. Как и ранее, pitch может быть найден, делая проецируемые векторы EF и HG коллинеарными друг другу. Формулировка имеет следующий вид:
min
pitch
| (pitch) |
EF
subject to f (pitch) = Y
EF
(9)
EFZ EFZ
Еще одним параметром, связанным с R1, является roll. Он может быть найден путем минимизации углового коэффициента вектора GF. Эту задачу минимизации можно записать следующим образом:
minmU || (roll)||2
GF
subject to f (roll) = ■ z
(10)
GFr
Как только параметры Я1 будут известны, можно вычислить расстояние между камерой и лазерной плоскостью, которое является частью матрицы Т. Реальное расстояние М между левой и правой сторонами мишени известно (может быть измерено вручную). Экспериментальное расстояние 02 между сторонами мишени
а) б)
Рис. 4. Проекции лазерной плоскости: а) неоткалиброванной, б) откалиброванной
Fig. 4. Laser plane projections: a) uncalibrated, б) calibrated
2
можно рассчитать по проекции лазерного луча в глобальных координатах. Таким образом, минимизируя разницу между D\ и D2, можно найти зависимую переменную, которая представляет собой расстояние между камерой и лазерной плоскостью. Эта процедура принимает следующий вид:
mindist II (dist) H2>
subject to f (dist) = Dl -D2,
D =
Y - Y
Ye + Yf
(11)
2 2
После этого координаты пикселей лазерного луча могут быть повторно спроецированы уравнением (4), но уже с известными параметрами матрицы перехода [Я'\Т] (рис. 4б).
Метод реконструкции помещения
После того как система откалибрована, можно переходить к реконструкции структуры внутренней среды помещения. Процесс включает несколько основных этапов (рис. 5). Сначала входное изображение сегментируется на набор интересующих объектов с семантическими сегментами. Затем накладывается маска и извлеченные изображения преобразуются в перспективную проекцию. Данные глубины восстанавливаются на основе лазерного луча. Затем ЭБ-модель помещения может быть собрана.
Одним из преимуществ представленного симулятора является то, что он может обеспечить автоматическую маркировку изображений для обучения нейронных сетей семантиче-
ской сегментации (рис. 5). Продемонстрируем пример обучения такой сети на данных, сгенерированных при помощи предложенного симу-лятора. В [19] было указано, что, чем глубже нейронная сеть, тем труднее ее тренировать. Для решения этой проблемы предложена остаточная нейронная сеть, а именно ResNet. Эмпирические данные показали, что данные сети легче оптимизировать и точность результатов значительно выше.
Для обучения нейронной сети при помощи разработанного симулятора было сгенерировано 300 изображений. На обучение отведено 80 %, а 20 % использованы для тестирования. Изображения имели размер 240x240 пикселей. Сеть обучалась с использованием одного процессора.
Полученные результаты позволяют сделать вывод о том, что при сравнительно небольшом времени обучения сети (129 мин. 11 сек.) можно добиться высокого качества - 96,6 %. Визуальное представление (рис. 6) также свидетельствует о том, что изображения, на которых тестировалась обученная нейронная сеть, близки к оригинальным, полученным при помощи разработанного авторами симулятора.
Был описан первый шаг реконструкции помещения. Продемонстрировано, что маркированные изображения, генерируемые предлагаемым симулятором, пригодны для обучения нейронных сетей. Автоматическая маркировка может значительно упростить процесс сбора данных для проверки теорий и результатов экспериментов.
Рис. 5. Процесс построения 3D-модели, основанный на семантической сегментации, и восстановление глубины посредством структурированного света
Fig. 5. 3D model building process based on semantic segmentation; depth restoration through structured light
Перспективная проекция
Процесс создания перспективного изображения происходит в обратном направлении, то есть для каждого пикселя на перспективном изображении необходимо найти наилучшую оценку RGB на изображении, снятом на всена-правленную камеру. Опишем более подробно процесс трансформации.
• Инициализируется виртуальная камера, расположенная в начале координат, направленная вниз по оси Y, имеющая горизонтальный и вертикальный углы обзора 90° (рис. 7).
• Для каждого пикселя (i, j) в плоскости проекции камеры находится соответствующий ЭБ-вектор P в глобальных координатах по следующему уравнению (рис. 8):
P( X, y, z) =||f - 1l ,1,1 I - 1
(12)
• Производится поворот вектора Р относительно координатных осей для ориентации камеры в требуемом направлении, чему соответствует вектор Р'.
• Рассчитываются углы 0 и 0 (рис. 9):
6 = a гаи2 (Р[, Р'х);
/ Г-—ч (13)
0 = a 1аи2(^Px+ Pz, Py).
• Рассчитываются пиксели на всенаправ-ленном изображении (I, I), соответствующие пикселям перспективного изображения (/, ^. Учитывая ранее рассчитанные 0 и 0, а также линейную зависимость между 0 и радиусом г все-направленного изображения, пиксели (I, I) (рис. 10) можно рассчитать следующим образом:
i = 2ф С08(6)//тт ; j = 2ф 8т(6)/Ум , (14) где /шах - поле зрения объектива «рыбий глаз».
Результаты перспективной проекции показаны на рисунке 11.
Рис. 7. Инициализация виртуальной камеры Fig. 7. Initialization of a virtual camera
Perspective image
------------, P
i w Pixel coordinates
x 1 Normalized image coordinates
Рис. 8. Перспективное изображение Fig. 8. A perspective image
1 h
1 0
Рис. 9. Трансформация между глобальными координатами и координатами камеры
Fig. 9. A transformation between world and camera coordinates
1 Normalized image coordinates
Рис. 10. Приведение к координатам изображения
Fig. 10. A reduction to the image coordinates
Реконструкция помещения
Последний этап связан с 3D-реконструк-цией внутренней среды помещения. Для воссоздания сцены с размерами требуется выполнить несколько шагов. В первую очередь извлекаются координаты изображения лазерного луча и вычисляются расстояния до соответствующих стен, а также дверей по уравнению (4). Как только местоположение стены будет известно, можно рассчитать расстояния до пола и потолка. Для этого необходимо определить границу между сегментированными областями на изображении (рис. 5): пол - область между пурпурным и желтым цветами; потолок -область между пурпурным и аквамариновым цветами.
Подобно лазерной плоскости расстояния до пола и потолка могут быть рассчитаны с помо-
щью триангуляции. Расстояние от мобильного робота до конкретной стены по оси У известно. Следовательно, координаты вдоль оси У не изменяются. Зная, что У = 0, уравнение для вычисления координат стены и потолка можно записать в следующем виде:
У' X
u
V
[< r2c Г ][r/ Г t' ]
= 0. (15)
f( p) \ L1. '
С помощью предложенного метода реконструкции можно также восстановить угловую часть. Для этого, во-первых, извлекаются конечные точки лазерного луча. Во-вторых, рассчитывается ориентация в пространстве для каждой стены, а далее угловая стена делится на две части. Наконец, SD-модель может быть собрана из сегментированных частей в сочетании с соответствующими расстояниями. Отдельные реконструированные SD-модели, а также глобальная карта (http://www.swsys.ru/uploaded/ image/2023-2/2023-2-dop/15.jpg) показывают, что предложенная методика обеспечивает точные и надежные SD-модели для различных конфигураций внутренних сцен. Очевидно, что с помощью одного входного изображения можно не только реконструировать структуру внутренней среды, но и восстановить соответствующие размеры.
Заключение
В данной работе рассмотрены новые методы калибровки системы всенаправленного зрения и SD-реконструкции внутренней среды помещения. Они достаточно просты и требуют только одно входное изображение. Результаты экспериментов показали, что представленный метод калибровки надежен и требует меньше калибровочных шагов по сравнению с другими. Метод реконструкции способен восстановить не только структуру внутренней сцены, но и информацию о глубине.
В дальнейших работах планируется исследование переноса возможностей из симулятора в реальный мир. Одним из ключевых преимуществ использования виртуальных сред является их способность представлять разнообразный диапазон реальных условий. Для придания большей динамики планируется расширить возможности текущей версии симулятора за счет добавления пешеходов, создания ручных и автоматизированных систем генерации окружающей среды. Пользователи смогут взаимодействовать со стандартными блоками, пред-
0
Рис. 11. Результаты перспективной проекции: извлеченные области помещения (пол, потолок, стены и двери) в пределах лазерного луча (верхний ряд), соответствующие перспективные проекции для извлеченных элементов (нижний ряд)
Fig. 11. Perspective projection results: extracted areas of the indoor environment (floor, ceiling, walls and doors) within the laser beam (top row), corresponding perspective projections for the extracted elements (bottom row)
ставляющими такие элементы, как стены, пол, потолок, мебель или препятствия. Такой подход позволит легко создавать самые разнообразные среды обучения и тестирования. Различия между моделируемыми и реальными сце-
нариями могут быть сглажены с помощью нейронных сетей. В статье продемонстрировано, что переход из виртуальных сред в реальные возможен даже без сильного упора на фотореализм.
Список литературы
1. Shin J., Yi S. Development of omnidirectional ranging system based on structured light image. J. of Institute of Control, Robotics and Systems, 2012, vol. 18, no. 5, pp. 479-486. doi: 10.5302/J.ICROS.2012.18.5.479.
2. Холодилин И.Ю., Савостеенко Н.В., Нестеров А.С., Киселева А.А., Панов К.Э., Дудкин М.М. Программа по изучению курса компьютерное зрение "iLabit OmViSys": Свид. о регистр. ПрЭВМ № 2019667285. Рос. Федерация, 2019.
3. Холодилин И.Ю. iLabit OmViSys: фотореалистичный симулятор на базе всенаправленной камеры и структурированного света // Программные продукты и системы. 2021. Т. 34. № 1. С. 157-163. doi: 10.15827/0236-235X. 133.157-163.
4. Liu Z., Li X., Li F., Zhang G. Calibration method for line-structured light vision sensor based on a single ball target. Optics and Lasers in Engineering, 2015, vol. 69, pp. 20-28. doi: 10.1016/j.optlaseng.2015.01.008.
5. Wei Z., Shao M., Zhang G., Wang Y. Parallel-based calibration method for line-structured light vision sensor. Optical Engineering, 2014, vol. 53, no. 3, art. 033101. doi: 10.1117/1.OE.53.3.033101.
6. Xu J., Gao B., Liu C., Wang P., Gao S. An omnidirectional 3D sensor with line laser scanning. Optics and Lasers in Engineering, 2016, vol. 84, pp. 96-104. doi: 10.1016/j.optlaseng.2016.04.001.
7. Wang B., Wu M., Jia W. The light plane calibration method of the laser welding vision monitoring system. IOP Conf. Ser.: Mater. Sci. Eng. Proc. ICMES, 2018, vol. 339, art. 012030. doi: 10.1088/1757-899X/339/1/012030.
8. Kurnianggoro L., Hoang V., Jo K. Calibration of a 2D laser scanner system and rotating platform using a pointplane constraint. Comput. Sci. and Inform. Sys., 2015, vol. 12, no. 1, pp. 307-322. doi: 10.2298/CSIS141020093K.
9. Nakagawa M., Yamamoto T., Tanaka S., Shiozaki M., Ohhashi T. Topological 3D modeling using indoor mobile lidar data. ISPRS, 2015, vol. XL-4/W5, pp. 13-18. doi: 10.5194/isprsarchives-XL-4-W5-13-2015.
10. Li X., Li S., Jia S., Xu C. Mobile robot map building based on laser ranging and kinect. Proc. IEEE ICIA, 2016, pp. 819-824. doi: 10.1109/ICInfA.2016.7831932.
11. Tsai F., Wu T., Lee I., Chang H., Su A. Reconstruction of indoor models using point clouds generated from single-lens reflex cameras and depth images. ISPRS, 2015, vol. XL-4/W5, pp. 99-102. doi: 10.5194/isprsarchives-XL-4-W5-99-2015.
12. Fujita T. 3D sensing and mapping for a tracked mobile robot with a movable laser ranger finder. Int. J. Mech. Mechatron. Eng., 2012, vol. 6, no. 2, pp. 501-506.
13. Qin H., Bi Y., Lin F., Zhang Y.F., Chen B.M. A 3D rotating laser based navigation solution for micro aerial vehicles in dynamic environments. Unmanned Syst., 2018, vol. 6, no. 4, pp. 297-305. doi: 10.1142/S2301385018500103.
14. Son Y., Yoon S., Oh S., Han S. A lightweight and cost-effective 3D omnidirectional depth sensor based on laser triangulation. IEEE Access, 2019, vol. 7, pp. 58740-58750. doi: 10.1109/ACCESS.2019.2914220.
15. Ruvo P., Ruvo G., Distante A., Nitti M., Stella E., Marino F. An omnidirectional range sensor for environmental 3-D reconstruction. Proc. IEEE ISIE, 2010, pp. 396-401. doi: 10.1109/ISIE.2010.5637870.
16. Fernandez-Labrador C., Perez-Yus A., Lopez-Nicolas G., Guerrero J. Layouts from panoramic images with geometry and deep learning. IEEE Robotics and Automation Letters, 2018, vol. 3, no. 4, pp. 3153-3160. doi: 10.1109/LRA. 2018.2850532.
17. Fernandez-Labrador C., Facil J., Perez-Yus A., Demonceaux C., Civera J., Guerrero J. Corners for layout: End-to-end layout recovery from 360 images. IEEE Robotics and Automation Letters, 2020, vol. 5, no. 2, pp. 1255-1262. doi: 10.1109/LRA.2020.2967274.
18. Scaramuzza D., Martinelli A., Siegwart R. A flexible technique for accurate omnidirectional camera calibration and structuredfrom motion. Proc. IEEE ICVS, 2006, pp. 45-45. doi: 10.1109/ICVS.2006.3.
19. He K., Zhang X., Ren S., Sun J. Deep residual learning for image recognition. Proc. IEEE Conf. CVPR, 2016, pp. 770-778. doi: 10.1109/CVPR.2016.90.
Software & Systems doi: 10.15827/0236-235X.142.293-302 2023, vol. 36, no. 2, pp. 293-302
Extrinsic calibration of the omnidirectional vision system and 3D reconstruction of an indoor environment
Ivan Yu. Kholodilin
For citation
Kholodilin, I.Yu. (2023) 'Extrinsic calibration of the omnidirectional vision system and 3D reconstruction of an indoor environment', Software & Systems, 36(2), pp. 293-302 (in Russ.). doi: 10.15827/0236-235X.142.293-302 Article info
Received: 11.10.2022 After revision: 03.11.2022 Accepted: 21.11.2023
Abstract. Autonomous navigation of mobile robots indoors has attracted the attention of many computer vision researchers over the years. A wide variety of approaches and algorithms were proposed to solve this problem. The proper perception of the environment becomes an important part for such robots. Robots must be able to evaluate the three-dimensional structure of the environment in order to perform their algorithms. However, visual sensors, such as conventional cameras, do not allow processing enough information due to the limited viewing angle. This article presents a comprehensive approach for three-dimensional modeling of an indoor environment. The vision system considered in this paper consists of an omnidirectional camera and a structured light. The omnidirectional camera captures a wide range of information, while the laser beam is easy to detect and extract for further analysis. To obtain reliable measurement results, the vision system must be calibrated. For this purpose, the paper considers an improved method of external calibration. The paper also considers the 3D reconstruction algorithm of an indoor environment that includes a semantic segmentation neural network. A single input image is required to perform the calibration method as well as the 3D modeling method. These methods significantly speed up the data processing process, without losing accuracy in measurements. In turn, recent advances in neural networks require a large amount of training data in environments with different conditions. Thus, developing and testing navigation algorithms can be expensive and time-consuming. This article evaluates the proposed methods experimentally using data generated by a previously developed simulator.
Keywords: virtual environment, omnidirectional camera, structured light, semantic data, extrinsic calibration, 3D reconstruction
Reference List
1. Shin, J., Yi, S. (2012) 'Development of omnidirectional ranging system based on structured light image', J. of Institute of Control, Robotics and Systems, 18(5), pp. 479-486. doi: 10.5302/J.ICR0S.2012.18.5.479.
2. Kholodilin, I.Yu., Savosteenko, N.V., Nesterov, A.S., Kiseleva, A.A., Panov, K.E., Dudkin, M.M. (2019) Program for Studying the Course Computer Vision "iLabit Om ViSys", Pat. RF, № 2019667285.
3. Kholodilin, I.Yu. (2021) 'iLabit OmViSys: A photorealistic simulator based on the omnidirectional camera and structured light', Software & Systems, 34(1), pp. 157-163. doi: 10.15827/0236-235X.133.157-163 (in Russ.).
4. Liu, Z., Li, X., Li, F., Zhang, G. (2015) 'Calibration method for line-structured light vision sensor based on a single ball target', Optics and Lasers in Engineering, 69, pp. 20-28. doi: 10.1016/j.optlaseng.2015.01.008.
5. Wei, Z., Shao, M., Zhang, G., Wang, Y. (2014) 'Parallel-based calibration method for line-structured light vision sensor', Optical Engineering, 53(3), art. 033101. doi: 10.1117/1.0E.53.3.033101.
6. Xu, J., Gao, B., Liu, C., Wang, P., Gao, S. (2016) 'An omnidirectional 3D sensor with line laser scanning', Optics and Lasers in Engineering, 84, pp. 96-104. doi: 10.1016/j.optlaseng.2016.04.001.
7. Wang, B., Wu, M., Jia, W. (2018) 'The light plane calibration method of the laser welding vision monitoring system', IOP Conf. Ser.: Mater. Sci. Eng. Proc. ICMES, 339, art. 012030. doi: 10.1088/1757-899X/339/1/012030.
8. Kurnianggoro, L., Hoang, V., Jo, K. (2015) 'Calibration of a 2D laser scanner system and rotating platform using a point-plane constraint', Comput. Sci. and Inform. Sys., 12(1), pp. 307-322. doi: 10.2298/CSIS141020093K.
9. Nakagawa, M., Yamamoto, T., Tanaka, S., Shiozaki, M., Ohhashi, T. (2015) 'Topological 3D modeling using indoor mobile lidar data', ISPRS, XL-4/W5, pp. 13-18. doi: 10.5194/isprsarchives-XL-4-W5-13-2015.
10. Li, X., Li, S., Jia, S., Xu, C. (2016) 'Mobile robot map building based on laser ranging and kinect', Proc. IEEE ICIA, pp. 819-824. doi: 10.1109/ICInfA.2016.7831932.
11. Tsai, F., Wu, T., Lee, I., Chang, H., Su, A. (2015) 'Reconstruction of indoor models using point clouds generated from single-lens reflex cameras and depth images', ISPRS, XL-4/W5, pp. 99-102. doi: 10.5194/isprsarchives-XL-4-W5-99-2015.
12. Fujita, T. (2012) '3D sensing and mapping for a tracked mobile robot with a movable laser ranger finder', Int. J. Mech. Mechatron. Eng., 6(2), pp. 501-506.
13. Qin, H., Bi, Y., Lin, F., Zhang, Y.F., Chen, B.M. (2018) 'A 3D rotating laser based navigation solution for micro aerial vehicles in dynamic environments', Unmanned Syst., 6(4), pp. 297-305. doi: 10.1142/S2301385018500103.
14. Son, Y., Yoon, S., Oh, S., Han, S. (2019) 'A lightweight and cost-effective 3D omnidirectional depth sensor based on laser triangulation', IEEE Access, 7, pp. 58740-58750. doi: 10.1109/ACCESS.2019.2914220.
15. Ruvo, P., Ruvo, G., Distante, A., Nitti, M., Stella, E., Marino, F. (2010) 'An omnidirectional range sensor for environmental 3-D reconstruction', Proc. IEEE ISIE, pp. 396-401. doi: 10.1109/ISIE.2010.5637870.
16. Fernandez-Labrador, C., Perez-Yus, A., Lopez-Nicolas, G., Guerrero, J. (2018) 'Layouts from panoramic images with geometry and deep learning', IEEE Robotics and Automation Letters, 3(4), pp. 3153-3160. doi: 10.1109/ LRA.2018.2850532.
17. Fernandez-Labrador, C., Facil, J., Perez-Yus, A., Demonceaux, C., Civera, J., Guerrero, J. (2020) 'Corners for layout: End-to-end layout recovery from 360 images', IEEE Robotics and Automation Letters, 5(2), pp. 1255-1262. doi: 10.1109/LRA.2020.2967274.
18. Scaramuzza, D., Martinelli, A., Siegwart, R. (2006) 'A flexible technique for accurate omnidirectional camera calibration and structuredfrom motion', Proc. IEEE ICVS, pp. 45-45. doi: 10.1109/ICVS.2006.3.
19. He, K., Zhang, X., Ren, S., Sun, J. (2016) 'Deep residual learning for image recognition', Proc. IEEE Conf. CVPR, pp. 770-778. doi: 10.1109/CVPR.2016.90.
Авторы
Холодилин Иван Юрьевич 1, к.т.н., доцент кафедры электропривода, мехатроники и электромеханики,
доцент кафедры техники, технологии и строительства, kholodilinii@susu.ru
1 Южно-Уральский государственный университет, г. Челябинск, 454080, Россия
Authors
Ivan Yu. Kholodilin Ph.D. (Engineering), Associate Professor of the Department of Electric Drive, Mechatronics and Electromechanics, Associate Professor of the Department of Engineering, Technology and Construction, kholodilinii@susu.ru
1 South Ural State University, Chelyabinsk, 454080, Russian Federation
