Исследование процесса калибровки и оптических характеристик стереонасадки 3Dberry Текст научной статьи по специальности «Медицинские технологии»

ISSN 2079-3316 ПРОГРАММНЫЕ СИСТЕМЫ: ТЕОРИЯ И ПРИЛОЖЕНИЯ т. 9, №3(38), с. 11-28

ББК 32.972.13 УДК 004.932.2

Д. Н. Степанов, А. В. Смирнов

Исследование процесса калибровки и оптических характеристик стереонасадки 3Dberry

Аннотация. Статья посвящена исследованию процесса калибровки стереонасадки ЭБЪеггу, а также оценке ее оптических характеристик для решения задач компьютерного зрения: в частности, задач ЭВ-моделирования и определения расстояния до объектов окружающей обстановки. Приведен обзор основных методов ЭБ-моделирования с применением оптических технологий; обзор катадиоптрических систем с плоскими зеркалами; показано преимущество использования стереонасадок перед остальными технологиями. Методика проведения исследования заключается в компьютерном эксперименте с использованием реальных изображений, которые были получены с помощью стереонасадки. Приведены результаты калибровки стереонасадки с использованием стороннего и собственного программного обеспечения. В ходе экспериментов выбрана математическая модель стерео-камеры, которая позволяет достичь наилучших результатов калибровки. Рассчитаны оптические характеристики стереоустановки, состоящей из монокулярной камеры и стереонасадки. Полученные результаты могут быть использованы в создании и исследовании систем компьютерного зрения для робототехнических комплексов.

Ключевые слова и фразы: машинное зрение, оптические приборы, калибровка, трехмерные

измерения, определение расстояния, стереозрение, оптические характеристики, стереонасадка.

Введение

Системы машинного зрения в настоящее время применяются для неразрушающего контроля качества деталей и материалов, создания 3Б-моделей реальных объектов, в биометрических системах распознавания, в автономных роботах и др. Подобные системы можно классифицировать на активные и пассивные [1]. Активные системы основаны на использовании лазерных сканеров или структурированной подсветки. Они позволяют создавать 3Б-модели высокой точности,

© Д. Н. Степанов, А. В. Смирнов, 2018

© Институт программных систем имени А. К. Айламазяна РАН, 2018 © Программные системы: теория и приложения (дизайн), 2018

но могут быть достаточно дорогими, а их работа может быть легко обнаружена. Пассивные системы основаны на анализе и сопоставлении снимков с видеокамер. В монокулярных пассивных системах, размеры наблюдаемых объектов и расстояния между ними можно вычислить только с точностью до некоторого положительного коэффициента, что требует использования или априорных сведений о наблюдаемой сцене, или дополнительного оборудования (одометры, спутниковые или инерциальные навигационные системы). Системы из двух и более камер свободны от этого недостатка, но являются более дорогим решением и нуждаются в синхронизации камер, особенно при съемке динамичных сцен.

Альтернативой многокамерным системам является катадиоп-трические системы, в которых получение нескольких изображений достигается за счет преломляющих и/или отражающих элементов. Системы с криволинейными зеркалами [2—4] обеспечивают более широкий угол обзора, но видимые размеры удаленных объектов могут быть слишком маленькими, что может затруднить сопоставление пикселей на изображениях с целью построения 3Б-моделей. Системы с плоскими зеркалами менее подвержены этому недостатку и проще в изготовлении, их можно классифицировать по количеству используемых зеркал: одно [5], два [6, 7], три [5,8] или четыре [9].

Используемые камеры должны быть откалиброваны, т. е. должны быть известны их внутренние и внешние параметры (первые связаны с техническими характеристиками камеры, вторые задают ориентацию и положение камер в глобальной системе координат). В целом, теория калибровки достаточно хорошо проработана, в настоящее время в большинстве исследований используются математические модели, описанные в статьях [10,11]. Используются различные типы калибровочных стендов, в зависимости от формы стенда (плоский или трехмерный), а также от типа и расположения паттернов на стенде (чаще всего это черно-белые квадраты или кружки). Часть исследований в области калибровки направлена на усовершенствование стендов: например, в работе [12] для калибровки используется дополнительная рамка вокруг калибровочной доски и угловые точки этой рамки. Из методов калибровки, не использующих стенд, можно отметить использование точек схода на изображениях [13].

Существуют различные версии стереонасадок на камеры [14-16], но практически все они имеют 4 зеркала и предназначены для полноформатных цифровых камер, которые, как правило, имеют

качественную оптику с незначительной дисторсией линз. Установка таких камер затруднительна на подвижные роботы в силу размера и массы камер. В 2015 году была разработана стереонасадка 3Dberry [17] для миниатюрных камер Raspberry Pi Camera, подключаемых к микрокомпьютеру Raspberry Pi. Стереонасадка 3Dberry имеет 2 зеркала и в силу этого более компактна, но ее поле обзора располагается слева от камеры, а стереонасадки из 4 зеркал позволяют выполнять съемку объектов перед камерой. На камере Raspberry Pi Camera, в силу ее размеров и цены, используется недорогая оптика, что приводит к более заметной дисторсии на снимках с камеры. Следовательно, нужно более аккуратно подбирать математическую модель камеры, чтобы добиться наилучших результатов калибровки.

Данная работа посвящена исследованию и экспериментам по калибровке 3Dberry, с использованием различного программного обеспечения (ПО). На сайте разработчиков 3Dberry доступно ПО для калибровки 3Dberry, оно написано на языке Python и использует возможности библиотеки компьютерного зрения OpenCV [18]. Практически единственной работой, в которой использовалась данная стереонасадка, является статья [19], но полноценного исследования оптических характеристик стереонасадки проведено не было, а полученная точность измерения расстояний до объектов весьма низкая, что признают и авторы статьи. Таким образом, исследование стереонасадки 3Dberry является актуальным направлением исследований. Стереоустановка из двух камер имеет несколько характеристик, которые можно вычислить с использованием результатов калибровки и которые представляют интерес:

• минимальное расстояние до объекта, при котором он виден на обоих кадрах стереопары;

• максимальное расстояние до объекта, при котором погрешность в вычислении расстояния не будет превосходить заданного значения;

• площадь территории, наблюдаемой стереонасадкой;

• размеры эффективных областей на левом и правом кадре стереопар. Эффективную область на левом кадре можно определить так: любой объект, проецирующийся в некоторый пиксель из этой области, наблюдаем и на правом кадре.

1. Описание используемых математических моделей

Опишем математические модели, используемые для калибровки одной и двух камер [18]. Точка P с известными 3D-координатами

в декартовой глобальной системе координат проецируется в точку ц на изображении с камеры:

(1)

'X Х1 и

Р = У , Р1 = У1 = Й1 ■ Р + Т1,

Z Zl V

ВгвЬоН (и, V, к,р

■ К< [и,го, к) + Ох (и, V, р)

■ Ж уи,го,к) + Оу (и, го,р)

х /х 0 сх х

ц = У = М ■ ц = 0 /у су у'

1 0 0 1 1

Здесь матрица поворота (ориентации) К\ = К\ (¿1) и вектор положения Т — внешние параметры камеры. Поворот в трехмерном пространстве можно представить в виде комбинации трех поворотов на некоторые углы в\ = («1,^1,71). Матрица М — матрица внутренних параметров камеры, которые измеряются в пикселях. Точка (сх,су) — главная точка, в ней оптическая ось пересекается с плоскостью изображения. Параметры /х и /у — фокальные длины, к = (к1 ... кб) — вектор коэффициентов радиальной дисторсии, р = (р1,р2) — вектор коэффициентов тангенциальной дисторсии. Все они так же относятся к внутренним параметрам камеры: таким образом, общее их количество равно 12. Наконец,

К< и,ги, к

1 + к1г2 + к2т4 + к3тб 2

- т

1 + к^т2 + к^т4 + кбгб '

(2) Ох (и^,р) = 2р^ + р2 (т2 + 2и2)

Оу (и, го,р) = р1 (г2 + 2v2) + 2р2ьм. В компактной записи

22 и + V ,

(3)

ц = Рто]всЬ [Р,в1,Т1,к,р,М

х

V

Для калибровки используется стенд «шахматная доска» с автоматическим выделением угловых точек доски. Глобальная система координат при этом привязывается к стенду. Задача калибровки

одиночной камеры сводится к минимизации выражения

(4)

Ni N2 , ^ \ 2

S I] (Qij - Project(Pij, ei, Ti, k,p, M)

n i=1 j=1

RMS = i 1 j 1--—---> min .

N1 • N2 ei,Ti,k,p,M

Здесь N1 — количество снимков калибровочного стенда, N2 — количество угловых точек на каждом снимке стенда, Pij — ЗБ-ко-ординаты j-той угловой точки на ¿-том снимке стенда, qij — 2D-координаты проекции j-той угловой точки на ¿-том снимке стенда, ei — вектор из трех углов, задающих ориентацию стенда на ¿-том снимке относительно камеры, Ti — вектор положения стенда на ¿-том снимке относительно камеры, RMS — среднее квадратическое значение ошибки перепроецирования (англ. reprojection error). Общее число неизвестных параметров равно 12 + (3 + 3) • N1 = 12 + 6N1.

В случае стереоустановки из двух камер общее число неизвестных параметров в задаче калибровки равно 2-12+(3 + 3)^N1 + (3 + 3) = 30+6N1: общее число внутренних параметров удваивается, а дополнительные 6 параметров — вектор е из трех углов, определяющих матрицу взаимной ориентации двух камер (обозначим ее как R ), а также вектор взаимного положения двух камер друг относительно друга (обозначим как T ). Если (R1,T.) и (R2,T2) — наборы внешних параметров двух камер, наблюдающих калибровочный стенд с разных ракурсов, то

(5) I R = R2 • R\ I R2 = R • R1

() ]т = т2 -R• т1 [t2 = R• T1 + T .

Здесь верхний индекс t обозначает операцию транспонирования.

В задаче стереокалибровки минимизируется следующая функция:

(6)

Е Е Е fqj - Project (Pij 4н),тг(н),т,^,м(h) ))2 i=1j=1h=1v v ''

RMS2 =

2 • N1 • N2 ^ min , где

e(1) ,T(1) ,it,Tt,k(h) ,p(h) ,M(h)

R = e2R(e) , ei2) = R2e (R • e2R fe^1^ , т(2) = R • T(1) + T,

о< Л

Здесь (Н) — номер камеры (первая камера — левая, вторая — пра-

вая), qj — 2Б-координаты проекции j-той угловой точки на ¿-том

, „ -(h) m(h)

снимке стенда с h-тои камеры, e\ , !> — определяют ориентацию и положение стенда на ¿-том снимке относительно h-той камеры, k(h) ,p(h), M(h) — внутренние параметры h-той камеры, e2R — функция вычисления матрицы ориентации по трем углам, R2e — функция декомпозиции матрицы ориентации на три угла. Известные внутренние параметры обеих камер вкупе с R и T позволяют выполнять геометрическое преобразование стереопар снимков с данных камер, которое заключается в устранении дисторсии на снимках и их ректификация (англ. rectification — выпрямление, выравнивание) [20]. Для ректифицированной стереопары выполняется следующее:

(7) R = I,T

-Tx 0 0

Здесь I — единичная матрица, Tx — расстояние между камерами. Выполнять сопоставление точек с ректифицированной стереопары значительно легче, поскольку соответствующие точки находятся на строках изображений с одинаковыми номерами. Если образ какого-либо объекта на правом кадре стереопары находится в пикселе с координатами (xo,yo), то на левом кадре он может находиться в точке с координатами (xo + d,yo). Величину d называют диспаритетом, или диспарантностью (англ. disparity).

Задача калибровки сводится к нахождению локального минимума функции в пространстве большой размерности. Следует заметить, что описанные модели являются достаточно общими, в определенных ситуациях можно использовать упрощенную модель, зафиксировав значения некоторых параметров. Библиотека OpenCV предлагает использовать следующие ограничения (их можно произвольным образом комбинировать):

• координаты главной точки фиксированы и располагаются точно в центре изображения;

• отношение fx /fy объявляется константой и не меняется в итеративном процессе поиска минимума, оптимизируется только

fx ;

• фокальные длины обеих камер предполагаются равными: fx1 = fx2), f(1) = f(2) (верхний индекс обозначает номер камеры);

• оба коэффициента тангенциальной дисторсии принимаются равными нулю и не меняются в процессе калибровки;

Рис. 1. Пример оригинального снимка, выполненного с помощью стереонасадки 3Dberry

• некоторые или все коэффициенты радиальной дисторсии принимаются равными нулю и не меняются в процессе калибровки.

Однако выбор конкретной модели зависит от характеристик и особенностей конкретной видеокамеры, и может в итоге как улучшить качество калибровки, так и ухудшить его. Оптимальный набор ограничений, как правило, удается подобрать только в ходе экспериментов с конкретной моделью монокулярной камеры или стереокамеры.

2. Эксперименты по калибровке стереонасадки

Для экспериментов было выполнено 15 снимков калибровочного стенда с камеры, оснащенной стереонасадкой. Для экспериментов было решено выбрать разрешение 640 х 360 пикселей, поскольку построение 3Б-моделей в реальном времени по снимкам высокого разрешения (HD, FullHD) возможно только при использовании мощных стационарных компьютеров. Вычислительные возможности микрокомпьютера Raspberry Pi не слишком велики, и поэтому в случае автономного функционирования робота предпочтительнее использовать более низкое разрешение.

Пример оригинального снимка с камеры, оборудованной стереонасадкой, показан на рис. 1. Для демонстрации того, что стереопара нуждается в ректификации, на изображение нанесены две горизонтальные линии. Заметим, что в силу конструкции стереонасадки, оригинальные снимки получаются зеркально повернутыми относительно вертикали, поэтому изображение на рис. 1 также было повернуто. Центральная область снимка является расплывчатой, она соответствует месту соединения двух зеркал внутри стереонасадки. Данная область

Рис. 2. Пример ректифицированной стереопары (с применением стороннего ПО)

является неинформативной и может быть вырезана перед разбиением снимка на левый и правый кадр стереопары.

На рис. 2 показана стереопара снимков с предыдущего рисунка после процедуры ректификации и устранения дисторсии (центральная неинформативная область вырезана). Как можно увидеть, качество ректификации не является удовлетворительным, что не позволит в дальнейшем строить ЗБ-модели окружающей обстановки с приемлемой точностью. Использовались результаты калибровки, полученные с применением ПО от разработчиков ЗБЬеггу. Была выполнена небольшая модификация кода для вывода значения переменной, которая соответствует вычисленной ошибке перепроецирования. Она оказалась равной КМБ\ = 1, 3114 пикс.

Далее, с использованием библиотеки ОрепСУ было написано программное обеспечение, которое решает аналогичную задачу, но код писался на языке С+—Ъ В качестве исходных данных использовался тот же набор снимков калибровочного стенда, что и в предыдущем эксперименте. Подбиралась такая математическая модель, на которой бы достигалось минимальное значение ошибки перепроецирования. Оно было достигнуто при ограничениях к2 = кз = к4 = = кц = 0 и оказалось равным КМБ2 = 0, 2839 пикс. На рис. 3 показана ректифицированная стереопара с рис. 1.

Было решено исследовать исходные коды ПО от разработчиков ЗБЬеггу на предмет того, какая именно математическая модель стереоустановки используется в коде. Оказалось, что использовались три ограничения: зафиксировано значение ]х/]у , фокальные длины обеих камер предполагаются равными, а коэффициенты тангенциальной

Рис. 3. Пример ректифицированной стереопары (с применением собственного ПО)

дисторсии равны нулю. Используемая модель была заменена на такую же, какая использовалась в программах на С+—Ъ Кроме того, среди параметров вызова функции, предназначенной для ректификации и устранения дисторсии для стереопаре, был изменен тип интерполяции: вместо интерполяции методом «ближайшего соседа» была использована билинейная интерполяция. Хотя метод «ближайшего соседа» несколько выигрывает в скорости, качество интерполяции у него не очень хорошее, что проявляется, например, в виде ступенчатых наклонных линий на рис. 2.

На рис. 4 показан результат, полученный с помощью модифицированного кода от разработчиков ЗБЬеггу: качество ректификации улучшилось. Значение ошибки перепроецирования стало равным ЕМБ3 = 0, 2679 пикс.

Вычисленные параметры стереоустановки из двух виртуальных «камер» (после процедуры ректификации и устранения дисторсии), приведены в табл. 2.

3. Оценка оптических характеристик стереонасадки

Расстояние до объекта зависит от значения диспаритета и вычисляется по следующей формуле:

/ ■ Тх = / ■ Тх

^ - {Сх_1 - Ох_г) ^ - ДСх

Рис. 4. Пример ректифицированной стереопары (с применением модифицированного стороннего ПО)

Таблица 1. Вычисленные оптические параметры стереона-садки 3Dberry

Параметр

Значение

15, 27° х 17, 86°

Фокальная длина камер, I 558, 5471 пикс.

Разрешение (ширина и высота), т х Н 305 х 360 пикс.

Углы обзора (по горизонтали и вертикали), а х в

Координаты главной точки левой камеры, , .. „„„„ N

/ \ (44,3366; 181,1531) пикс

(сх_1, су)

Координаты главной точки правой камеры, 101

( ) (27,4790; 181,1531) пикс

(сх_г, су )

Расстояние между оптическими центрами 13 512 мм

камер, Тх ,

Погрешность в вычислении расстояния

(9)

ДZ:

SZ

53

■ Д3-

I ■ Тх

■Д3.

(з - Дсх)2

Здесь Д3 — погрешность в вычислении диспаритета (может быть оценена экспериментально, или же исходя из особенностей конкретного алгоритма вычисления диспаритета). Оценим максимальное значение диспаритета, при котором погрешность в вычислении расстояния не

превосходит заданной величины Д*о: f ■ Тх

-2 ■ Д^ < Д*о, откуда

(10) - Дсх] 1_

, л II ■ Тх ■ Д(1

а > Дсх + и

Д*0

Подставим получившееся выражение в уравнение (8):

(11) * =

//-Тх-Ай V Да

/ Тх-Аа х V Да '

Подставив в (11) значения из табл.2, получаем следующее неравенство

IД7 IД*

(12) * < Vх558, 5471 ■ 13, 512 ■ = 86, 874 ■ .

Например, если Да = 1 пикс., Д*о = 50 мм., то такая точность в определении расстояния может быть достигнута при * < 614 мм.

Для оценки площади территории, наблюдаемой со стереонасадки ЗБЬеггу, схематично изобразим конфигурацию стереоустановки, как она выглядит сверху (рис. 5).

Точки О] и Ог — оптические центры виртуальных камер (левой и правой соответственно), к точке О] привязано начало трехмерной декартовой системы координат. Отрезки А] В] и Аг Вг соответствуют светочувствительным матрицам «камер». Два луча, имеющие начало в точке О] и проходящие через точки А] и В], задают область обзора левой «камеры»: все, что не попадает в эту область, недоступно для съемки левой «камерой». Аналогично определяется область обзора для правой «камеры». Таким образом, чтобы объект был наблюдаем с обеих «камер» для вычисления расстояния до него, он должен находиться в пересечении этих двух областей видимости.

Луч, направленный из точки О] и проходящий через точку В], обозначим как 1\. Аналогично с помощью точек Ог и Аг определяется луч 12. Пересечение лучей определяет точку Qз, она соответствует минимально возможному расстоянию до объекта, наблюдаемого с двух «камер». Это расстояние обозначим как Уравнения прямых 1\ и

12:

1\ : г = tan (а) ■ х = -1-■ х,

™ - Сх_]

(13) 12 : г ^ап(90° + в) ■ (х - Тх)

= - ^ (в) ■ (х - Тх) =--1 ■ (х - Тх).

х Г

V %

\сх 1 _1 / ;х2р / \с / 1 X г / Х1р! 7 . ~тгп

' / ¡\а х В, Аг[ \ * * / Вг /

о, Ог 1 Т * _

м>-сх М!~СХ1

Рис. 5. Конфигурация стереоустановки

Вычислим координаты точки ^з в системе координат OlXZ:

I I

(14)

т - сх I

• хз =

(хз - Тх),

хз

Тх • (т - Сх _ 1) Тх • (т -

-

Сх I Сх

• (т - Сх _ I)

- А Сх

Далее, определим величину Zmax — максимально возможное расстояние до наблюдаемого объекта, которое может быть измерено путем локализации проекции объекта на левом и правом кадрах стереопары и последующей триангуляции. В силу дискретности

С

х г

т

изображений, для достаточно удаленного объекта будет практически отсутствовать эффект параллакса, знаменатель выражения (8) станет равным нулю, что делает вычисление расстояния невозможным. Также, дискретность изображений не позволяет локализовать объект на изображении с высокой точностью. Наконец, в работе любого алгоритма, предназначенного для решения проблемы стереосоответствия, возможны ошибки в поиске соответствующих пикселей на стереопаре.

С учетом вышесказанного, определим величину ¿тах следующим образом:

(15) ¿тах = Т .

йтги Асх

Здесь д,тги — минимально возможное значение диспаритета, при котором знаменатель выражения (11) равен Ай — погрешности в вычислении диспаритета: йтгп = Асх + Ай.

Точки и <2з задают область ф, расстояние до наблюдаемого

объекта может быть вычислено только в том случае, если он находится в этой области. Точки ^1, ^2 располагаются на расстоянии ¿тах от камер и лежат на прямых /1 и /2 соответственно. Вычислим абсциссы точек и ^2, обозначим их как х и Ж2:

/ • Х1 = 7 ^ _ = Т т - Сх_1

^тах Х1 Т х

(16)

тах ' 1 -*-х т д '

^ сх_1 йтги Асх

/ / гр \ ^ гр &тгп - Сх I

- • (Х2 - Тх) = ¿тах ^ X = У ~

^тги Асх

Площадь области ф определим по одной из стандартных формул вычисления площади треугольника:

£ (ф) _ (Х1 Х2) {¿тах ¿тт)

т ^ йтги

Х1 - Х2 = Т

йтги Асх

^ _ ^ _ / Т _^ йтги_

^ 1 7А ¿тах ¿тги / • Т х • Т^ I Г7 д ,

(17) («тги - АСх)(то - АСх)

£ (ф) _ _/_ | у ^ - йтги

2 (ад - Асх) V х йтги - Асх

2

/ / лт! ^ - Асх - Ай

• Тх •

2 (ад - Асх) Vх Ай Означив в формуле все переменные, получим £ (ф) = 14, 59 кв.м.

X г

Для оценки размеров эффективных областей на левом и правом изображениях стереопар вновь обратимся к рис. 5. На плоскости изображения левой «камеры» проекция области ф заключена в отрезке, начало которого — точка В;, а конец — точка Х2Р, которая является проекцией точки ^2. На плоскости изображения правой «камеры» проекция области ф заключена в отрезке, начало которого — точка Аг, а конец — точка Х1Р, которая является проекцией точки ^1. Вычислим абциссы точек Х1Р и Х2Р (в двумерных системах координат, привязанных к изображениям с левой и правой камеры соответственно):

Сопоставив полученные результаты с рис. 5, приходим к выводу, что ширина эффективных областей на левом и правом изображениях совпадает и равна т - йтги = т - Асх - Ай пикс. Означив в формуле все переменные, получим значение, равное 287,14 пикс., что составляет 94,15% от ширины левого или правого кадра стереопары.

Заключение

В статье была исследована стереонасадка ЗБЬеггу, позволяющая получать стереоизображения с применением одиночной цифровой камеры. В ходе экспериментальных исследований было улучшено стороннее программное обеспечение, предназначенное для калибровки данной стереонасадки. Эмпирическим путем подобрана математическая модель стереоустановки, которая позволяет добиться наилучших результатов калибровки для стереонасадки ЗЮЬеггу. Рассчитаны оптические характеристики стереоустановки: максимальное расстояние до объекта в зависимости от погрешности в вычислениях диспаритета, площадь наблюдаемой территории, размеры эффективных областей на изображениях стереопары. Использование стереонасадок видится достаточно перспективным для автономной робототехники, поскольку уменьшает стоимость стереоустановки и решает проблему синхронизации левого и правого кадров стереопары.

Список литературы

[1] М. В. Фурса. «Реконструкция сложных трехмерных объектов методом

структурированного освещения», Автометрия, 44:1 (2008), с. 118-126.

[2] В. Я. Распопов, А. В. Ладонкин. «Оптические системы ориентации в

контуре управления беспилотного летательного аппарата», Гироскопия и навигация, 3:78 (2012), с. 64-77. jji 12

[3] В. П. Лазаренко, Т. С. Джамийков, В. В. Коротаев, С.Н. Ярышев. «Метод создания сферических панорам из изображений, полученных все-направленными оптико-электронными системами», Научно-технический вестник информационных технологий, механики и оптики, 16:1 (2016), с. 46-53. 12

[4] W. Li, Y. F. Li. "Single-camera panoramic stereo imaging system with a fisheye lens and a convex mirror", Optics Express, 19:7 (2011), pp. 58555867. d ti2

[5] J. Gluckman, S. K. Nayar. "Rectified catadioptric stereo sensors", IEEE Transactions on Pattern Analysis and Machine Intelligence, 24:2 (2002), pp. 224-236. 12

[6] J. Gluckman, S.K. Nayar. "Planar catadioptric stereo: geometry and calibration", Proc. of IEEE Computer Society Conference on Computer Vision and Pattern Recognition. V. 1, 1999, pp. 22-28. 12

[7] G. L. Mariottini, S. Scheggi, F. Morbidi, D. Prattichizzo. "Catadioptric stereo with planar mirrors: multiple-view geometry and camera localization", Visual Servoing via Advanced Numerical Methods, Lecture Notes in Control and Information Sciences, vol. 401, 2001, pp. 3-21.

[8] T. Pachidis, J. Lygouras. "A pseudo stereo vision system as a sensor for real time path control of a robot", Proc. of the 19th IEEE Instrumentation and Measurement Technology Conference. V. 2, 2002, pp. 1589-1594.

[9] R. Wang, X. Li, Y. Zhang. "Analysis and optimization of the stereo-system with a four-mirror adapter", Journal of the European Optical Society Rapid, publications, 3 (2008), 08033, 7 p. d ti2

[10] Z. Zhang. "A flexible new technique for camera calibration", IEEE Transactions on Pattern Analysis and Machine Intelligence, 22:11 (2000), pp. 1330-1334. ti2

[11] J. Heikkila, O. Silven. "A four-step camera calibration procedure with implicit image correction", Proc. of the IEEE International Conference on Computer Vision and Pattern Recognition, 1997, pp. 1106-1112. 12

[12] В. В. Коротаев, А. В. Краснящих, С. Н. Ярышев , Х. В. Нгуен. «Метод автоматической калибровки стереоскопической системы», Научно-технический вестник информационных технологий, механики и оптики., 4:92 (2014), с. 29-34. .url: 12

[13] B. W. He, Y. F. Li. "A novel method for camera calibration using vanishing points", Proc. of the 2007 14th International Conference on Mechatronics and Machine Vision in Practice, 2007, pp. 44-47. ti2

[14] LOREO: creating solutions through lateral thinking. 3D cameras, 3D lenses and optical systems (дата, обращения: 20.07.2018). url) "t 12

[15] Самодельная стереонасадка для фотоаппарата. Снимаем и смотрим стерео фото, не потратив ни копейки (дата обращения: 20.07.2018). url

[16] Портативные стереонасадки (дата обращения: 20.07.2018). @ 12

[17] SDberry — комплект для изучения компьютерного зрения с вашей Raspberry Pi (дата обращения: 20.07.2018). @1\з

[18] G. Bradski, A. Kaehler. Learning OpenCV, O'Reilly Media, 2008, 576 p. ti3

[19] В. Г. Алтухов, А. Б. Колкер. «Вычисление расстояния до объекта на основе карты глубин полученной методом зеркального разделения изображений», Автоматика и программная инженерия, 1:19 (2017), с. 65-69. ©tis

[20] Camera calibration toolbox for Matlab with a complete documentation (дата обращения: 20.07.2018). ® ti

16

Рекомендовал к публикации д.т.н. В. М. Хачумов

Пример ссылки на эту публикацию:

Д. Н. Степанов, А. В. Смирнов. «Исследование процесса калибровки и оптических характеристик стереонасадки 3Dberry». Программные системы: теория и приложения, 2018, 9:3(38), с. 11-28. d 10.25209/2079-3316-2018-9-3-11-28

url http://psta.psiras.ru//read/psta2018_3_11-28.pdf

Об авторах:

Дмитрий Николаевич Степанов К.т.н., н.с. Исследовательского центра мультипроцессорных систем ИПС им. А.К. Айламазяна РАН. Область научных интересов: математическое моделирование, компьютерное зрение, распознавание образов, параллельное программирование, визуальная навигация, анализ данных.

щшш®

e-mail:

0000-0003-2582-5757

[email protected]

Александр Владимирович Смирнов м.н.с. Исследовательского центра мультипроцессорных систем ИПС им. А.К. Айламазяна РАН. Область научных интересов: компьютерное зрение, распознавание образов, визуальная навигация, нейронные сети, робототехника.

e-mail:

0000-0002-7104-1462

asmirnov [email protected]

UDC 004.932.2

Dmitry Stepanov, Aleksandr Smirnov. Research of calibration process and optical characteristics of 3Dberry stereo nozzle.

Abstract. The article is devoted to the research of calibration process of 3Dberry stereo nozzle, as well as to the evaluation of its optical characteristics for solving computer vision problems: in particular, 3D modeling tasks and range finding. The review of the main methods of 3D modeling with the use of optical technologies as well as the review of flat-mirror catadioptric systems are presented; the advantage of the use of stereo nozzles in front of other technologies is shown. Methodology of the research consists in a computer experiment using real images that were obtained with the use of stereo nozzle. The results of calibration of the stereo nozzle with the use of third-party and own software are given. During the experiments, a mathematical model of a stereo camera was selected, which allows to achieve the best results of calibration. The optical characteristics of a stereo rig consisting of a monocular camera and a stereo nozzle are calculated. The obtained results can be used in the creation and research of computer vision systems for robotic complexes. (In Russian).

Key words and phrases: machine vision, optical devices, calibration, three-dimensional sensing, range finding, stereovision, optical characteristics, stereo nozzle.

2010 Mathematics Subject Classification: 68T40; 68T45

References

[1] M. V. Fursa. "Reconstruction of complex three-dimensional objects using the method of structured light", Avtometriya, 44:1 (2008), pp. 118-126 (in Russian), url n

[2] V.Ya. Raspopov, A. V. Ladonkin. "Optical orientation systems in control circuit of unmanned aerial vehicle", Gyroscopy and Navigation, 3:78 (2012), pp. 64—77 (in Russian).f12

[3] V. P. Lazarenko, T.S. Dzhamiykov, V. V. Korotaev, S.N. Yarishev. "Method for creation of spherical panoramas from images obtained by omnidirectional

optoelectronic systems", ¡Scientific and technical journal of information technologies, mechanics and, optics, 16:1 (2016), pp. 46—53 (in Russian). 12

[4] W. Li, Y. F. Li. "Single-camera panoramic stereo imaging system with a fisheye lens and a convex mirror", Optics Express, 19:7 (2011), pp. 5855—5867. I f12

[5] J. Gluckman, S. K. Nayar. "Rectified catadioptric stereo sensors", IEEE Transactions on Pattern Analysis and Machine Intelligence, 24:2 (2002), pp. 224-236. I f12

© D. N. Stepanov, A. V. Smirnov, 2018

© Ailamazyan Program Systems Institute of RAS, 2018

© Program Systems: Theory and Applications (design), 2018

DOI 10.25209/2079-3316-2018-9-3-11-28^^^^^^^^^^^^^^^^^^^^^! lY&Jj1

28

Dmitry Stepanqy, Aleksandr Smirnoy

[6] J. Gluckman, S.K. Nayar. "Planar catadioptric stereo: geometry and calibration", Proc. of IEEE Computer Society Conference on Computer Vision and Pattern Recognition. V. 1, 1999, pp. 22-28. 12

[7] G. L. Mariottini, S. Scheggi, F. Morbidi, D. Prattichizzo. "Catadioptric stereo with planar mirrors: multiple-view geometry and camera localization", Visual Servoing via Advanced Numerical Methods, Lecture Notes in Control and Information Sciences, vol. 401, 2001, pp. 3-21. d ' 12

[8] T. Pachidis, J. Lygouras. "A pseudo stereo vision system as a sensor for real time path control of a robot", Proc. of the 19th IEEE Instrumentation and Measurement Technology Conference. V. 2, 2002, pp. 1589-1594. d f12

[9] R. Wang, X. Li, Y. Zhang. "Analysis and optimization of the stereo-system with a four-mirror adapter", Journal of the European Optical Society Rapid publications, 3 (2008), 08033, 7 p. 12

[10] Z. Zhang. "A flexible new technique for camera calibration", IEEE Transactions on Pattern Analysis and, Machine Intelligence, 22:11 (2000), pp. 1330—1334. I f12

[11] J. Heikkila, O. Silven. "A Four-step Camera Calibration Procedure with Implicit Image Correction", Proc. of the IEEE International Conference on Computer Vision and Pattern Recognition, 1997, pp. 1106—1112. 12

[12] V. V. Korotaev, A. V. Krasnyaschikh, S.N. Yaryshev, H.V. Nguyen. "Automatic calibration method for stereoscopic system", Scientific and technical journal of information technologies, mechanics and optics, 4:92 (2014), pp. 29—34 (in Russian). URL 12

[13] B. W. He, Y. F. Li. "A novel method for camera calibration using vanishing points", Proc. of the 2007 14th International Conference on Mechatronics and Machine Vision in Practice, 2007, pp. 44-47. I f12

[14] LOREO: creating solutions through lateral thinking. 3D cameras, 3D lenses and optical systems (data obrashcheniya: 20.07.2018). iurl? 12

[15] Homemade stereo for the camera. We remove and watch the stereo photo does not spend a penny (data obrashcheniya: 20.07.2018) (in Russian), .url' 12

[16] Portable stereo nozzle (data obrashcheniya: 20.07.2018) (in Russian), url 12

[17] 3Dberry — a set for studying computer vision using your Raspberry Pi (data obrashcheniya: 20.07.2018). url 13

[18] G. Bradski, A. Kaehler. Learning OpenCV, O'Reilly Media, 2008, 576 p. 13

[19] V. G. Altuhov, A. B. Kolher. "Calculation of the distance to the object based on the depth map obtained by the method of mirror image division", Automatics & Software Enginery, 1:19 (2017), pp. 65—69 (in Russian). i™)f13

[20] Camera calibration toolbox for Matlab with a complete documentation (data obrashcheniya: 20.07.2018). url 16

Sample citation of this publication:

Dmitry Stepanov, Aleksandr Smirnov. "Research of calibration process and

optical characteristics of 3Dberry stereo nozzle". Program Systems: Theory and Applications, 2018, 9:3(38), pp. 11-28. (In Russian). 10.25209/2079-3316-2018-9-3-11-28

url; http: //psta.psiras .ru//read/psta2018_3_ll-28.pdf