CC BY
25
Калибровка оптической системы для трёхмерных измерений в гидродинамической трубе
В.А. Князь ',2, Д.Г. Степаньянц1, О.Ю. Царева1 'Федеральное государственное унитарное предприятие «ГосНИИ авиационных систем», 125319, Россия, г. Москва, ул. Викторенко, д. 7, 2 Московский физико-технический институт (МФТИ), 141701, Россия, г. Долгопрудный, Институтский пер., д. 9
Аннотация
Для проведения бесконтактных трёхмерных измерений в гидродинамических трубах фотограмметрическими методами требуется уточнение стандартной модели формирования изображения в съёмочной камере, учитывающее эффект преломления лучей на границах оптических сред, а именно, на границе воздух - стекло и стекло - рабочая жидкость. В статье представлены модель формирования изображения для случая съёмки в рабочем пространстве, включающем различные оптические среды, и методика калибровки оптической системы для проведения трёхмерных измерений координат объектов сцены с учётом имеющихся границ оптических сред. Приведены результаты экспериментальных исследований по калибровке системы трёхмерных измерений для случая съёмки объекта через две границы оптических сред.
Ключевые слова: оптические 3Б-измерения, калибровка, рефракция, граница оптических сред, оценка неизвестных параметров, точность измерений.
Цитирование: Князь, В.А. Калибровка оптической системы для трёхмерных измерений в гидродинамической трубе / В.А. Князь, Д.Г. Степаньянц, О.Ю. Царева // Компьютерная оптика. -2021. - Т. 45, № 1. - С. 58-65. - DOI: 10.18287/2412-6179-CO-741.
Citation: Knyaz VA, Stepanyants DG, Tsareva OY. Optical system calibration for 3D measurements in hydrodynamic tunnel. Computer Optics 2021; 45(1): 58-65. DOI: 10.18287/2412-6179-CO-741.
Введение
Гидродинамические трубы служат эффективным средством проведения исследований процессов обтекания летательных аппаратов на их масштабных моделях. Адекватность получаемых результатов реальным условиям обеспечивается соблюдением критериев подобия (соответствием чисел Маха, Фруда, Рейноль-дса) для исследуемых и моделируемых процессов течения жидкости (воздуха). Преимуществом гидродинамических труб является меньшая скорость потока (при том же числе Маха), что позволяет изучать процессы обтекания в «замедленном» режиме по сравнению с воздушной средой.
Эксперименты в гидродинамических трубах позволяют эффективно визуализировать процессы обтекания аэродинамических поверхностей, что является важнейшим инструментом изучения явления. Но наряду с тем, что визуализация течения обеспечивает значительный объём информации, часто требуется получить не только качественные, но и количественные данные о течении. Проведение измерений в гидродинамических трубах без возмущения исследуемого потока возможно только бесконтактными методами, в частности, фотограмметрическими методами, позволяющими измерять трёхмерные координаты объектов на основе обработки его разноракурсных изображений.
Однако для проведения оптических измерений в гидродинамических трубах требуется модификация стандартной фотограмметрической модели формирования изображения в съемочной камере, использующей уравнения геометрической оптики, уточненные для учета геометрических искажений, вызываемых съёмочной системой. При проведении оптических измерений в гидродинамической трубе требуется учёт преломления лучей на границах сред, а именно, на границе воздух - стекло и стекло - рабочая жидкость. В статье представлена методика калибровки оптической системы для проведения трёхмерных измерений координат объектов сцены с учётом имеющихся границ оптических сред.
1. Обзор работ в данной области
Оптические измерения, основанные на обработке изображений объекта, получают всё более широкое распространение благодаря совершенствованию технических средств получения изображений и значительному прогрессу в методах их обработки. Одновременно расширяется и спектр приложений, включающий в том числе и приложения, для которых необходимо проведение измерений в рабочем пространстве, включающем несколько оптических сред, что влияет на процесс формирования изображения измеряемого объекта [1].
Большинство приложений, требующих учёта эффектов преломления света при оптических измерениях, относятся к подводным исследованиям, таким как мониторинг подводных сооружений для производства энергии [2, 3], подводный контроль состояния корпусов судов [4] и подводных сооружений [5], археологического документирования исторических находок (развалин древних сооружений и затонувших судов) [6], для построения 3Б-моделей и виртуального моделирования подводных археологических объектов [7], картографирования рельефа морского дна и 3Б-реконструкции сложных подводных структур [8, 9, 10, 11].
Необходимым условием обеспечения точности измерений фотограмметрическими методами является калибровка съёмочной системы, позволяющая достоверно оценить параметры, учитывающие геометрические искажения при формировании изображения. Методы калибровки фотограмметрических систем как видимого [12, 13], так и теплового диапазона, развитые для трёхмерных измерений в однородной оптической среде [14, 15], сегодня позволяют обеспечивать высокую точность трёхмерных измерений, достигающую 1/100000 рабочего пространства измерений. Для обеспечения высокой точности оптических измерений в случае наличия границ оптических сред разрабатываются различные методы и подходы, позволяющие компенсировать или учесть в расчётах влияние геометрических искажений, вызванных эффектами преломления.
Ряд подходов для компенсации эффектов преломления использует тот факт, что они исчезают, если свет проходит через границу сред под углом 90°, и заключается в применении дополнительных оптических элементов для минимизации или устранения эффектов преломления. В случае анализа потока жидкости с использованием методов стереоскопических измерений скорости движения частиц (PIV - particle image veloci-metry) использование призм является распространенным решением для предотвращения оптических аберраций [16]. При использовании призм оптические лучи проходят границу раздела под углом 90°, что практически устраняет эффекты преломления.
Другим подходом, обеспечивающим необходимую точность оптических измерений, является калибровка оптической системы, позволяющая учесть влияние рефракции и компенсировать искажения, вызванные ею.
Весьма распространённым способом является включение («поглощение») эффектов преломления в физические параметры калибровки камеры [17]. Такой способ даёт достаточно хорошее описание модели искажений для случая, когда оптическая ось камеры приблизительно перпендикулярна плоскости или куполообразному порту камеры, и первичный эффект преломления через границы раздела радиально симметричен относительно главной точки.
Недостатком такого способа «поглощения преломляющих эффектов» является то, что всегда остаются некоторые систематические ошибки, которые не включены в модель. Эффект преломления делает недействительным предположение об одном проекционном центре для камеры [18, 19], которое является основой для данной модели.
Альтернативные подходы предлагают решения для геометрической коррекции путём введения виртуального центра проекции [20] или двухэтапную коррекцию [21], включающую начальную стандартную калибровку в воздушной среде, с последующим вводом дополнительных параметров, описывающих эффекты преломления на границах оптических сред.
Однако разработанные для случая подводных исследований методы калибровки не могут быть непосредственно использованы для измерений трёхмерных координат объектов в гидродинамической трубе вследствие существенного отличия схемы и геометрии съёмки, что обусловило необходимость проведения данного исследования.
2. Съемка объекта при наличии границ оптических сред
Рассматривается задача определения трёхмерных координат элементов сцены по изображениям, получаемым стереосистемой цифровых видеокамер. Камеры расположены в фиксированном положении относительно рабочего пространства измерений, определяемого областью перекрытия изображений левой и правой камер (рис. 1). То есть рабочее пространство измерений есть пересечение телесных углов, образуемых полями зрения левой и правой камер стерео-системы.
Измеряемые элементы (объекты) сцены находятся в резервуаре с жидкостью, расположенном в рабочем пространстве измерений. Рис. 2 показывает экспериментальную установку для исследований разработанной методики, включающую две камеры, закрепленные в фиксированных положениях на жестком базисе, и резервуар с жидкостью (водой), в котором требуется проводить измерения.
Рабочее пространство измерений
Требуется определить координаты заданных точек элементов сцены по их изображениям на снимках стереосистемы.
2.1. Модель съемки
При решении задач трехмерных измерений фотограмметрическими методами в однородной оптической среде используется модель центральной проекции, записываемая в форме уравнений коллинеарности [22] (1), выражающих то условие, что точка сцены Р, центр проекции О и изображение данной точки р на снимке (рис. 1) лежат на одной прямой:
Хр = Xо-XAT•(xp -b),
(1)
где Хоо = (Xo, Y00, Zoo) и Xp = (Хр, Yp, Zp) - координаты центра проекции O и точки сцены Р соответственно; xp = (x, y, -f) - соответствующие координаты точки сцены на изображении, A - матрица преобразования систем координат, определяемая тремя Эйлеровыми углами поворота а, ю, к; b - координаты главной точки снимка, X - масштабный коэффициент.
Рис. 2. Экспериментальная установка
Здесь координаты центра проекции Хо и координаты точки сцены ХР записаны в земной системе координат (рис. 1), а координаты соответствующей точки сцены на изображении хр и координаты главной точки снимка Ь - в системе координат изображения. Положение системы координат изображения в земной системе координат определяется параметрами внешнего ориентирования камеры - ее положением Хо и тремя углами взаимного поворота систем координат а, ю, к. Принятые в работе обозначения и системы координат приведены в Приложении (табл. 4).
После преобразований уравнения коллинеарности (1) могут быть записаны относительно координат точек изображения:
= b - - A( X Р - X о).
X
(2)
Таким образом, каждой точке снимка р соответствует формирующий ее луч гр = Хр -Xо, проходящий через центр проекции Х0 и точку объекта Хр.
Или, другими словами, каждая точка хр изображения определяется положением центра проекции Х0 и вектором гр = Хр - Ь , определяющим направление на соответственную точку объекта ХР.
На практике реальная модель съемки отличается от модели, задаваемой уравнениями коллинеарности (1), вследствие геометрических искажений, вносимых реальной съемочной системой. Для учета данных искажений в уравнения коллинеарности вводятся дополнительные члены, описывающие различные искажающие факторы и оцениваемые в результате выполнения процедуры калибровки [23].
2.2. Учет наличия границ оптических сред
При проведении измерений в условиях, когда лучи от точек сцены, формирующие ее изображение, проходят через границы различных оптических сред, модель центральной проекции (1) более несправедлива, и для проведения точных измерений требуется учёт преломления света на границах оптических сред.
Для рассматриваемой задачи измерений в гидродинамической трубе необходимо учитывать явление преломления света для двух границ: «воздух -стекло» и «стекло - жидкость». Схема хода оптических лучей при съемке представлена на рис. 3.
Воздух
А?
Система Система Земная
координат координат система
изображения стекла координат
(ИСК) (ССК) (ЗСК)
Рис. 3. Ход оптических лучей
На рис. 3 представлена схема хода луча, формирующего на снимке изображение р точки объекта Р. Точке снимка р соответствует вектор е , задающий направление пространственной прямой, проходящей через центр проекции Ро и пересекающей плоскость изображения в точке р. Эта прямая пересекает плоскость стекла в точке Р1. В результате преломления на границе сред вектор е изменяет направление на вектор е1, лежащий в плоскости, образуемой нормалью к поверхности стекла п и вектором е . В свою очередь, прямая (Р1, е1) пересекает границу «стекло -жидкость» в точке Р2. В результате преломления вектор е1 меняет свое направление на е2 . При этом вектора е1, е2 и п - лежат в одной плоскости. Прямая (Р2,е2) пересекает поверхность объекта съемки в точке Р, которая является проекцией точки снимка р на поверхность объекта.
Таким образом, каждой точке хр изображения, определяемой вектором е , в случае наличия границ сред соответствует вектор е2 и точка Р2 на поверхности границ оптических сред.
То есть для каждой точки снимка вместо прямой (Р0, е) определяется соответствующая прямая (Р2,е2), которая может быть использована при вычислении пространственных координат точек объекта или калибровке снимков.
2.3. Определение параметров формирующих лучей
Модель съемочной системы описывается параметрами внутреннего ориентирования, включающими размеры элемента изображения (пикселя) тх, ту по осям х и у соответственно, положение главной точки снимка Ъх, Ьу и параметры нелинейных искажений снимка а0, а1у а2, а3, а4, а5.
Координаты точки р = (ха, уа, -/) в системе координат изображения определяются по ее пиксельным координатам Хр1х, Ургх снимка как:
Xa = Шх ■ (Xpix - Ьх ), Уа = Шу ■ (Ьу - ypix) .
(3)
(4)
Тогда действительные (искаженные) координаты х, у находятся с учетом вносимых искажений, описываемых дополнительными членами Дх, Ду, включаемыми в уравнения коллинеарности:
х = ха + Д х , У = У а +Д у .
(5)
(6)
Дополнительные члены Д, Ду определяют модель искажений съемочной системы. Широко используемой и подтвержденной практикой фотограмметрических измерений моделью нелинейных искажений является модель вида [24]:
Дx = a0ya + xa (ar2 + a4 (r2 + 2x2) + 2a5xaya , Д y = a0 Xa + ya (air2 + a5(r2 + 2 y2) + 2a4 Xaya ,
где обозначено r2 = + y^.
Таким образом, точке с координатами (xpx, ypix) соответствует точка с координатами (x, y, -f) с учетом размеров пикселя матрицы и дисторсии.
В земной неподвижной системе координат (ЗСК) каждой точке снимка соответствует точка P0g (центр проекции) и вектор:
в, = Лт ■
У - f.
где АТ - матрица угловых элементов внешнего ориентирования снимка.
Поверхность стекла характеризуется связанной с ней системой координат (ССК) (рис. 3), начало которой находится в некоторой точке поверхности стекла
Р0л определяемой вектором ^ в земной системе координат. Ось 25 совпадает с нормалью к плоскости стекла п, а угловое положение стекла относительно земной системы координат определяется матрицей А,.
Для произвольного вектора Р, заданного в земной системе координат Р^, его положение в системе координат стекла Р задается выражением:
Ps = As ■ (Pg Sg ) .
(7)
Тогда в системе координат стекла координаты точки Р0 и вектора е определяются как:
P0s = As ' (P0g Sg ) :
es Л s eg .
(8) (9)
Координаты точки P\ в системе координат стекла вычисляются из условия ZP\s = 0:
Р = Р | P0S ■ в P\S ~ P0s + es
(\0)
где Zpos и Zes - z - координаты векторов P0s и es.
Для вычисления координат вектора e¡ и точки P2 вектор es нормируется так, чтобы модуль его z-коор-динаты стал равен толщине стекла (к„ = Hs / ZeS). Синус угла преломления прямой es:
sin (ф)= ^Mw ,
где ге! хе2 + уе2 , п™ - коэффициент преломления на границе воздуха и стекла.
Тогда новое направление вектора е, :
' х r / r ^
•^es' n ' ' es yesrn / res Zes
где rn = \zes
sin(9)
V\ - sin2 (ф) '
Аналогично вычисляются координаты вектора е2 :
= Хе1х + уе1х , Г
®1П(ф2 ) = -Г^П^ ,
Ы
(пш - коэффициент преломления на границе стекла и воды)
Гпп Zel
sin^2)
(
в2 s =
л/\ - sin2 (ф2 )
Xe\srnn / rss ye\srnn / rss
Координаты точки Р2 и вектора е2 в земной системе координат равны:
Р2g = Aí (( + e\s ) + P0s
(\\)
es
s
e2 g — AS ' e2 s •
(12)
Уравнения 5- 12 позволяют определить направление луча, формирующего изображение для каждой точки сцены, в рабочем пространстве измерений с учетом преломления на границах оптических сред. То есть они определяют для каждой точки изображения р зависимость:
F (х р
, X0s , XP ~ X0) — 0 ;
(13)
являющуюся аналогом уравнений коллинеарности (1) и позволяющую сопоставить каждой точке изображения p соответствующую точку сцены P с учетом преломления лучей на границах сред с коэффициентами nas, пш и положения Xos резервуара с жидкостью. Данные соотношения позволяют выполнять расчеты трехмерных координат точек сцены фотограмметрическими методами.
3. Калибровка системы
Калибровка системы является необходимым этапом работы с системами фотограмметрических измерений и позволяет определить параметры модели формирования изображения. Задача нахождения требуемых параметров функции (13) решается как оценка неизвестных параметров модели по наблюдениям [23]. В качестве наблюдений используются координаты изображений Xpix, ypix опорных точек специального калибровочного объекта, трехмерные координаты X, Y, Z которых априорно известны с высокой точностью. Изображение калибровочного объекта, содержащего 49 опорных точек, маркированных кодированными метками [25], приведено на рис. 4.
7Т
®®®®®ф® ®®®®®@® ®@®®®®@ ®®®®®®@ ®®®®®®®
Рис. 4. Калибровочное поле
Калибровочное поле, используемое в проводимых экспериментах, представляет собой пластину с опорными точками, маркированными специальными кодированными метками. Применяемые кодированные
метки позволяют в автоматическом режиме проводить измерения координат опорных точек на изображении с субпиксельной точностью и однозначно идентифицировать опорные точки.
При изготовлении одна поверхность калибровочного поля обрабатывается с высокой точностью, позволяющей считать, что опорные точки, расположенные на этой поверхности, лежат в одной плоскости. Также для ряда опорных точек выполняются измерения опорных расстояний между ними, используемых, наряду с условием принадлежности опорных точек одной плоскости, в процессе оценки неизвестных параметров системы уравнений (13). Опорные точки располагаются на поверхности примерно с равным интервалом по горизонтали и по вертикали. Точность расположения меток опорных точек на плоскости определяется методом их нанесения на поверхность калибровочного объекта (в данном случае лазерной печатью), а действительные координаты уточняются в процессе калибровки при ограничениях на принадлежность одной плоскости и на заданные опорные расстояния.
Поэтому инструментальные погрешности измерений трехмерных координат соответствуют погрешностям изготовления калибровочного поля (неплоскостностью), низкий уровень которых по сравнению с методическими погрешностями обеспечивается заданным качеством изготовления. Уровень методических погрешностей определяется результатами калибровки (уровень невязок на опорных точках) и погрешностями измерений координат изменяемых точек на изображениях, составляющих доли пикселя.
3.1. Процедура калибровки
Для проведения калибровки выполняется съёмка набора изображений калибровочного поля, располагаемого в различных положениях в рабочем пространстве измерений. На полученных изображениях определяются координаты опорных точек, для которых записываются уравнения (13), связывающие точку калибровочного поля и её изображение на снимке. Далее методом наименьших квадратов находятся значения оцениваемых параметров, обеспечивающие минимум ошибок (невязок) в опорных точках.
Пусть точке снимка с координатами хр1х, ургх, для которой определена прямая (Р2, е2), должна соответствовать точка объекта Р0ь. Тогда уравнения коллинеарности точек Р2, Р2 + е2, РоЬ в земной системе координат могут быть записаны в форме:
^Sx ^ ( Xр2g + kXp2g \ ( X P.
P 2 g^^e 2g YP 2 g + kye2 g
Yp,
(14)
где
k — Z Pob ZP2g Ze2g
То есть невязки уравнений коллинеарности ех, еу вычисляются в плоскости ХУ земной системы координат как отклонения проекции точки (хрх,, урх) на плоскость 2 = 1раЬ .
Частные производные вектора невязок уравнений коллинеарности по оцениваемым параметрам находятся численно как отношение приращения невязок к приращению соответствующего параметра.
При проведении калибровки в вектор оцениваемых параметров входят:
- элементы внешнего и внутреннего ориентирования камер;
- параметры, определяющие положения калибровочного поля при съемке;
- пространственные координаты точек калибровочного поля;
- параметры, определяющие положение системы координат стекла относительно земной системы координат.
3.2. Экспериментальная оценка параметров
При проведении калибровки конфигурация съёмки соответствовала рис. 2, когда камеры зафиксированы на жестком основании, а объект съемки находится в жидкости (воде). Для калибровки использовалось калибровочное поле, содержащее 49 опорных точек (рис. 4).
Калибровочное поле устанавливалось в ёмкости с водой в пятнадцать различных положений, обеспечивающих наблюдение камерами калибровочного поля под разными ракурсами и на различных дальностях в рабочем пространстве.
В вектор оцениваемых параметров входили:
- 12 элементов внешнего ориентирования камер (6 элементов на камеру);
- 16 элементов внутреннего ориентирования камер (по 8 на каждую камеру - размеры пикселя, координаты главной точки, коэффициенты дисторсии а\, а4, а5). Опыт выполнения калибровки съемочных систем с объективами, используемыми в стереосистеме, показал, что для данного типа объективов параметры а2 и а3 пренебрежимо малы и соответствующие члены модели дисторсии не вносят существенного вклада в конечную поправку;
- 84 элемента, определяющих положение калибровочного поля относительно первого положения при съемке (14 положений, 3 линейных и 3 угловых элемента);
- 3 элемента, определяющих положение системы координат стекла относительно земной системы координат.
Результаты калибровки фотограмметрической системы измерений при наличии границ сред сравнивались с результатами калибровки той же системы в однородной оптической среде (воздухе). В качестве показателя качества калибровки рассматривались среднеквадратические отклонения уравнений колли-
неарности стсе, рассчитанные для опорных точек калибровочного поля. Результаты оценки параметров приведены в табл. 1 для левой и в табл. 2 для правой камеры системы.
Табл. 1. Результаты калибровки комплекса. Левая камера
Параметры Калиб ровка
Однородная оптическая среда Несколько оптических сред
Осе, мм 0,045 0,045
Шх, мм 0,00513 0,00510
Шу, мм 0,00514 0,00510
Ьх, р1х 633 636
Ьу, р1х 514 512
Козе )фициенты дисторсии
ао 0,00039 0,00043
а1 - 0,000909 - 0,000870
а4 - 0,000239 - 0,000150
а5 0,000569 0,000450
Табл. 2. Результаты калибровки комплекса. Правая камера
Параметры Калибровка
Однородная оптическая среда Несколько оптических сред
Осе, мм 0,045 0,045
Шх, мм 0,00512 0,00510
Шу, мм 0,00512 0,00510
Ьх, р1х 650 647
Ьу, р1х 498 494
Коэ( )фициенты дисторсии
а0 - 0,00141 - 0,000750
а1 - 0,000768 - 0,000769
а4 0,0000989 0,0000485
а5 0,000295 0,000237
В табл. 3 приведены результаты оценки угловых параметров внешнего ориентирования камер, полученных калибровкой в однородной оптической среде и при наличии двух границ оптических сред.
Табл. 3. Угловые элементы взаимного ориентирования
Параметры Значение, град
Однородная оптическая среда Несколько оптических сред
а0 - 18.08 - 17.92
К0 - 0,32 - 0,28
а1 18,4 18,2
а» - 0,39 - 0,36
К1 0,39 0,33
Для удобства сравнения параметры внешнего ориентирования камер приведены к форме взаимного ориентирования. Взаимное ориентирование определяет положение камер в базисной системе координат (рис. 1). Ее начало расположено в центре проекции левой камеры, ось ХЬ направлена в центр проекции правой камеры, оси УЬ и 2Ь лежат в плоскости, пер-
пендикулярной оси Xb. Направление оси Zb выбирается таким образом, что ось z0 системы координат левой камеры лежит в плоскости XZb, то есть угол ю0 левой камеры всегда равен нулю.
Табл. 3 показывает, что предложенная методика калибровки системы для съемки при наличии границ оптических сред позволяет правильно оценить угловое положение камер съемочной системы.
Также показателем качества предложенной методики является соответствие измеренных трехмерных координат опорных точек калибровочного поля при использовании моделей формирования изображений в однородной оптической среде и при наличии двух границ оптических сред. Среднеквадратическая ошибка совмещения двух массивов трехмерных координат составила 0,029 мм (соответствующая относительной ошибке 1 / 10000 рабочего пространства, составляющего в рассматриваемом эксперименте 300 х 300 х 300 мм), что, наряду с данными табл. 1 - 3, свидетельствует о правильности разработанной модели и возможности её применения для измерений при исследованиях процессов в гидродинамических трубах.
Заключение
Разработана методика калибровки фотограмметрической системы трёхмерных измерений для случая наличия границ оптических сред между съёмочной системой и измеряемыми элементами. Фотограмметрической системой, предназначенной для измерений в гидродинамической трубе, проведены экспериментальные съёмки наборов калибровочных изображений и выполнены процедуры калибровки как в однородной оптической среде, так и при наличии границ оптических сред.
Сравнение результатов калибровки в стандартной постановке и в условиях наличия нескольких оптических сред подтвердило правильность разработанной методики и возможность её применения для проведения высокоточных измерений при исследованиях процессов в гидродинамических трубах.
Благодарности
Исследования были выполнены при поддержке Российского фонда фундаментальных исследований (РФФИ) в соответствии с проектом № 19-29-13040.
Литература
1. Shortis, M. Calibration techniques for accurate measurements by underwater camera systems / M. Shortis // Sensors. - 2015. - Vol. 15, Issue 12. - P. 30810-30826. -DOI: 10.3390/s151229831.
2. Leatherdale, J.D. Underwater photogrammetry in the North Sea / J.D. Leatherdale, D.J. Turner // The Photo-grammetric Record. - 1983. - Vol. 11. - P. 151-167. -DOI: 10.1111/j.1477-9730.1983.tb00467.x.
3. Baldwin, R.A. An underwater photogrammetric measurement system for structural inspection / R.A. Baldwin // IS-PRS Archives. - 1984. - Vol. 25, Part A5. - P. 49-58.
4. O'Byrne, M. A comparison of image based 3D recovery methods for underwater inspections / M. O'Byrne, V. Pakrashi, F. Schoefs, B. Ghosh // Proceedings of the 7th European Workshop on Structural Health Monitoring. -2014. - P. 671-678.
5. Negahdaripour, S. An ROV stereovision system for ship-hull inspection / S. Negahdaripour, P. Firoozfam // IEEE Journal of Oceanic Engineering. - 2006. - Vol. 31. -P. 551-564. - DOI: 10.1109/JOE.2005.851391.
6. Bass, G.F. The ASHREAH - A pioneer in search of the past / G.F. Bass, D.M. Rosencrantz. - In Submersibles and their use in oceanography and ocean engineering / ed. by R.A. Geyer. - Chap. 14. - Amsterdam, The Netherlands: Elsevier North-Holland Inc, 1977. - P. 335-350.
7. Drap, P. Photogrammetry for virtual exploration of underwater archaeological sites / P. Drap, J. Seinturier, D. Scaradozzi, P. Gambogi, L. Long, F. Gauch, // ISPRS Archives. - 2007. - Vol. XXXVI-5/C53.
8. Moore, E.J. Underwater photogrammetry / E.J. Moore // The Photogrammetric Record. - 1976. - Vol. 8. - P. 748763. - DOI: 10.1111/j.1477-9730.1976.tb00852.x.
9. Bianco, G. A comparison between active and passive techniques for underwater 3D applications / G. Bianco, A. Gallo, F. Bruno, M. Muzzupappa // ISPRS Archives. -2011. - Volume XXXVIII-5/W16. - P. 357-363. - DOI: 10.5194/isprsarchives-XXXVIII-5-W16-357-2011.
10. Newton, I. Underwater photogrammetry / I. Newton // In: Non-topographic photogrammetry / ed. by H.M. Karara. -Bethesda, MD, USA: American Society for Photogramme-try and Remote Sensing, 1989. - P. 147-176.
11. Doucette, J.S. Stereo-video observation of nearshore bed-forms on a low energy beach / J.S. Doucette, E.S. Harvey, M.R. Shortis // Marine Geology. - 2002. - Vol. 189. -P. 289-305. - DOI: 10.1016/S0025-3227(02)00477-2.
12. Gruen, A. System calibration through self-calibration / A. Gruen, H.A. Beyer. - In: Calibration and orientation of cameras in computer vision / ed. by A. Gruen, T.S. Huang.
- Berlin, Heidelberg: Springer, 2001. - DOI: 10.1007/9783-662-04567- 1_7.
13. Vo, M.N. Advanced geometric camera calibration for machine vision / M.N. Vo, Z. Wang, L. Luu, J. Ma // Optical Engineering. - 2011. - Vol. 50, Issue 11. - 110503. - DOI: 10.1117/1.3647521.
14. Engström, P. Geometric calibration of thermal cameras / P. Engström, H. Larsson, J. Rydell // Proceedings of SPIE.
- 2013. - Vol. 8897. - 88970C. - DOI: 10.1117/12.2030952.
15. Knyaz, V.A. Joint geometric calibration of color and thermal cameras for synchronized multimodal dataset creating / V.A. Knyaz, P.V. Moshkantsev // International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences. - 2019. - Vol. XLII-2/W18. - P. 79-84, DOI: 10.5194/isprs-archives-XLII-2-W18-79-2019.
16. Raffel, M. Stereoscopic PIV / M. Raffel, Ch.E. Willert, F. Scarano [et al.]. - In: Particle image velocimetry: A practical guide. - Cham: Springer International Publishing, 2018. - P. 285-307. - DOI: 10.1007/978-3-319-68852-7_8.
17. Menna, F. Geometric and optic characterization of a hemispherical dome port for underwater photogrammetry / F. Menna, E. Nocerino, F. Fassi, F. Remondino // Sensors.
- 2016. - Vol. 16, Issue 1. - 48. - DOI: 10.3390/s16010048.
18. Sedlazeck, A. Perspective and non-perspective camera models in underwater imaging - Overview and error analysis / A. Sedlazeck, R. Koch. - In: Outdoor and large-scale real-world scene analysis / ed. by F. Dellaert, J.-M. Frahm, M. Pollefeys [et al.]. - Berlin, Heidelberg: Springer, 2012.
- P. 212-242. - DOI: 10.1007/978-3-642-34091-8_10.
19. Chadebecq, F. Refractive two-view reconstruction for underwater 3D vision / F. Chadebecq, F. Vasconcelos, R. Lacher [et al.] // International Journal of Computer Vision. - 2019. - Vol. 128. - P. 1101-1117. - DOI: 10.1007/s11263-019-01218-9.
20. Telem, G. Photogrammetric modeling of underwater environments / G. Telem, S. Filin // ISPRS Journal of Photo-grammetry and Remote Sensing. - 2010. - Vol. 65, Issue 5.
- P. 433-444. - DOI: 10.1016/j.isprsjprs.2010.05.004.
21. Brauer-Burchardt, Ch. Combination of air- and water-calibration for a fringe projection based underwater 3D-scanner / Ch. Brauer-Burchardt, P. Kühmstedt, G. Notni. - In: Computer analysis of images and patterns / ed. by G. Azzopardi, N. Petkov.
- Cham: Springer International Publishing, 2015. - P. 49-60. -DOI: 10.1007/978-3-319-23117-4_5.
22. Cooper, M.A.R. Theory of close-range photogrammetry / M.A.R. Cooper, S. Robson. In: Close range photogramme-
try and machine vision. - Caithness, Scotland: Whittles Publishing, 2005. - P. 9-51.
23. Knyaz, V.A. Scalable photogrammetric motion capture system "Mosca": Development and application / V.A. Knyaz // International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences. -2015. - Vol. XL-5/W6. - P. 43-49. — DOI: 10.5194/isprsarchives-XL-5-W6-43-2015.
24. Fryer, J.C. Camera calibration / J.C. Fryer. - In: Close range photogrammetry and machine vision. - Caithness, Scotland: Whittles Publishing, 2005. - P. 156-179.
25. Knyaz, V.A. Automated calibration technique for photogrammetric system based on a multi-media projector and a CCD camera [Electronical Resource] / V.A. Knyaz // International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences. - 2006. - Vol. XXXVI-5. -URL: https://www.isprs.org/proceedings/XXXVI/part5/pap er/1230_Dresden06.pdf.
Приложение
Табл. 4. Принятые обозначения и системы координат
Параметр Обозначение
Точка в трехмерном пространстве P = (( ,Yp, Zp )Т
Вектор в трехмерном пространстве X = (X, Y, Z )T
Матрица M
Единичный вектор e =( ex, ey, ez )T
Эйлеровы углы поворота систем координат а, ю, к
Коэффициенты преломления
Воздух - стекло n '1 as
Стекло - жидкость n ' lsw
Толщина стекла Hs
Земная система координат (ЗСК) OgXgYgZg
Система координат стекла (ССК) OsX sYsZs
Система координат изображения (ИСК) oxyz
Пиксельная система координат 0 pixXpixypix
Базисная система координат (взаимного ориентирования) (БСК) ObXbYbZb
Сведения об авторах
Князь Владимир Александрович, 1957 года рождения, в 1980 году окончил Московский физико-технический институт по специальности «Летательные аппараты», кандидат технических наук. Работает начальником подразделения в ФГУП «ГосНИИ авиационных систем», старшим преподавателем в Московском физико-техническом институте (МФТИ). Область научных интересов: компьютерное зрение, фотограмметрия, машинное обучение, виртуальная реальность, 3Б-моделирование. E-mail: knyaz@sosniias.ru.
Степаньянц Дмитрий Георгиевич, 1964 года рождения, в 1987 году окончил Московский авиационный институт по специальности «Системы автоматического управления», кандидат технических наук. Работает начальником сектора в ФГУП «ГосНИИ авиационных систем». Область научных интересов: фотограмметрия, программирование, 3Б-моделирование. E-mail: step@gosniias.ru.
Царева Ольга Юрьевна, 1997 года рождения, в 2018 году окончила Московский авиационный институт по специальности 27.03.04 «Управление в технических системах», продолжает обучение по специальности 27.04.04. «Управление в технических системах» МАИ, работает инженером в ФГУП «ГосНИИ авиационных систем». E-mail: lailats@gosniias.ru .
ГРНТИ: 29.31.29
Поступила в редакцию 20 апреля 2020 г. Окончательный вариант - 14 июля 2020 г.
Optical system calibration for 3D measurements in a hydrodynamic tunnel
V. A. Knyaz 12, D. G. Stepanyants1, O. Y. Tsareva1 1FSUE "State Research Institute of Aviation Systems " 125319, Russia, Moscow, St. Viktorenko., 7, 2Moscow Institute of Physics and Technology 141701, Russia, Dolgoprudnyy, Institutskiyper., 9
Abstract
For non-contact 3D measurements in hydrodynamic tunnels by photogrammetry methods, it is necessary to refine the standard model of image formation in the camera by taking into account an effect of refraction of rays at the boundaries of optical media, namely, at an air-glass boundary and glass-working fluid boundary. The article presents a model of image formation for shooting in a working environment that includes various optical media and methods for calibrating an optical system for 3D measurements of the coordinates of scene objects, while taking into account the real boundaries of the optical media. Experimental results on calibrating the system of three-dimensional measurements when an object image is formed by rays passing through two optical boundaries are discussed.
Keywords: optical 3D measurements, calibration, refraction, ray trajectories in inhomogeneous media, three-dimensional sensing, unknown parameters estimation, accuracy.
Citation: Knyaz VA, Stepanyants DG, Tsareva OY. Optical system calibration for 3D measurements in hydrodynamic tunnel. Computer Optics 2021; 45(1): 58-65. DOI: 10.18287/2412-6179-CO-741.
Acknowledgements: The reported study was funded by the Russian Foundation for Basic Research (RFBR) under project No. 19-29-13040.
References
[1] Shortis M. Calibration techniques for accurate measurements by underwater camera systems. Sensors 2015; 15(12): 30810-30826. DOI: 10.3390/s151229831.
[2] Leatherdale JD, Turner DJ. Underwater photogrammetry in the North Sea. Photogramm Rec 1983; 11: 151-167. DOI: 10.1111/j.1477-9730.1983.tb00467.x.
[3] Baldwin RA. An underwater photogrammetric measurement system for structural inspection. ISPRS Archives 1984; 25(A5): 49-58.
[4] O'Byrne M, Pakrashi V, Schoefs F, Ghosh B. A comparison of image based 3D recovery methods for underwater inspections. Proc 7th European Workshop on Structural Health Monitoring 2014: 671-678.
[5] Negahdaripour S, Firoozfam P. An ROV stereovision system for ship-hull inspection. IEEE J Ocean Eng 2006; 31: 551-564. DOI: 10.1109/JOE.2005.851391.
[6] Bass GF, Rosencrantz DM. The ASHREAH - A pioneer in search of the past. In Book: Geyer RA, ed. Submersibles and their use in oceanography and ocean engineering. Ch 14. Amsterdam, The Netherlands: Elsevier North-Holland Inc; 1977: 335-350.
[7] Drap P, Seinturier J, Scaradozzi D, Gambogi P, Long L, Gauch F. Photogrammetry for virtual exploration of underwater archaeological sites. ISPRS Archives 2007; XXXVI-5/C53.
[8] Moore EJ. Underwater photogrammetry. Photogramm Rec 1976; 8: 748-763. DOI: 10.1111/j.1477-9730.1976.tb00852.x.
[9] Bianco G, Gallo A, Bruno F, Muzzupappa M. A comparison between active and passive techniques for underwater 3D applications. ISPRS Archives 2011; XXXVIII-5/W16: 357-363. DOI: 10.5194/isprsarchives-XXXVIII-5-W16-357-2011.
[10] Newton I. Underwater photogrammetry. In Book: Karara HM, ed. Non-topographic photogrammetry. Bethesda, MD, USA: American Society for Photogrammetry and Remote Sensing; 1989: 147-176.
[11] Doucette JS, Harvey ES, Shortis MR. Stereo-video observation of nearshore bedforms on a low energy beach. Mar Geol 2002; 189: 289-305. DOI: 10.1016/S0025-3227(02)00477-2.
[12] Gruen A, Beyer HA. System calibration through self-calibration. In Book: Gruen A, Huang TS, eds. Calibration and orientation of cameras in computer vision. Berlin, Heidelberg: Springer; 2001. DOI: 10.1007/978-3-662-04567-1_7.
[13] Vo MN, Wang Z, Luu L, Ma J. Advanced geometric camera calibration for machine vision. Opt Eng 2011; 50(11): 110503. DOI: 10.1117/1.3647521.
[14] Engström P, Larsson H, Rydell J. Geometric calibration of thermal cameras. Proc SPIE 2013; 8897: 88970C. DOI: 10.1117/12.2030952.
[15] Knyaz VA, Moshkantsev PV. Joint geometric calibration of color and thermal cameras for synchronized multimodal dataset creating. Int Arch Photogramm Remote Sens Spatial Inf Sci 2019; XLII-2/W18: 79-84. DOI: 10.5194/isprs-archives-XLII-2-W18-79-2019, 2019.
[16] Raffel M, Willert ChE, Scarano F, et al. Stereoscopic PIV. In Book: Particle image velocimetry: A practical guide. — Cham: Springer International Publishing; 2018: 285-307. DOI: 10.1007/978-3-319-68852-7_8.
[17] Menna F, Nocerino E, Fassi F, Remondino F. Geometric and optic characterization of a hemispherical dome port for underwater photogrammetry. Sensors 2016; 16(1): 48. DOI: 10.3390/s16010048.
[18] Sedlazeck A, Koch R. Perspective and non- perspective camera models in underwater imaging - Overview and error analysis. In Book: Dellaert F, Frahm J-M, Pollefeys M, et al, eds. Outdoor and large-scale real-world scene analy-
sis. Berlin, Heidelberg: Springer; 2012: 212-242. DOI: 10.1007/978-З-642-З4091-8_10.
[19] Chadebecq F, Vasconcelos F, Lacher R, et al. Refractive two-view reconstruction for underwater 3D vision. Int J Comput Vis 2019; 128: 1101-1117. DOI: I0.l007/sll263-019-01218-9.
[20] Telem G, Filin S. Photogrammetric modeling of underwater environments. ISPRS J Photogramm Remote Sens 2010; 65(5): 433-444. DOI: I0.l0l6/j.isprsjprs.20l0.05.004.
[21] Bräuer-Burchardt Ch, Kühmstedt P, Notni G. Combination of air- and water-calibration for a fringe projection based underwater 3D-scanner. In Book: Azzopardi G, Petkov N, eds. Computer analysis of images and patterns. Cham: Springer International Publishing; 2015: 49-60. DOI: l0.l007/978-3-3l9-23ll7-4_5.
[22] Cooper MAR, Robson S. Theory of close-range photo-grammetry. In Book: Close range photogrammetry and
machine vision. Caithness, Scotland: Whittles Publishing; 2005: 9-51.
[23] Knyaz VA. Scalable photogrammetric motion capture system "Mosca": Development and application. ISPRS J Photogramm Remote Sens 2015; XL-5/W6: 43-49. DOI: 10.5194/isprsarchives-XL-5-W6-43-2015.
[24] Fryer JC. Camera calibration. In Book: Close range photo-grammetry and machine vision. Caithness, Scotland: Whittles Publishing; 2005: 156-179.
[25] Knyaz VA. Automated calibration technique for photogrammetric system based on a multi-media projector and a CCD camera. ISPRS J Photogramm Remote Sens 2006; XXXVI-5. Source:
(https://www.isprs.org/proceedings/XXXVI/part5/paper/12 30_Dresden06.pdf).
Authors' information
Vladimir Alexandrovich Knyaz (b. 1957) graduated from the Moscow Institute of Physics and Technology (MIPT) in 1980 with a degree in «Flying Machines», PhD. Works as the head of a unit at FSUE «State Research Institute of Aviation Systems» (GosNIIAS) and in Moscow Institute of Physics and Technology as a senior lecturer. Research interests: computer vision, photogrammetry, machine learning, virtual reality, 3D reconstruction. E-mail: knyaz@sosniias.ru .
Dmitry Georgievich Stepanyants (b. 1964) graduated from the Moscow Aviation Institute in 1987 with a degree in «Automatic Control System», PhD. Works as the head of the sector at FSUE «State Research Institute of Aviation Systems». Research interests: photogrammetry, programming, 3D-modeling. E-mail: step@gosniias.ru .
Olga Yuryevna Tsareva (b. 1997) in 2018 graduated from Moscow Aviation Institute with a degree in 27.03.04 «Management in Technical Systems», continues her studies in a specialty on 27.04.04 «Management in Technical Systems» of Moscow Aviation Institute, works as an engineer in the Federal State Unitary Enterprise «State Research Institute of Aviation Systems». E-mail: lailats@sosniias.ru .
Received April 20, 2020. The final version - July 14, 2020.
