CC BY
22ИНФОРМАЦИОННО-КОММУНИКАЦИОННЫЕ
ТЕХНОЛОГИИ INFORMATION-COMMUNICATION TECHNOLOGIES
УДК 004.932.2+519.688 DOI: 10.24151/1561-5405-2020-25-3-265-276
Метод трехмерной реконструкции сцены в относительных координатах по двум изображениям с неоткалиброванных видеокамер
К.М. Шепилова1'2, А.В. Сотников1'2, А.В. Шипатов1'2, Ю.В. Савченко1'2
1Национальный исследовательский университет «МИЭТ», г. Москва, Россия
2АО «Зеленоградский инновационно-технологический центр», г. Москва, Россия
kris. shepilova@gmail. com
Известные методы решения задачи стереозрения - трехмерной реконструкции сцены - предполагают трудоемкий процесс предварительной калибровки камер. В работе представлен подход к решению поставленной задачи, не требующий калибровки. Проанализированы методы расчета фундаментальной матрицы. Рассмотрен алгоритм триангуляции, позволяющий оценить трехмерную относительную позицию точки на основе обработки стереопары. Предложен метод оценки трехмерных координат. Вычисление фундаментальной матрицы проведено на основе сопоставления особых точек. Для их определения использован алгоритм SIFT, позволяющий зафиксировать достаточное количество достоверных особых точек на паре изображений. Для нахождения трехмерных координат выполнена программная реализация полиномиального алгоритма триангуляции, который гарантированно дает решение задачи поиска глобального минимума расстояния между исходными и аппроксимированными точками. Так как он не является итеративным, то при выполнении характеризуется достаточно большим быстродействием. Координаты точек имеют абстрактные величины, и оценивается только их относительное расположение, что исключает необходимость калибровки камер. Математический подход, используемый в алгоритме, позволяет построить корректную трехмерную структуру объекта.
Ключевые слова: трехмерная реконструкция; неоткалиброванные камеры; особые точки; триангуляция
© К.М. Шепилова, А.В. Сотников, А.В. Шипатов, Ю.В. Савченко, 2020
Для цитирования: Шепилова К.М., Сотников А.В., Шипатов А.В., Савченко Ю.В. Метод трехмерной реконструкции сцены в относительных координатах по двум изображениям с неоткалиброванных видеокамер // Изв. вузов. Электроника. 2020. Т. 25. № 3. С. 265-276. DOI: 10.24151/1561-5405-2020-25-3-265-276
3D Scene Reconstruction Method in Relative Coordinates with Two Images from Non-Calibrated Video Cameras
K.M. Shepilova12 , A.V. Sotnikov12, A. V. Shipatov12, Yu. V. Savchenko12
1National Research University of Electronic Technology, Moscow, Russia 2JSC «Zelenograd Innovation and Technology Center», Moscow, Russia
kris. shepilova@gmail. com
Abstract: The well-known methods of solving the problem of stereovision called three-dimensional scene reconstruction assume a time-consuming process of preliminary calibration of cameras. In the paper, an approach to solving the formulated problem, not requiring calibration, has been presented. The methods of calculating the fundamental matrix have been analyzed. The triangulation algorithm, which permits to evaluate the three-dimensional relative position of the point, based on processing of a stereo pair, has been considered. A method for estimating three-dimensional coordinates has been proposed. The calculation of a fundamental matrix has been performed based on a comparison of keypoints. To determine them, the SIFT algorithm, which permits us to fix a sufficient number of reliable special points on a pair of images, has been used. For calculation of the three-dimensional coordinates a software implementation of the polynomial triangulation algorithm has been performed. This guarantees that the solution of the problem of searching the global minimum of the distance between the source and approximated points will be found. Since it is not iterative, then during realization it is characterized by a relatively high performance. The coordinates of the points have abstract values, and only their relative location is estimated, which excludes the necessity of cameras calibration. The mathematical approach used in the algorithm makes it possible to reconstruct the correct three-dimensional structure of an object.
Keywords: 3D-reconstruction; non-calibrated cameras; singular points; triangulation
For citation: Shepilova K.M., Sotnikov A.V, Shipatov A.V., Savchenko Yu.V 3D scene reconstruction method in relative coordinates with two images from non-calibrated video cameras. Proc. Univ. Electronics, 2020, vol. 25, no. 3, pp. 265-276. DOI: 10.24151/1561-5405-2020-25-3- 265-276
Введение. В настоящее время в области компьютерного зрения возникла необходимость решения задачи трехмерной реконструкции наблюдаемой сцены по ее изображениям. Трехмерная реконструкция может применяться в робототехнике, так как позволяет роботу ориентироваться в пространстве, обходить препятствия и понимать, как далеко находится цель; для построения карт местности в картографии; для определения особенностей поверхностей в медицине и в других областях, где требуется информация
о трехмерной структуре объектов. Существует несколько подходов к решению данной задачи: освещение объектов с разных углов и анализ отражения света [1, 2]; анализ серии снимков объекта, полученных с разных фокусных расстояний [3, 4]; активное сканирование с помощью лазера (лидара) или проецируемой сетки [5]; стереосопоставле-ние, т.е. сравнение между собой пар снимков объекта (полученных с помощью нескольких камер или нескольких точек наблюдения [6]).
Метод сопоставления является наиболее распространенным. Он уже достиг максимально возможной точности и продолжает развиваться в плане увеличения скорости работы, но все еще имеет определенные ограничения. Одно из них - необходимость предварительной калибровки камер, требующей дополнительных затрат времени и вычислительных ресурсов. Кроме того, большинство алгоритмов анализируют стереопары по всей области изображения и в результате дают полную карту глубины, что также требует большой вычислительной нагрузки.
В настоящей работе предлагается метод оценки трехмерных координат с помощью обработки стереоизображений с неоткалиброванных видеокамер. Данный подход не требует трудоемкого анализа стереопар по всем пикселям и основан на полиномиальном методе триангуляции.
Использование стереоизображений для получения трехмерных координат. Под стереоизображениями (стереопарами) понимаются пары изображений, снятых с ракурсов, расположенных на некотором расстоянии друг от друга.
На рис.1 изображена одна и та же сцена, но границы объектов и их точки смещены. Такой эффект называется «параллакс» (от греч. parallaxis - уклонение) - кажущееся перспективное смещение рассматриваемого объекта, вызванное изменением точки наблюдения. Если посмотреть на окружающие предметы сначала одним глазом, потом другим, то можно увидеть, что одни и те же объекты немного смещаются друг относительно друга (рис.2). Параллакс дает возможность получить представление о взаимном расположении объектов, которое и используется в стереозрении.
Рис.1. Пример стереопары Fig.1. An example of a stereo pair
Для получения информации о расположении объекта в трехмерном пространстве, представленного набором точек на изображении, выполняется анализ стереопары: определяются параметры взаимного расположения камер и их внутренние характеристики; устраняются искажения, вносимые камерами; выравниваются изображения между собой по оси у и определяется разница между x-координатами. Данный подход позволяет
Точка обзора 1
О.
х
Точка обзора 2
Далекий фон Точка обзора 1 Точка обзора 2
Я [х
Рис.2. Эффект параллакса Fig.2. The parallax effect
вычислить карту глубин сцены с точностью до вычислительных погрешностей алгоритма. Но при этом необходимо проведение трудоемкого процесса калибровки камер, что требует дополнительных инструментов и временных затрат. Рассмотрим трехмерную реконструкцию сцены без калибровки камер, т. е. когда отсутствует информация об их метрических характеристиках, таких как фокусное расстояние, смещение оптического центра, взаимное расположение камер и т.д. Поэтому результаты будут получены в относительных координатах. Алгоритм восстановления трехмерной сцены по стереоизображениям следующий: 1) формирование стереопары; 2) поиск фундаментальной матрицы, связывающей точки двух изображений стереопары; 3) определение векторов смещения точек изображения; 4) преобразование двумерных точек изображения в трехмерные относительные координаты - триангуляция с применением полиномиального алгоритма.
Этап формирования стереопары опустим, так как изображения фиксируются достаточно просто через две близко расположенные камеры, оптические оси которых примерно параллельны.
Поиск фундаментальной матрицы. Фундаментальная матрица - основное понятие, используемое при вычислении трехмерных координат в эпиполярной геометрии, которая появилась как результат применения проективной геометрии к задаче стереозрения. На рис.3 показаны основные объекты эпиполярной геометрии. Точки x и x' - проекции X в двух видах. Линия, соединяющая центры двух камер C Fig.3. The main objects of epipolar geometry (points и C', пересекает плоскости изображений в x and x' - projections of X in two views. The line двух точках e и e', называемых эпиполяр-
c°nnectrng to center ^ С and C' of two cameras ными точками (эпиполюсами). Прямые l и intersects the image planes at two points called
epipolar points (epipoles) e and e'. Lines 1 and l' are l называются эпиполярными прямыми.
called epipolar lines) Исходя из определения существует та-
кая матрица F (фундаментальная матрица)
х
геометрии
размера 3*3, что пара двумерных точек x , x' , заданных в однородных координатах, яв-
ляется стереопарой тогда и только тогда, когда выполняется равенство
x'rFx = 0. (1)
Трехмерная точка X, принадлежащая некоторому объекту, и два центра проецирования C, C' (точки, в которых расположены видеокамеры) задают эпиполярную плоскость. Пересечение этой плоскости с плоскостями изображений - эпиполярные линии l, l'. Причем для каждой пары точек изображений x, x' существует соответствующая пара линий l', l, которые вычисляются по формулам:
Fx = l', (2)
Fx' = l. (3)
Эпиполюсы удовлетворяют уравнениям
Fe = 0, (4)
e'TF = 0. (5)
Существует алгоритм, позволяющий оценить фундаментальную матрицу по набору пар соответствующих точек изображений. Для вычисления фундаментальной матрицы использована реализация данного алгоритма из библиотеки OpenCV [7].
В качестве точек интереса, как правило, используются особые точки, т.е. наиболее различимые участки изображения, которые имеют в своей окрестности наибольшую разницу значений интенсивности или цвета между центральным пикселем и соседними пикселями (рис.4).
Наиболее распространенными алгоритмами поиска и описания особых точек являются SIFT (Scale-Invariant Feature Transform) [8] и SURF (Speeded up Robust Features) [9]. Для нахождения соответствия между найденными особыми точками используется дескриптор, содержащий информацию о градиентах пикселей в окрестности особой точки изображения, но для каждого алгоритма формирующийся по-своему.
На точность работы алгоритма оценки трехмерных координат значительно влияют погрешности вычисления фундаментальной матрицы, которые находятся в обратной зависимости от количества достоверно найденных особых точек. Алгоритм SURF имеет большую скорость работы, чем SIFT. Однако результаты работы последнего содержат больше найденных особых точек за счет более сложной вычислительной процедуры. Поэтому выбор сделан в пользу алгоритма SIFT. На рис.5 показано, что алгоритм находит как правильные соответствия точек, так и ошибочные. Поэтому после нахождения соответствий в дальнейшем точки проходят дополнительный отбор.
Когда есть набор пар точек и фундаментальная матрица, можно применять алгоритм триангуляции.
Рис.4. Пример определения особых точек Fig.4. Definition of keypoints example
I I !
Рис.5. Пример сопоставления особых точек, найденных методом SIFT Fig.5. An example of matching local features found by the SIFT method
Полиномиальный алгоритм триангуляции. В работе [10] полиномиальный алгоритм представлен как оптимальный метод оценки трехмерных координат. Его суть состоит в поиске глобального минимума целевой функции, характеризующей расстояния между проекциями на плоскости изображений исходной точки X и приближенной
Л.
алгоритмом трехмерной точки X .
Допустим, необходимо определить дальность до трехмерной точки X, которая имеет на изображениях стереопары проекции x и x'. Из-за погрешностей полиномиального метода можно найти лишь приближенное значение координат X. Обозначим приближенА.
ную точку X . Чтобы убедиться, что это действительно корректно найденная точка, следует выполнить обратную процедуру и
А
спроецировать XX на исходную стереопару. Приближенные двумерные точки назовем x , x' . Расстояния между точками x и x , x' и x' обозначим d и d соответственно. Они будут показывать, насколько точно оценены значения координат точки X. Очевидно, что чем меньше расстояния между исходными и приближенными двумерными парами точек,
тем точнее результат приближения - трехА
мерная точка XX (рис.6).
Полиномиальный алгоритм предлагает метод оценки трехмерной точки XX путем минимизации отклонений d и d', полученных как евклидовы расстояния между приближенными двумерными точками x , x' и соответствующими исходными точками на изображениях x, x':
C (x, x ')=d (x, x)2 + d(x', x ')2 ^ min, (6)
где C (X, X ') - целевая функция, характеризующая степень близости исходных точек
стереопары и точек, аппроксимированных алгоритмом.
Точки x , x ' , найденные из выражения (6), должны удовлетворять равенству
x 'TFx = 0. (7)
x
X
изображений [10] Fig.6. Projections of an approximated three-dimensional point X onto the image planes [10]
Любая пара точек, удовлетворяющих выражению (7), должна лежать на соответствующих эпиполярных линиях: х - на I, х' - на I'. При этом любая пара точек, лежащих на линиях I и I' , удовлетворяет равенству (7). В частности, это справедливо для точки х±, лежащей на I ближе всего к точке х, и х'±, лежащей на I' ближе всего к х'. Такими ближайшими точками, лежащими на прямых I и I', являются основания перпендикуляров, опущенных из точек х и х' на прямые I и I' соответственно. Следовательно, можно определить х = х±, х' = х'± (рис.7).
Рис.7. Определение минимального расстояния между x и l (a), x' и l' (б) [10] Fig.7. Estimation of the minimum distance between x and l (a), x' and l' (b) [10]
Запишем d(x, х ) = d(x, I), где d(x, I) - расстояние от точки х до прямой I. Аналогично ^х', х' ) = ё(х\ I'), где ^х', I') - расстояние от точки х' до прямой I'. Тогда выражение (6) будет иметь вид
С(1, I') = d(x, I)2 + d(x', I')2. (8)
Для использования (8) в качестве целевой функции введем переменную 1 как параметр для I, I'. Параметризованная эпиполярная прямая 1(1) проходит через точку с координатами, зависящими от 1. Прямую 1'(1), соответствующую данной точке, вычислим по формуле (2) . Таким образом,
\2----л /_ л(_ч . ./.\\2 (9)
min C=d(x, x)2 + d(x', x ')2= minC = d(x, l(t))2 + d(x',l' (t))2.
Основываясь на приведенных рассуждениях, выделим основные шаги предложенного алгоритма:
1. Параметризация эпиполярной линии первого изображения переменной 1 - 1(1).
2. Вычисление эпиполярной линии второго изображения 1'(1) с помощью фундаментальной матрицы F.
3. Оценка близости исходных и аппроксимированных точек как функции от 1 (9).
4. Поиск глобального минимума заданной функции по переменной 1.
Полагая, что эпиполюсы е = (1,0/)г и е' = (1,0/)т, и подставляя эти значения в выражения (4) и (5), решим полученную систему уравнений. В результате приходим к следующему виду матрицы F:
F =
- fb - fd
где a, b, c, d, f, J'- численные параметры.
'ff'd -f'c -f'd> a b c d
(10)
Рассмотрим эпиполярную линию I, проходящую через точку (0, г, 1)Т и эпиполюс (1, 0,
1(0 = (0, г, 1) Х(1, 0,/) = (г/, 1, - г), (11)
1'(0 = F (0, г, 1)Т = (-/(сг+й), аг +Ъ, сг +й)Т. (12)
Следовательно, функция оценки расстояния имеет вид
^ (t ) = d (x, l )+d (x', l') =
(ct + d )2
1+f212 (at+b )2+f'2 (ct+d)
2
(13)
Для нахождения минимума э(г) необходимо приравнять производную этой функции к нулю. После преобразований числитель производной примет вид полинома, который можно записать как функцию g(t):
g(г) = г((аг + Ъ)2 + /2(сг + й)2)2 - (ай- Ъс) (1 + /г2)2 (аг + Ъ) (сг + й). (14)
Данный полином шестой степени, поэтому корней будет шесть. Подстановка найденного значения параметра г в (11) и (12) позволяет найти эпиполярные линии, которым принадлежат искомые оценки точек.
а
Приведем подробный алгоритм аппроксимации трехмерной точки XX .
Шаг 1. Определить матрицы преобразований:
(15)
Это матрицы параллельных переносов, которые перемещают х = (х, у, 1)Т и х' = (х', у', 1)Т
(1 0 \ — X 1 0 — x'\
T= 0 1 - y и T'= 0 1 —y'
I0 0 1 0 0 1
в начало соответствующих систем координат.
Шаг 2. Заменить предварительно оцененную F на произведение Т' г FT-1. Новая
фундаментальная матрица соответствует смещенным системам координат. Шаг 3. Вычислить правый е = (вь в2, в3)Т и левый е' = (в'1, в'2, в'3)Т эпиполюсы, кото-
рые удовлетворяют (4) и (5). Нормализовать е посредством масштабирования так, что-
бы в2 +в22 = 1, и сделать то же самое для е'. Шаг 4. Сформировать матрицы поворота:
R =
/ л \
e 1 e 2 0
-e 2 e 1 0
\0 0 1
и R'
/ i , n \ e 1 e 2 0
-e '2 e\ 0 \ 0 0 1
(16)
Заметим, что Re = (1, 0, вз)Т и ^е' = (1, 0, в'з)Т.
Шаг 5. Заменить F произведением R'FRT.
Шаг 6. После произведенных преобразований матрица F будет иметь форму (10). Примем/ = вз, / = в'э, а = F22, Ъ = F23, с = Fз2 и й = Fзз.
Шаг 7. Сформировать полином (14) с учетом параметров, найденных на шаге 6, и вычислить его корни.
Шаг 8. Подставить действительные значения корней полинома g(t) в (13). Найти асимптотическое значение для (13) при г = да:
5 (ю):
1c
"72 + 2
2
/2 2 . Р /2 2 "
a + j c
(17)
2
t
Принять за /тт такое действительное значение 1 из шести возможных и рассчитанного
по (17), при котором значение функции оценки s(t) минимально.
Шаг 9. Подставить найденный tnm в векторы (11) и (12), соответствующие эпипо-
лярным линиям !(/) и l'(t), и таким образом найти Л А. 1 x и x' как ближайшие к этим ли-
ниям точки. Для прямой общего вида, заданной вектором в однородных координатах
(X, ц, V), ближайшую к ней точку можно представить как (-XV, -цу, X2 +ц2).
Шаг 10. Сделать обратное преобразование полученных точек х и х' к исходным координатам посредством вычисления произведений Т-1 Rгх и Т'-1 R,гх' соответственно.
Шаг 11. Выполнить оценку трехмерной точки, решив систему линейных уравнений АХ = 0. Матрица А формируется на основе проективных матриц Р, Р', которые определяются по формулам х = РХ, х' = Р'Х соответственно:
A
3 T
x1 p - p
IT
3T
2 T
X 2 P - P
3T lT
X1P' - P'
X 2 P
3T
P'
2T
(18)
где P1T, p2T, p3T - строки P; p '
1 T
2 T 3 T
P' , p' - строки P'; x = (xi, X2, 1) и x' = (x\, x'2, 1).
Шаг 12. Перевести оценку трехмерной точки X из однородных координат в декартовы: (х, у, z, w) ^ (х/^, у/^, z/w).
А
Точка XX , найденная в результате выполнения данного алгоритма, является искомым приближением реальной точки X.
Рис.8. Работа алгоритма трехмерной реконструкции объекта: а - начало работы; б - построение первых точек на пространственном графике; в - результат работы алгоритма - полученная трехмерная структура объекта
Fig.8. Operation of the three-dimensional object reconstruction algorithm: a - the initial state; b - the formation of the first points on the spatial graph; c - the result of the algorithm -three-dimensional structure of the object
В качестве примера восстановим трехмерную сцену, содержащую некоторый объект с расположенными на его поверхности светодиодами. Каждый светодиод включается по очереди. При его включении алгоритм фиксирует координаты центров его изображений на стереопаре. Найденные координаты являются входными данными рассмотренного алгоритма. Результатом его работы являются оцененные трехмерные точки, образующие ломаную линию, повторяющую форму предмета. На рис.8 показан
результат работы алгоритма.
При сравнении реальной формы предмета с представленной на графике ломаной линией можно сделать вывод о том, что алгоритм правильно восстановил объемную
структуру объекта в относительных координатах.
Заключение. Решена задача трехмерной реконструкции сцены в относительных координатах по двум изображениям. Реконструкция осуществлена посредством выбора соответствующих точек стереопары и вычисления на их основе трехмерных координат с помощью одного из алгоритмов триангуляции. Метод не предполагает трудоемкого процесса предварительной калибровки камер. Структура объекта в относительных координатах построена корректно.
Алгоритм может использоваться как для выполнения трехмерной реконструкции сцены, так и для построения 3.0-моделей объектов реального мира, а также при решении задачи автономной навигации роботов в пространстве в реальном времени.
В дальнейшем предполагается повышение точности алгоритма посредством выбора другого метода нахождения особых точек, дающего еще больше корректных соответствий, а также расширение его возможностей за счет упрощенной калибровки для получения трехмерной модели объекта не в относительных, а в абсолютных координатах.
Литература
1. Morel O., Stolz C., Meriaudeau F., Gorria P. Active lighting applied, to 3D reconstruction of specular metallic surfaces by polarization imaging // Journal of Optics, a Pure and Applied Optics. 2006. No. 45 (17). P. 4062-4068.
2. d'Angelo P., Wohler C. 3D surface reconstruction based on combined analysis of reflectance and polarisation properties // Proc. SPIE 5856 «Optical Measurement Systems for Industrial Inspection IV» (13 June 2005). 2005. DOI: 10.1117/12.612545
3. 3D Reconstruction based on light field information / Yan Zhou, Huiwen Guo, Ruiqing Fu et al. // 2015 IEEE International Conference on Information and Automation. 2015. P. 976-981. DOI: 10.1109/ICInfA.2015. 7279428
4. Hasinoff S.W. 3D reconstruction from finite-aperture lenses // PhD. Depth Oral Report, Hasinoffcs.Toronto.edu, 2006.
5. Efficient pedestrian scanning by active scan LIDAR / Taiki Yamamoto, Yasutomo Kawanishi, Ichiro Ide et al. // International Workshop on Advanced Image Technology (IWAIT). Nagoya University Graduate School of Informatics Aichi, Japan. 2018. P. 1-4. DOI: 10.1109/IWAIT.2018.8369664.
6. Jingchao Li, Zhenjiang Miao, Xiangqian Liu, Yanli Wan. 3D reconstruction based on stereovision and texture mapping // Institute of Information Science, Beijing Jiaotong University, 100044, Beijing, China, 2010. P. 1-6.
7. Bradski G., Kaehler A. Learning OpenCV. O'Reilly Media, Inc., Sebostopol, CA, 2008. 571 p.
8. Lowe D.G. Distinctive image features from scale-invariant keypoints // International Journal of Computer Vision. 2004. Vol. 60. No. 2. P. 91-110.
9. Bay H., Tuytelaars T, Van GoolL. SURF: Speeded Up Robust Features // ECCV (1). 2006. P. 404-417.
10. Hartley R., Zisserman A. Multiple view geometry in computer vision // Cambridge University Press. 2003. 673 p.
Поступила в редакцию 24.12.2019 г.; после доработки 24.12.2019 г.; принята к публикации 17.03.2020 г.
Шепилова Кристина Максимовна - студентка Института микроприборов и систем управления им. Л.Н. Преснухина Национального исследовательского университета «МИЭТ» (Россия, 124498, Москва, Зеленоград, пл. Шокина, 1), инженер АО «Зеленоградский инновационно-технологический центр» (Россия, 124527, г. Москва, г. Зеленоград, Солнечная аллея, 8), [email protected]
Сотников Александр Васильевич - инженер НИИ вычислительных средств и систем управления Национального исследовательского университета «МИЭТ» (Россия, 124498, Москва, Зеленоград, пл. Шокина, 1), инженер АО «Зеленоградский инновационно-технологический центр» (Россия, 124527, г. Москва, г. Зеленоград, Солнечная аллея, 8), [email protected]
Шипатов Андрей Владимирович - кандидат технических наук, доцент Института микроприборов и систем управления им. Л.Н. Преснухина, начальник отдела НИИ вычислительных средств и систем управления Национального исследовательского университета «МИЭТ» (Россия, 124498, г. Москва, г. Зеленоград, пл. Шокина, 1), начальник отдела АО «Зеленоградский инновационно-технологический центр» (Россия, 124527, г. Москва, г. Зеленоград, Солнечная аллея, 8), [email protected]
Савченко Юрий Васильевич - доктор технических наук, профессор Института микроприборов и систем управления им. Л.Н. Преснухина, заместитель главного конструктора НИИ вычислительных средств и систем управления Национального исследовательского университета «МИЭТ» (Россия, 124498, г. Москва, г. Зеленоград, пл. Шокина, 1), заместитель генерального директора, начальник отделения по разработке изделий специального назначения АО «Зеленоградский инновационно-технологический центр» (Россия, 124527, г. Москва, г. Зеленоград, Солнечная аллея, 8), [email protected]
References
1. Morel O., Stolz C., M'eriaudeau F., Gorria P. Active lighting applied, to 3D reconstruction of specular metallic surfaces by polarization imaging. Journal of Optics, A Pure and Applied Optics, 2006, vol. 45, no. 17, p. 4062-4068.
2. d'Angelo P., Wohler C. 3D surface reconstruction based on combined analysis of reflectance and polarisation properties. Proc. SPIE 5856, Optical Measurement Systems for Industrial Inspection IV. 2005. DOI: 10.1117/12.612545
3. Yan Zhou, Huiwen Guo, Ruiqing Fu, Guoyuan Liang, Can Wang, Xinyu Wu. 3D reconstruction based on light field information. Conference: 2015 IEEE International Conference on Information and Automation (ICIA). 2015, pp. 976-981. DOI: 10.1109/ICInfA.2015.7279428
4. Samuel W. Hasinoff. 3D reconstruction from finite-aperture lenses. Ph.D. Depth Oral Report, hasinoffc-s.toronto.edu, 2006.
5. Taiki Yamamoto, Yasutomo Kawanishi, Ichiro Ide, Hiroshi Murase, Fumito Shinmura, Daisuke Deguchi. Efficient pedestrian scanning by active scan LIDAR. International Workshop on Advanced Image Technology (IWAIT), Nagoya University Graduate School of Informatics Aichi, Japan. 2018. pp. 1-4. DOI: 10.1109/ IWAIT.2018.8369664
6. Jingchao Li, Zhenjiang Miao, Xiangqian Liu, Yanli Wan. 3D reconstruction based on stereovision and texture mapping. Institute of Information Science, Beijing Jiaotong University, 100044, Beijing, China, 2010. pp. 1-6.
7. Gary Bradski, Adrian Kaehler. Learning OpenCV, O'Reilly Media, Inc., Sebostopol, CA, 2008. 571 p.
8. Lowe D.G. Distinctive image features from scale-invariant keypoints. International Journal of Computer Vision, 2004, vol. 60, no. 2. pp. 91-110.
9. Bay H., Tuytelaars T., Van Gool L. SURF: Speeded Up Robust Features. ECCV (1), 2006, pp. 404-417.
10. Hartley R., Zisserman A. Multiple view geometry in computer vision. Cambridge University Press, 2003, 673 p.
Received 24.12.2019; Revised 24.12.2019; Accepted 17.03.2020.
Information about the authors:
Kristina M. Shepilova - Student of the Institute of Microdevices and Control Systems, National Research University of Electronic Technology (Russia, 124498, Moscow, Zelenograd, Shokin sq., 1), Engineer of the JSC «Zelenograd Innovation and Technology Center» (Russia, 124527, Moscow, Zelenograd, Solnechnaya ave., 8), kris. shepilova@gmail. com
Alexander V. Sotnikov - Engineer of the Research Institute of Computing and Control Systems, National Research University of Electronic Technology (Russia, 124498, Moscow, Zelenograd, Shokin sq., 1), engineer of the JSC «Zelenograd Innovation and Technology Center» (Russia, 124527, Moscow, Zelenograd, Solnechnaya ave., 8), [email protected]
Andrey V. Shipatov - Cand. Sci. (Eng.), Assoc. Prof. of the Institute of Microdevices and Control Systems, Head of the Department of Research Institute of Computing and Control Systems, National Research University of Electronic Technology (Russia, 124498, Moscow, Zelenograd, Shokin sq., 1), Head of the Department of the JSC «Zelenograd Innovation and Technology Center» (Russia, 124527, Moscow, Zelenograd, Solnechnaya ave., 8), [email protected]
Yuri V. Savchenko - Dr. Sci. (Eng.), Prof. of the Institute of Microdevices and Control Systems, Deputy Chief Designer of the Research Institute of Computing Tools and Control Systems (Russia, 124498, Moscow, Zelenograd, Shokin sq., 1), Deputy General Director, Head of the Special Product Development Department of the JSC «Zelenograd Innovation and Technology Center» (Russia, 124527, Moscow, Zelenograd, Solnechnaya ave., 8), [email protected]
\ Уважаемые авторы и читатели!
Вышел в свет журнал
RUSSIAN MICROELECTRONICS
Vol. 48, No. 7,2019. - ISSN PRINT: 1063-7397,
ISSN ONLINE: 1608-3415,
в котором опубликованы избранные статьи
... ;
,'r*. PlEtfCCS о——* fivr журнала «Известия вузов. Электроника».
http://pleiades.online http://link.springer.com
\ J
