CC BY
104
УДК 681.786
МЕТОД ОПРЕДЕЛЕНИЯ ПРОСТРАНСТВЕННЫХ КООРДИНАТ В АКТИВНОЙ СТЕРЕОСКОПИЧЕСКОЙ СИСТЕМЕ
В.В. Коротаевa, Т.С. Джамийков\ Х.В. Нгуен", С.Н. Ярышев"
a
аУниверситет ИТМО, Санкт-Петербург, 197101, Российская Федерация, korotaev@grv.ifmo.ru Технический университет - София, София, 1000, Болгария
a
ь.
Аннотация. Предложена структурная схема активной стереоскопической системы и алгоритм ее работы, обеспечивающий быстрое вычисление пространственных координат. Система включает в себя две одинаковые камеры, образующие стереопару, и лазерный сканер, который осуществляет вертикальное сканирование лазерным лучом пространства перед системой. Синхронная работа двух камер обеспечивается с помощью отдельного блока-синхронизатора. Разработанный алгоритм работы системы реализован в среде MATLAB. В предложенном алгоритме влияние фоновой засветки устраняется за счет межкадровой обработки. Алгоритм базируется на предварительном вычислении координат эпиполярных линий и сопряженных точек стереоскопического изображения. Эти данные используются для быстрого вычисления трехмерных координат точек, составляющих трехмерные изображения объектов. Приведено описание эксперимента на физической модели. Результаты эксперимента подтверждают работоспособность предложенной активной стереоскопической системы и алгоритма ее работы. Предложенная авторами схема активной стереоскопической системы и метод вычисления пространственных координат могут быть рекомендованы для создания стереоскопических систем, работающих в реальном времени и требующих повышенного быстродействия: устройства распознавания лиц, системы контроля положения железнодорожного пути, активные системы безопасности автомобиля.
Ключевые слова: стереоскопическая система, обработка изображения, трехмерное изображение, лазерный сканер, сопряженные точки, эпиполярные линии.
Благодарности. Работа выполнена при государственной финансовой поддержке ведущих университетов Российской Федерации (субсидия 074-U01).
METHOD FOR DETERMINING THE SPATIAL COORDINATES IN THE ACTIVE
¡STEREOSCOPIC SYSTEM V.V. Korotaeva,T.S. Djamiykov, H.V. Nguyena, S.N. Yarysheva
aITMO University, Saint Petersburg, 197101, Russian Federation, korotaev@grv.ifmo.ru b Technical University of Sofia, Sofia, 1000, Bulgaria
Abstract. The paper deals with the structural scheme of active stereoscopic system and algorithm of its operation, providing the fast calculation of the spatial coordinates. The system includes two identical cameras, forming a stereo pair, and a laser scanner, which provides vertical scanning of the space before the system by the laser beam. A separate synchronizer provides synchronous operation of the two cameras. The developed algorithm of the system operation is implemented in MATLAB. In the proposed algorithm, the influence of background light is eliminated by interframe processing. The algorithm is based on precomputation of coordinates for epipolar lines and corresponding points in stereoscopic image. These data are used to quick calculation of the three-dimensional coordinates of points that form the three-dimensional images of objects. Experiment description on a physical model is given. Experimental results confirm the efficiency of the proposed active stereoscopic system and its operation algorithm. The proposed scheme of active stereoscopic system and calculating method for the spatial coordinates can be recommended for creation of stereoscopic systems, operating in real time and at high processing speed: devices for face recognition, systems for the position control of railway track, automobile active safety systems.
Keywords: stereoscopic system, image processing, three-dimensional image, laser scanner, corresponding points, epipolar lines.
Acknowledgements. The work was partially financially supported by the Government of the Russian Federation (grant 074-U01).
В настоящее время 3Б-сканирование активно используется в различных отраслях науки и техники. Существует множество моделей 3Б-сканеров [1-4], каждая из которых обладает своими возможностями и особенностями и находит применение в той или иной области. Стереоскопическая система реализует один из простых методов получения трехмерных моделей объектов. Для определения трехмерных координат на каждом изображении стереопары необходимо определить сопряженные точки. Для решения этой задачи предложено много методов [5]. Их можно подразделить на глобальные [6-8] и локальные [9-12] методы. Все эти методы требуют больших вычислительных ресурсов и их нельзя применить в быстродействующей системе. Исходя из этого, авторы предлагают новый вид стереоскопической системы - активную стереоскопическую систему, которая свободна от вышеуказанного недостатка.
Стереоскопическая система представляет собой оптическую систему, состоящую из двух произвольно ориентированных камер. Каждая камера описывается с помощью матриц Ах и А2, известных под названием матриц внутренних параметров камер. Они содержат только параметры оптических систем и фотоприемников камер. Параметры стереоскопической системы описываются вектором переноса 1 и мат-
Введение
Теоретические положения
рицей поворота К Если известны координаты изображений в плоскостях изображений камер V' и у'', координаты объекта в пространстве М' = (Х,У',2") относительно первой камеры и М" = (Х'',У'',2") относительно второй камеры можно найти с помощью следующих формул:
" Z ' ' " v'TA1-TA1-1v' -v'TA1-TRTA2-1v'' ' -1 "v ' TA-TRT ' t,
_ Z' ' _ -v'TA-TRTA-1v'' v''TA-TA-1v'' _ _ v''TA-T _
М' = 2'А;\', М'' = 2' А^у'' .
Как указано выше, для получения координат объекта в пространстве необходимо найти сопряженные точки в стереопаре. В стереоскопической системе есть одна особенность. Если задавать координаты точки на одном изображении стереопары, то ее сопряженная точка на другом изображении стереопары должна находиться на одной линии, которая называется эпиполярной линией [13]. Функция эпиполярной линии имеет следующий вид:
а ' ' ' ' = 0, (2)
где вектор коэффициентов а'' = ¥у', а Р = А^ [/] ЯА^1. Принимая во внимание эту особенность, авторы
добавили к стереоскопической системе лазерный сканер. Лазерный сканер формирует вертикальную лазерную линию в пространстве и поворачивается вокруг своей оси, обеспечивая при этом сканирование пространства перед камерами. На первом изображении стереопары по строкам определяется энергетический центр тяжести лазерной линии, и с помощью формулы (2) на втором изображении стереопары определяется эпиполярная линия. Пересечение эпиполярной линии с лазерной линией на втором изображении является сопряженной точкой, которая соответствует точке на первом изображении. С помощью формулы (1) можно определить координаты данной точки в пространстве.
Структурная схема активной стереоскопической системы
На основе рассмотренных теоретических положений предлагается структурная схема активной стереоскопической системы (рис. 1).
Рис. 1. Структурная схема активной стереоскопической системы: 1 - видеокамера; 2 - лазерный сканер;
3 - узкополосный оптический фильтр; 4 - синхронизатор; 5 - блок предварительной обработки
изображения; 6 - ЭВМ
Система включает в себя две одинаковые камеры 1 и лазерный сканер 2. Перед камерами и лазером установлены узкополосные оптические фильтры 3. Средняя длина волны пропускания этих фильтров соответствует длине волны лазерного излучения сканера. Поэтому в камеру поступает только оптический сигнал, полученный в результате отражения лазерного луча от объекта. В результате спектральной селекции упрощается процесс распознавания лазерного луча на изображениях стереопары. Лазерный сканер имеет шаговый двигатель, которым управляет ЭВМ 6. Этот компьютер также управляет синхронизатором 4, который обеспечивает синхронную работу видеокамер. Сигнал с камер поступает в блок предварительной обработки 5. В нем происходит процесс распознавания лазерного луча на каждом изображении. При получении каждой строки кадра с обеих камер блок предварительной обработки сравнивает ее с такой же строкой предыдущего кадра. Разница между ними является зоной, где находится лазерный луч. По информации о распределении энергии отраженного луча в данной зоне можно построить график распределения этой энергии и найти точку максимального значения энергии. Эта точка является энергетическим центром тяжести отраженного лазерного луча в данной строке. Метод дает возможность определения энергетического центра тяжести лазерного луча с точностью до 0,1 пикселя. После считывания информации со всех строк данного кадра и получения координат энергетического центра тяжести отраженного излучения для всех строк блок предварительной обработки передает координаты в компьютер. Во время получения следующей пары кадров с камер в компьютере происходит определение трехмерных Научно-технический вестник информационных технологий, механики и оптики 49
Scientific and Technical Journal of Information Technologies, Mechanics and Optics 49
2014, № 6 (94)
координат всех точек предыдущего кадра. В памяти компьютера уже сохранены все эпиполярные линии для всех точек на первом изображении стереопары и все пространственные координаты всех точек на этих эпиполярных линиях. После получения информации с блока предварительной обработки компьютер сканирует все энергетические центры тяжести на первом изображении стереопары. Для каждого энергетического центра тяжести компьютер выбирает из памяти соответствующую эпиполярную линию и находит пересечение этой линии с линией, образуемой энергетическими центрами тяжести второго изображения. Получив точку пересечения двух линий, ЭВМ выбирает из памяти соответствующие пространственные координаты этой точки. Представленный алгоритм обработки дает возможность получения трехмерных координат объектов в реальном времени.
Экспериментальное исследование
Для проверки работоспособности системы авторы построили и исследовали физическую модель (рис. 2), а также разработали соответствующее программное обеспечение в среде MATLAB. Модель включает в себя две камеры 1 марки Microsoft Lifecam HD-3000 с разрешением 1280x720 пикселей. Перед каждой камерой установлен узкополосный фильтр 3, настроенный на длину волны лазера 650 нм. Между камерами установлен лазерный блок, включающий в себя лазерный источник 2 с длиной волны 650 нм, управляемый шаговым двигателем 4. Шаговый двигатель подключен к блоку управления 5. Камеры и лазерный блок подключаются к персональной ЭВМ.
Рис. 2. Физическая модель активной стереоскопической системы: 1 - видеокамера; 2 - источник лазерного излучения; 3 - узкополосный фильтр; 4 - шаговый двигатель; 5 - блок управления шагового двигателя
На этапе предварительной обработки изображения (рис. 3) выделяется изображение отраженного лазерного излучения от объекта в условиях фоновой засветки. В настоящей работе авторами применена межкадровая фильтрация. Вследствие того, что скорость получения информации в оптических каналах значительно больше, чем скорость движения, в двух соседних кадрах перемещается только лазерный луч. Чтобы отделить изображение отраженного лазерного луча от фона, значение яркости каждого пикселя в текущем кадре вычитается из значения яркости того же пикселя предыдущего кадра. Если полученная разность меньше нуля, конечный результат обнуляется. На рис. 3, а, показано исходное изображение, полученное с левой камеры.
Результат межкадровой фильтрации показан на рис. 3, б. После получения области, где есть изображение отраженного от объекта лазерного луча, на каждой строке находится центр лазерного луча. Для решения этой задачи на каждой строке отыскивается пиксель, яркость которого имеет максимальное значение в данной строке. После получение координат такой точки происходит возврат к исходному изображению и отыскивается ее реальный максимум по яркости, который находится в зоне первого максимума и одновременно в области изображения лазерного луча. Далее находятся все пиксели, которые располагаются вокруг реального максимума и имеют яркость, большую или равную 75% яркости реального максимума. На рис. 3, в, приведены диаграмма яркости строки номер 544, положение реального максимума (красная точка) и зона, где яркость больше или равна 75% яркости реального максимума (зона между пунктирными красными линиями). Используя значения яркости этих пикселей, построим полигон и получим центр лазерного луча на данной строке с точностью до одной десятой размера пикселя. На рис. 3, г, показан вычисленный полигон (зеленая кривая) и центр тяжести лазерного луча на строке номер 544. На этом завершается этап предварительной обработки изображения.
250
200
л н
к 150
m
S
о
К
<u
н
к
s 100
-1 — 1 1 1
LJ V V >Чч
t 1 1 1 1
50
200
400
600 Ох
800
1000
1200
1400
300
350
400
450
500
550
600
Ох
Рис. 3. Результат обработки изображения в предварительном блоке: исходное изображение (а); результат межкадровой обработки (б); диаграмма яркости на строке 544 (в); результат определения центра тяжести
на строке 544 (г); Ох - номер столбцов
б
а
0
в
г
Следующий этап - вычисление трехмерных координат точек. В компьютер поступают координаты всех центров тяжести изображений отраженного лазерного луча для левой и правой камер. В левом изображении по строкам выбираются координаты центра тяжести. Затем из памяти ЭВМ выводятся координаты эпиполярной линии для этого центра тяжести, и определяется пересечение этой линией совокупности центров тяжести правого изображения. Это пересечение является сопряженной точкой центра тяжести левого изображения. Используя координаты этих двух точек, выводим из памяти трехмерные координаты точек объекта. На рис. 4, а, показано левое изображение с набором центров тяжести по строкам. Точка, находящаяся в середине горизонтальной линии, соответствует сопряженной точке, и ее необходимо найти в правом изображении. На рис. 4, б, показаны эпиполярная линия и ее пересечение с совокупностью центров тяжести правого изображения. На рис. 4, в, показан конечный результат построения трехмерного изображения сцены активной стереоскопической системой.
Отметим, что предложенный метод дает не только изображение сцены, но позволяет получать информацию о размерах объектов практически в реальном масштабе времени, т.е. появляется возможность установки предложенной стереоскопической системы, к примеру, на подвижных объектах.
в
Рис. 4. Результат восстановления трехмерного изображения сцены, левое изображение с выбранной точкой (а); правое изображение с эпиполярной линией и сопряженной точкой (б); трехмерное
изображение сцены (в)
Заключение
В работе представлена активная стереоскопическая система с лазерным сканирующим устройством, алгоритм обработки изображения и получения трехмерного изображения сцены. Благодаря лазерному сканирующему устройству активная стереоскопическая система решает основную задачу автоматической стереоскопической системы - нахождение сопряженных точек в стереопаре, у которой нет общего алгоритма решения. Для проверки работоспособности метода авторы реализовали его алгоритм в среде МЛТЬЛБ. Благодаря возможности получения информации о реальных размерах объектов и их координа-
тах удается построить системы, которые решают большое количество прикладных задач, таких как распознавание лиц [5], контроль положения железнодорожного пути [14], реализовать активную систему безопасности автомобиля.
Литература
1. Мачихин А.С., Колючкин В.Я., Тимашова Л.Н. Однокамерная сканирующая стереоскопическая система для реконструкции трехмерной структуры объектов // Научно-технический вестник СПбГУ ИТМО. 2007. № 38. С. 142-146.
2. Зуев В.Е. Дистанционное оптическое зондирование атмосферы. СПб.: Гидрометеоиздат, 1992. 232 с.
3. Каталог 3Б-сканеров с подробным описанием и ценой [Электронный ресурс]. Режим доступа: http://www.foto-business.ru/3D-skaneryi, свободный. Яз. рус. (дата обращения 01.07.2014).
4. Климанов М.М. Лазерная триангуляционная измерительная система // Материалы XI научной конференции МГТУ «Станкин» по математическому моделированию и информатике. М.: МГТУ «Станкин», 2008. С. 230-232.
5. Пономарев С.В. Методика сравнения алгоритмов стереозрения при восстановлении трехмерной модели лица человека // Научно-технический вестник информационных технологий, механики и оптики. 2013. № 6 (88). С. 40-45.
6. Gutierrez S., Marroquin J.L. Robust approach for disparity estimation in stereo vision // Image and Vision Computing. 2004. V. 22. N 3. P. 183-195.
7. Bleyer M., Gelautz M. A layered stereo matching algorithm using image segmentation and global visibility constraints // ISPRS Journal of Photogrammetry and Remote Sensing. 2005. V. 59. N 3. P. 128-150.
8. Kim H., Sohn K. 3D reconstruction from stereo images for interactions between real and virtual objects // Signal Processing: Image Communication. 2005. V 20. N 1. P. 61-75.
9. Stefano L.D., Marchionni M., Mattocia S. A fast area-based stereo matching algorithm // Image and Vision Computing. 2004. V. 22. N 12. P. 983-1005.
10. Binaghi E., Gallo I., Marino G., Raspanti M. Neural adaptive stereo matching // Pattern Regonition Letters. 2004. V. 25. N 15. P. 1743-1758.
11. Ogale A.S., Aloimonos Y. Shape and the stereo correspondence problem // International Journal of Computer Vision. 2005. V. 65. N 3. P. 147-162.
12. Yoon S., Park S.-K., Kang S., Kwak Y.K. Fast correlation-based stereo matching with the reduction of systematic errors // Pattern Recognition Letters. 2005. V. 26. N 14. P. 2221-2231.
13. Грузман И.С., Киричук В.С., Косых В.П., Перетягин Г.И., Спектор А.А. Цифровая обработка изображений в информационных системах: Учебное пособие. Новосибирск: НГТУ, 2000. 168 с.
14. Араканцев К.Г., Горбачёв А.А., Серикова М.Г. Стереоскопическая система контроля фактического положения железнодорожного пути // Изв. вузов. Приборостроение. 2013. Т. 56. № 5. P. 34-39.
Коротаев Валерий Викторович - доктор технических наук, профессор, декан факультета, Университет
ИТМО, Санкт-Петербург, 197101, Российская Федерация, korotaev@grv.ifmo.ru
Джамийков Тодор Стоянов - доцент, Технический Университет - София, София, 1000, Болгария,
tsd@tu-sofia.bg
Нгуен Хоанг Вьет - аспирант, Университет ИТМО, Санкт-Петербург, 197101, Российская
Федерация, ngvietvn@gmail.com Ярышев Сергей Николаевич - кандидат технических наук, доцент, доцент, Университет ИТМО,
Санкт-Петербург, 197101, Российская Федерация, ysn63@mail.ru
Valery V. Korotaev - D.Sc., Professor, Department head, ITMO University, Saint Petersburg,
197101, Russian Federation, korotaev@grv.ifmo.ru Todor S. Djamiykov - PhD, Associate professor, Technical University of Sofia, Sofia, 1000,
Bulgaria, tsd@tu-sofia.bg
Hoang Viet Nguyen - postgraduate, ITMO University, Saint Petersburg, 197101,Russian
Federation, ngvietvn@gmail.com Sergei N. Yaryshev - PhD, Associate professor, Associate professor, ITMO University,
Saint Petersburg, 197101, Russian Federation, ysn63@mail.ru
Принято к печати 16.10.14 Accepted 16.10.14
