CC BY
94
УДК 004.021
С.И. Протасов, А.А. Крыловецкий, С Д. Кургалин
ОБ ОДНОМ ПОДХОДЕ К РЕШЕНИЮ ЗАДАЧИ РЕКТИФИКАЦИИ
СТЕРЕОИЗОБРАЖЕНИЙ ПО СЦЕНЕ БЕЗ КАЛИБРОВКИ КАМЕР
Рассматривается метод предобработки изображений в системах стереозрения, основанный на модификации алгоритма стабилизации видео [1]. Метод описывает ректификацию изображений как набор последовательных преобразований, каждое из которых находится как решение оптимизационной задачи. В статье описана математическая мо, , оптимизационные методы нахождения параметров преобразований и описываются статистические алгоримты уточнения решения. Предлагаемый подход не требует предварительной калибровки камер и использует только изображения сцены. Практической областью применения данного решения являются персональные системы стереозрения.
Стереозрение; машинное зрение; стабилизация видео.
S.I. Protasov, A.A. Krylovetsy, S.D. Kurgalin
AN APPROACH TO SOLVE STEREOIMAGE RECTIFICATION PROBLEM WITHOUT CAMERA CALIBRATION
This article is devoted to the method of initial image processing to use in stereovision systems. It is based on a modification of video stabilization approach [1]. The method considers image rectification process as a sequence of transformations. Each transformation is found as a solution of optimization problem. The article describes mathematical model that fits main principles of video stabilization method, provides optimization techniques to find transformation parameters and describes statistical approach to solution refinement. The method provided does not require camera calibration and uses only scene images. This approach can be applied to create individual stereovision systems.
Stereo-vision; computer vision; video stabilization.
Под ректификацией изображений (image rectification) обычно понимают приведение набора изображений к общей координатной системе так, чтобы горизонтальные линии на изображениях соответвовали одной плоскости. В персональных системах стереозрерия источником изображений могут быть камеры, установленные в мобильных телефонах, ноутбуках и др [2]. Предлагаемый подход позволит конечному пользователю получить ректифицированный стереопоток, например, подключив
- .
Предлагаемая в статье модель решения является адаптацией задачи стабили-. -ния камеры между последовательными кадрами или эквивалентная ей задача определения перемещения изображения. Под перемещением изображения понима-, . В общей постановке задачи учитываются все шесть степеней свободы камеры [3], однако на практике применяются упрощения: производится ограничение вариаций углов до малых значений, а также исключаются некоторые степени свободы. В предлагаемой нами модели из трёх поворотных степеней свободы рассматривается только малый поворот камеры вокруг оптической оси камеры. Упрощение правомерно в рамках практических применений: например, закрепление дополнительной камеры на крышке ноутбука.
В рамках модели четыре степени свободы можно трактовать как три линейных преобразования над точкой изображения p Е R2: перемещение T(p) вдоль
, , R(p) -
ской оси и движение вдоль оптической оси Z(p).
T (p)=p+v0=p+(dx, dy)T;
(cos© sin© (kx 0
R( p) = pc 1-sine cos©' ( p - pc ); Z( p) = pc 1 0 kyj' ( p - pc )-
Результатом решения задачи ректификации является набор величин pc, у , 0,
kx, ky. Линейность каждого из преобразований позволила нам разделить решение задачи на независимые этапы, каждый из которых является задачей оптимизации.
В задаче стабилизации видеопотока применяется расчёт векторного поля перемещения точек изображения. Для уменьшения вероятности некорректного определения перемещений мы используем в качестве опорных точки с максимальной локальной дисперсией яркости пикселей в малой окрестности, отфильтрованные через регулярную сетку. Для каждой опорной точки первого изображения найдём соответствие на втором изображении, предварительно произведя цветовую калибровку изображений [4]. Уменьшить влияние поворота на функцию подобия позволяет взвешенное средне-квадратичные отклонение (weighted MSE) [1], используемое в качестве критерия подобия. В результате для каждой опорной точки получили вектор перемещения T (рис. 1,а) и значение минимума wMSE, являющееся
критерием достоверности результата. Для ускорения работы алгоритма мы применили модификацию алгоритма поиска соответствий с адаптивным окном [5].
Полученное поле по-прежнему содержит векторы, соответствующие ложным срабатываниям wMSE. Нами предложен способ фильтрации векторов: поле разбивается на достаточно крупные блоки, в рамках которых угол отклонения векторов перемещения от среднего вектора по блоку невелик. Задав порог для отклонения, мы можем избавиться от некорректных срабатываний wMSE. В эксперименте мы
, П
использовали шесть блоков (3x2) и порог ± —, полученный в рамках численных
6
экспериментов. На рис. 1,а отсеянные векторы изображены тонкими линиями.
Tavg -
/
зволяет найти предварительную оценку pc.
б
Рис. 1. Трансформация перемещения T(p) векторного поля: а - векторное поле перемещения точек с указанием отфильтрованных векторов; б - векторное поле перемещения точек после смещения
Найденная оценка рс позволяет гарантировать то, что после прибавления ко всем векторам \р вектора -Та„е искомая точка рс будет находиться в пределах видимого изображения (рис. 1,6). Для нахождения очередного приближения точки
а
рс воспользуемся гипотезой о малости угла поворота. Тогда верно предположение, что две прямые, параллельные осям координат и проходящие через искомую ,
на оси координат. Используя численное интегрирование длин проекций вдоль
и
осей, найдём координаты точки рс как координаты экстремумов интегральных .
^ Ур - р - Рс
модулей скалярных произведении векторов ПУр = | т И 1р = |-------г, МИНИ-
Гр! |р - рс|
мизируя при этом средний угол отклонения для малых значений угла, так так
Найденный угол 0 вместе с оценкой р''с определяет
преобразование поворота Я(р), одновременно уточняя преобразование перемещения Т(р).
Для нахождения коэффициентов кх и ку мы предлагаем минимизировать сумму модулей векторов перемещения, получаемых после трансформации изображения (1).
(kx, кУ) = агдтт^ку) 2 ((Т ( рп )))- р* , (1)
\nvp • tp = у cos 0 n n
где рп - координаты соответствующей точки изображения со второй камеры.
На рис. 2,а приводится график функции (1), глобальный минимум которого соответствует оптимальному преобразованию 2(р). На рис. 2,6 изображено векторное поле перемещений после всех преобразований
а б
Рис. 2. Поиск преобразования масштабирования Z(p): а - минимизация значения суммы модулей векторов в координатах (kx,ky); б - векторное поле перемещений
Z(p)
Для уточнения точки pc найдём корректировку Ady для смещения dy: pc = p^ + ip, Ady). Мы предлагаем использовать функцию суммы яркостей вдоль строчек изображений j (y) = ^j(x, y), а затем найти смещение, минимизирующее
x
- :
dy = arg min dy X I' s (y) - / ”(y + dy)]2. На рис. 3 представлены результаты работы
y
.
n
Раздел IV. Математические методы искусственного интеллекта
б
Рис. 3. Входная и результирующая стереопары: а - исходная стереопара; б - стереопара после преобразований
После нахождения преобразований Т, Я и 2 в первом приближении мы мо. , . 2,
можно заметить векторы, существенно выделяющиеся длиной. Такие векторы являются следствием неисключённых ошибок алгоримта поиска точечных соответствий. Поскольку данные векторы легко отделить от прочих, исключим их из выборки и проведём поиск преобразований заново. Эксперимент показал, что в большинстве случаев для фильтрации достаточно одной итерации.
Ещё одним способом увеличения точности решения является поиск коэффициентов для нескольких независимых сцен. После исключеия выбросов можно воспользоваться средним значением коэффициента как окончательным приближе-.
Нами был разработан метод и алгоритм ректификации стереоизображений по , . изображения могут применяться для создания стереовидеопотоков и стереоизображений. Предложенный метод содержит несколько ограничений: на уровне модели исключены две степени свободы, поворот изображения вокруг оптической оси
Ж
камеры рассматривался в диапазоне ± —. Мы предложили два статистических
6
улучшения, которые повышают точность найденного решения: фильтрация векторов с большими значениями нормы и выборка из нескольких решений, выполненных при одинаковой конфигурации камер.
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Ting Chen. Video Stabilization Algorithm Using a Block-Based Parametric Motion Model. Winter 2000, Stanford University. - P. 3-4
2. Бондаренко С., Бондаренко М. Создание 3Б-изображений: теория и практика [Электронный ресурс] // Сайт проекта 3Domen. 2011, 27 февраля. URL:
http://3domen.com/index.php? newsid=5794 (дата обращения 26.07.2012.
3. Jesse S Jin, Zhigang Zhu, Guangyou Xu. Digital Video Sequence Stabilization Based on 2.5D Motion Estimation and Inertial Motion Filtering. IEEE International Conference on Intelligent Vehicles (2001) Volume 7, Issue 4, pp. 357-365.
4. . ., . . web- -
// : , : материалы XI Международной научно-методической конференции, Воронеж, 10-11 февраля 2011г.: В 3-х т. - Воронеж: Изд-во Воронежского государственного университета, 2011. - Т. 2. - С. 229-232.
5. Takeo Kanade, Masatoshi Okutomi. A stereo matching algorithm with an adaptive window: theory and experiment // IEEE Transactions on Pattern Analysis and Machine Intelligence.
- Sep. 1994 - P. 920-932.
6. Eddy Vermeulen. Real-time Video Stabilization For Moving Platforms. 21st Bristol UAV Systems Conference - April 2007.
Статью рекомендовал к опубликованию к.ф.-м.н., доцент НА. Тюкачёв.
Протасов Станислав Игоревич - Воронежский государственный университет; e-mail: stanislav.protasov@gmail.com; 394062, Воронеж, ул. Южно-Моравская, 16, кв. 73; тел.: +79167434994; факультет компьютерных наук; кафедра цифровых технологий; аспирант.
- e-mail: aakryl@sc.vsu.ru;
; ; . - . .; .
Protasov Stanislav Igorevich - Voronezh State University; e-mail: stanislav.protasov@gmail.com; 16, Yuzhno-Moravskaya street, apt. 73, Voronezh, 394062, Russia; computer science faculty; the department of digital technologies; postgraduate student.
Krylovetsky Alexander Abramovich - e-mail: aakryl@sc.vsu.ru; computer science faculty; the department of digital technologies; cand. of phis.-math. sc.; associate professor.
Кургалии Сергей Дмитриевич - e-mail: kurgalin@bk.ru; факультет компьютерных наук;
; . ; . - . .; .
Kurgalin Sergey Dmitrievch - e-mail: kurgalin@bk.ru; computer science faculty; the department of digital technologies; head of department; dr. of phis.-math. sc.; associate professor.
УДК 004.93’14, 51-76, 57.087.1
ИЛ. Симоненко, И.А. Матвеев
КЛАСТЕРИЗАЦИЯ ЭТАЛОНОВ РАДУЖКИ ДЛЯ ОПТИМИЗАЦИИ ПОИСКА В БОЛЬШИХ БАЗАХ*
В работе биометрических систем распознавания можно выделить два этапа: определение биометрических признаков (так нназываемого эталона) и сравнение полученного эталона с ранее зарегистрированными, содержащимися в базе данных. Для больших баз сравнение может занимать значительное, неприемлемое время. В работе предложен способ уменьшения времени поиска путём кластеризации некоторой выборки эталонов ра-
* Работа выполнена при финансовой поддержке РФФИ (проект № 12-07-00778-а). 148
