Метод определения характеристических точек изображения в системах стереозрения Текст научной статьи по специальности «Медицинские технологии»

УДК 53.087/.088 DOI: 10.17586/0021-3454-2016-59-3-224-230

МЕТОД ОПРЕДЕЛЕНИЯ ХАРАКТЕРИСТИЧЕСКИХ ТОЧЕК ИЗОБРАЖЕНИЯ

В СИСТЕМАХ СТЕРЕОЗРЕНИЯ

С. В. Панин, В. О. Чемезов, П. С. Любутин

Институт физики прочности и материаловедения СО РАН, 634055, Томск, Россия

E-mail: vpointc@rambler.ru

Предложен алгоритм выделения характеристических точек по калибровочному шаблону для систем стереозрения, основанный на анализе формы точек и их пространственного расположения. Показано достоверное выделение характеристических точек в условиях зашумленности изображения и при изменении угла поворота шаблона относительно камеры. При пиксельной точности определения координат точек шаблона алгоритм обеспечивает среднюю ошибку в 1,2 пкс.

Ключевые слова: распознавание, калибровочный шаблон, сегментация

Одна из важнейших проблем стереозрения — калибровка камер для его реализации. Процесс калибровки можно разделить на следующие операции:

— выделение характеристических точек на изображениях стереопары;

— установление соответствия между точками;

— расчет внутренних и внешних параметров камер стереосистемы по установленным соответствиям между характеристическими точками.

Для проведения первых двух операций применяются специальные объекты — калибровочные шаблоны, в качестве которых используется шахматная доска (рис. 1, а) или белая панель с черными кружками, в частности калибровочный шаблон системы VIC 3D (рис. 1, б) [1—3].

а) б)

Рис. 1

Известные решения для получения трехмерной информации о рабочей сцене по набору двумерных изображений (пространственной реконструкции) представлены в ряде коммерческих продуктов, которым, однако присущи такие недостатки, как высокая стоимость, разработка продукта применительно к конкретному типу аппаратного обеспечения, закрытость применяемых программных решений. Для разработки системы пространственной реконструкции и последующей оценки деформации изображений необходимо информацию о рабочей сцене формировать с высокой точностью по двумерным изображениям.

В настоящей статье предложен алгоритм выделения характеристических точек по калибровочному шаблону, позволяющий достоверно и надежно определять эти точки при повороте шаблона относительно камеры и зашумленности изображений.

Эта задача включает следующие этапы:

1) выделение области на рабочей сцене, соответствующей калибровочному шаблону (либо использование полного изображения);

2) поиск характеристических точек, соответствующих калибровочному шаблону в пределах области, выделенной при выполнении 1-го этапа;

3) определение принадлежности выделенных точек собирающим линиям сетки шаблона;

4) корректировка координат характеристических точек, принадлежащих узлам сетки, и удаление ложно выделенных точек.

Для реализации первых двух этапов был выбран алгоритм граничной сегментации изображений [4—6], позволяющий достоверно определить границы объектов (содержащих и/или не содержащих в себе другие объекты), характеризуемых малым перепадом яркости.

Сегментация исходного изображения, фрагмент которого представлен на рис. 2, а, состоит из четырех шагов.

а)__б) в)

Рис. 2

Шаг 1. Выделение границ объектов на изображении. Как правило, границы объекта определяются по скачкообразному изменению значения первой производной яркости. В то же время вторая производная является более чувствительной в случае малоконтрастных границ. По этой причине для выделения границ объекта следует использовать оператор Лапласа [4]:

V2/ = [/ (л -1, у) + / (х +1, у) + / (х, у -1) + / (х, у +1) + +/(л -1,у -1) + / (л -1, у +1)+/(л +1,у -1) + +/(л +1, у +1)]-8 / (л, у).

Для получения бинарного изображения границ применяется пороговая фильтрация с порогом, равным нулю.

Шаг 2. Замыкание границ и выделение контуров объектов. Вследствие наличия слабо-выраженных переходов от одного объекта к другому (от объектов к фону) на изображениях могут присутствовать их незамкнутые границы (рис. 2, б). Для их замыкания используются бинарные морфологические преобразования [7], так как данная операция проводится по бинарному изображению. Применение морфологической операции „замыкания" обеспечивает получение изображения с явно выраженными объектами, имеющими выделенные замкнутые границы (рис. 2, в), которые по принципу восьмисвязности преобразуются в контур объекта.

Этап 3. Выбор объекта, наиболее соответствующего калибровочному шаблону. С учетом известных геометрических и пространственных свойств калибровочного шаблона формулируется критерий выделения соответствующего ему „объекта-шаблона" на изображении. На основе данных о количестве характеристических точек и площади массива точек () рассчитывается площадь калибровочного шаблона (8р). В результате критерий выбора „объекта-шаблона" определяется как

Sp 0,75 < Spf .

Si Sf-

Sp •1,25 > Spf

Si Sf\

где Spf и Sif — площадь выделенной области и площадь элемента изображения (текущей

характеристической точки) соответственно.

После анализа всех объектов на изображении остается только найти, какой „объект-шаблон" содержит количество „объектов-точек", наиболее близкое к заданному количеству.

Шаг 4. Выбор объектов, соответствующих характеристическим точкам. После того как выбран „объект-шаблон", необходимо удалить [3] не принадлежащие ему характеристические точки („объекты-точки"). Свойства таких точек, в предположении, что это круги (в общем случае — эллипсы), могут быть охарактеризованы следующими параметрами: — форма „объекта-точки"

^ = 1,

где si — площадь текущего „объекта-шаблона", sic — площадь „выпуклой" фигуры, описан-

ной вокруг него;

— эксцентриситет „объекта-точки":

Л- = 0,785.

sir

где sir — площадь наименьшего прямоугольника, описанного вокруг текущего шаблона".

Изображение „объекта-шаблона" и „объектов-точек" на нем приведено на рис. 3, а.

а)_ 6)_ в)

объекта-

Рис. 3

В общем виде третий и четвертый этапы основной задачи сводятся к разделению „объектов-точек" на группы по определенным характеристикам, т.е. классификации множества выделенных характеристических точек в зависимости от принадлежности собирающим прямым (рис. 3, б). Для выделения точек, принадлежащих собирающим линиям, используется метод последовательных приближений. Принадлежность точки собирающей прямой оценивается по методу наименьших квадратов с расчетом суммы квадратов расстояний от точек до прямой. Таким образом, зависимость параметров собирающей прямой от расположения каждой точки уменьшается по мере ее удаления от линии:

...2

р(и, о) = -

u

2 2 ' u +а2

где u — кратчайшее расстояние от точки до прямой, ст = 1,4826 • median |uw |, расстояний от точек до прямой.

u

вектор

s

Собирающие прямые группируются по вертикальному и горизонтальному направлениям. После группировки проводится дополнительная проверка для „выравнивания" прямых по узлам сетки и восстановления неучтенных („потерянных") характеристических точек (рис. 3, в). Алгоритм выделения узловых точек и определения их расположения на калибровочном

шаблоне представлен на рис. 4. _

^ Начало ^

Рис. 4

В качестве критерия, по которому оценивается точность выделения области шаблона и характеристических точек на нем, используется значение среднего отклонения количества найденных точек от истинного; кроме того, требуется оценить точность определения координат характеристических точек.

Были сформированы две серии изображений размером 2448*2048 пикселов, содержащих калибровочный шаблон, поворачиваемый в пространстве:

1) 38 изображений, сформированных программно с последующим добавлением шумов разной степени интенсивности;

2) 20 изображений, полученных с помощью фотокамеры, входящей в состав комплекса VIC 3D.

С помощью модели шаблона был осуществлен анализ помехоустойчивости предложенного алгоритма и его устойчивости к вращению шаблона. В качестве меры „устойчивости" к вращению принят параметр e (среднее количество неверно определенных характеристических точек в процентах от истинного количества точек):

N

=2

г =1

1 -

о. б

где — число выделенных характеристических точек, б — истинное число точек, N —

количество изображений в серии.

При проверке точности определения координат характеристических точек также сравнивались координаты модели с координатами „объекта-шаблона". В качестве меры оценки точности вычислялся параметр Ь:

Е Ел- ) + (Уд- - Уу )

Ь =

г=1 ]=1

PN

где Хд!, у— координаты характеристических точек, определенных с помощью алгоритма;

, У[) — координаты характеристических точек для исходного модельного изображения,

Р — количество характеристических точек на шаблоне.

По результатам анализа исходных изображений первой серии (с разным уровнем шума Ж— рис. 5, а— в) истинное количество характеристических точек б=140. Результаты обработки изображений по предложенному алгоритму иллюстрируются рис. 5, г—е: выделенные характеристические точки на шаблоне изображены в виде белых кругов на черном фоне. Согласно расчетным данным, представленным на рис. 6, а, алгоритм имеет минимальную ошибку при уровне шума ж<7,5 %, при дальнейшем его повышении ошибка возрастает.

Рис. 5

а)

Qt

б)

110

60

0 5 10 W, %

Qt

140 130 120

Т

— W-0 Г-2,5 %

— W-5 %

-►

20

40

60

W, %

0

Рис. 6

Исходные изображения первой серии при разных углах поворота (у) шаблона относительно камеры представлены на рис. 7, а—в, а результаты обработки изображений по предложенному алгоритму — на рис. 7, г—е. Расчетные данные представлены на рис. 6, б.

Анализ графиков (см. рис. 6, а, б) показывает, что алгоритм устойчиво работает: при обработке изображений с ж<7,5 % выделяются все характеристические точки при у<30°; в то же время при увеличении угла у удаление ложно выделенных характеристических точек влияет на изображение при Ж «5 % и выше.

а) б) в)

Рис. 7

Средняя погрешность (ь) определения координат характеристических точек с помощью предложенного алгоритма при малых углах поворота шаблона (у<30°) составляет менее 1 пкс. Данная ошибка является допустимой. При у=30...50° погрешность Ь « 1,10 пкс, что свидетельствует о слабом влиянии угла поворота на точность определения координат характеристических точек.

Для проверки предложенного алгоритма в условиях натурного эксперимента была использована вторая серия изображений (рис. 8: а—б — исходные изображения, г—е — результат выделения точек).

а) б) в)

Рис. 8

Очевидно, что предложенный алгоритм устойчиво функционирует при повороте шаблона и зашумлении экспериментально полученных изображений.

список литературы

1. Correlated Solutions, Inc. The VIC-3D System, 2013 [Электронный ресурс]: <http://www.correlatedsolutions.com/ vic-3d/>.

2. Bennett S., Lasenby J. Chess-quick and robust detection of chess-board features // Computer Vision and Image Understanding. 2014. Vol. 118. P. 197—210 [Электронный ресурс]: <http://www.sciencedirect.com/ science/ article/pii/S 1077314213001999>.

3. Панин С. В., Чемезов В. О., Любутин П. С. Применение фильтрации в задаче распознавания узловых точек калибровочного шаблона // Вычислительные технологии. 2014. Т. 19, № 4. С. 61—68.

4. Гонсалес Р., Вудс Р. Цифровая обработка изображений. М.: Техносфера, 2005. 1072 с.

5. Haralick R. M., Shapiro L. G. Image segmentation techniques // Computer Vision, Graphics, and Image Processing. 1985. Vol. 29, N 1.

6. Вежневец А., Баринова О. Методы сегментации изображений: автоматическая сегментация // Компьютерная графика и мультимедиа. 2006. № 4(4).

7. Шапиро Л., Стокман Дж. Компьютерное зрение. М.: БИНОМ, Лаборатория знаний, 2006. 752 с.

Сведения об авторах

Сергей Викторович Панин — д-р техн. наук, профессор; ИФПМ СО РАН, лаборатория механики

полимерных композиционных материалов; зам. директора по научной работе; E-mail: svp@ispms.tsc.ru Виталий Олегович Чемезов — аспирант; ИФПМ СО РАН, лаборатория механики полимерных ком-

позиционных материалов; E-mail: vpointc@rambler.ru Павел Степанович Любутин — канд. техн. наук; ИФПМ СО РАН, лаборатория механики полимерных

композиционных материалов; E-mail: psl@sibmail.com

Рекомендована Институтом Поступила в редакцию

05.09.15 г.

Ссылка для цитирования: Панин С. В., Чемезов В. О., Любутин П. С. Метод определения характеристических точек изображения в системах стереозрения // Изв. вузов. Приборостроение. 2016. Т. 59, № 3. С. 224—230.

AN ALGORITHM OF GRID POINT DETERMINATION IN IMAGES FOR STEREO VISION SYSTEM S. V. Panin, V. O. Chemezov, P. S. Lyubutin

Institute of Strength Physics and Materials Science of the Siberian Branch of RAS,

634055, Tomsk, Russia E-mail: vpointc@rambler.ru

An algorithm of grid point determination at calibration pattern images for stereo vision system calibration is presented. The proposed approach is based on analysis of the shape of characteristic points on the template and their spatial location. Testing results demonstrate a robust detection of the calibration pattern in image noise conditions under pattern rotation relative to the camera within a wide angle (up to 45 degrees). The developed algorithm is shown to provide an accuracy of up to 1.2 pixels in determined coordinates of the calibration pattern points.

Keywords: recognition, calibration pattern, image segmentation

Data on authors

Sergey V. Panin — Dr. Sci., Professor; Institute of Strength Physics and Materials Science of

the Siberian Branch of RAS, Laboratory of Mechanics of Polymer Composite Materials; Deputy Director for R&D; E-mail: svp@ispms.tsc.ru Vitaliy O. Chemezov — Post-Graduate Student; Institute of Strength Physics and Materials Science of the Siberian Branch of RAS, Laboratory of Mechanics of Polymer Composite Materials; E-mail: vpointc@rambler.ru Pavel S. Lyubutin — PhD; Institute of Strength Physics and Materials Science of the Siberian

Branch of RAS, Laboratory of Mechanics of Polymer Composite Materials; E-mail: psl@sibmail.com

For citation: Panin S. V, Chemezov V. O., Lyubutin P. S. An algorithm of grid point determination in images for stereo vision system // Izv. vuzov. Priborostroenie. 2016. Vol. 59, N 3. P. 224—230 (in Russian).

DOI: 10.17586/0021-3454-2016-59-3-224-230