CC BY
260
УДК 004.932.2
ИСПОЛЬЗОВАНИЕ МЕТОДА SURF ДЛЯ ОБНАРУЖЕНИЯ УСТОЙЧИВЫХ ПРИЗНАКОВ ИЗОБРАЖЕНИЯ ПРИ СОЗДАНИИ СФЕРИЧЕСКИХ ПАНОРАМНЫХ СНИМКОВ
Г. М. Джгаркава, Д. Н. Лавров
In this article the search algorithm and a description of specific image points Speeded Up Robust Features (SURF) is considered. The method can be used to compare images, finding objects in images when creating spherical panoramic images from multiple images.
Введение
В статье рассматривается алгоритм поиска и описания особых точек изображения Speeded Up Robust Features (SURF). Метод может применяться для сравнения изображений, поиска объектов на изображениях при создании сферических панорамных снимков из нескольких изображений.
1. Проблематика
Когда мы смотрим на окружающих нас людей, предметы, природу, наш мозг проделывает огромный объем работы, чтобы обработать весь поток визуальной информации. Нам не составит труда найти знакомого нам человека на фотографии или отличить здание от памятника. Основные моменты, которые делают задачу распознавания образов не тривиальной для решения с использованием вычислительной техники, заключаются в следующем:
• Масштаб. Изображения имеют разный масштаб. Предметы, которые мы воспринимаем как одинаковые, на самом деле занимают разную площадь на разных изображениях.
• Место. Интересующий нас объект может находиться в разных местах изображения.
Copyright © 2011 Г. М. Джгаркава, Д. Н. Лавров.
Омский государственный университет им. Ф. М. Достоевского.
E-mail: george@dzhgarkava.com
• Фон и помехи. Предмет, который мы воспринимаем как что-то отдельное, на изображении никак не выделен и находится на фоне других предметов. Кроме того, изображение не идеально и может быть подвержено всякого рода искажениям и помехам,
• Проекция, вращение и угол обзора. Изображение является лишь двумерной проекцией нашего трёхмерного мира. Поэтому поворот объекта и изменение угла обзора кардинальным образом влияют на его двумерную проекцию — изображение.
Итак, даны два изображения, одно из них будем считать образцом, другое — сценой. Задача сводится к определению факта наличия образца на сцене и к его локализации. При этом образец на сцене может: иметь другой масштаб; быть повернут в плоскости изображения; быть в произвольном месте сцены; может быть зашумлен, виден не полностью, частично заслонён другими предметами; может иметь отличную от образца яркость и контраст; его может не быть совсем.
Самое простое и очевидное решение заключается в следующем: возьмём образец в разных масштабах, повернём его на всевозможные углы, переберём всевозможные места на сцене и сравним все эти шаблоны попиксельно со сценой. Однако для реализации этого решения потребуется огромное количество ресурсоёмких операций сравнения. Кроме того, непосредственное сравнение образца со сценой может дать плохой результат из-за шумов, искажений, заслонения, объектов фона.
Для того чтобы уменьшить количество сравнений, нам необходимо упростить задачу. Выделим на образце некие ключевые точки и небольшие участки вокруг них. Ключевой будем считать такую точку, которая имеет некие признаки, существенно отличающие её от основной массы точек. Например, это могут быть края линий, небольшие круги, резкие перепады освещённости, углы и т, д. Предполагая, что ключевые точки присутствуют на образце всегда, можно поиск образца свести к поиску на сцене ключевых точек образца, А поскольку ключевые точки сильно отличаются от основной массы точек, то их число будет существенно меньше, чем общее число точек образца,
2. Обзор метода SURF
SURF решает две задачи — поиск особых точек изображения и создание их дескрипторов, инвариантных к масштабу и вращению. Это значит, что описание ключевой точки будет одинаково, даже если образец изменит размер и будет повернут (здесь и далее мы будем говорить только о вращении в плоскости изображения). Кроме того, сам поиск ключевых точек тоже должен обладать инвариантностью, так, чтобы повёрнутый объект сцены имел тот же набор ключевых точек, что и образец.
Метод ищет особые точки с помощью матрицы Гессе, Детерминант матрицы Гессе достигает экстремума в точках максимального изменения градиента яркости. Он хорошо детектирует пятна, углы и края линий.
Рис. 1. Показаны особью точки изображения в образце (слева) и на сцене (справа). Несмотря на то. что сцена имеет другой масштаб, угол обзора и частично заслонена другим объектом, ключевые точки достаточно точно идентифицируются
Гессиан ишзариаитеи относительно вращения. Но не инвариантен масштабу. Поэтому SURF использует разномасштабные фильтры для нахождения гессианов.
Дня каждой ключевой точки считается направление максимального изменения яркости (градиент) и масштаб, взятый из scale-коэффициента матрицы Гессе. Градиент в точке вычисляется с помощью фильтров Хаара.
После нахождения ключевых точек SURF формирует их дескрипторы. Дескриптор представляет собой набор из 64 (либо 128) чисел дня каждой ключевой точки. Эти чисна отображают направление градиента вокруг ключевой точки. Поскольку ключевая точка представляет собой максимум гессиана, то это гарантирует, что в окрестности точки должны быть участки с разными градиентами. Таким образом, обеспечивается дисперсия (различие) дескрипторов дня разных ключевых точек.
Направление градиента окрестностей ключевой точки считается относительно направления градиента вокруг точки в целом (но всей окрестности ключевой точки). Таким образом, достигается инвариантность дескриптора относительно вращения. Размер же области, на которой считается дескриптор, определяется масштабом матрицы Гессе, что обеспечивает инвариантность относительно масштаба. Направление градиента также считается с помощью фильтра Хаара.
Рис. 2. Выделены особые точки изображения здания, найденные с помощью матрицы Гессе. Диаметр круга показывает масштаб особой точки, линия по радиусу направление градиента яркости
3. Применение на практике
Съемка панорам в рамках данной статьи производилась с помощью установки, которая состоит из четырех синхронизированных между собой дня одновременной съемки зеркальных фотокамер, оснащенных АзЬ-еуе объективами.
Объектив «рыбий глаз», «фишай» (англ. fi.sh-e.ye) — сверхширокоугольпый фотографический объектив, который имеет угол изображения, близкий к 180° или больший. Принято считать, что все разновидности «фишаев» имеют угол зрения в 180°, по это не так. Изображение пейзажа с углом 180° даёт круговую картинку, по кадр представляет собой прямоугольник. Есть два способа устранения этого несоответствия и три тина «фишаев»:
• Циркулярный — па полученном кадре изображение занимает не всю его площадь, а лишь вписанный круг. Такой объектив имеет угол зрения 180° в любом направлении (справа налево, сверху вниз и т.н.). С помощью такого объектива можно сделать снимок, па котором будет изображён, например, весь небосвод.
• Диагональный (или «полнокадровый») — полученный кадр целиком занят изображением, однако угол зрения в 180° соответствует лишь диагоналям кадра. Другими словами, полный круг, который даёт циркулярный тип, этот объектив не изображает в кадре, В данном случае наоборот: кадр вписывается в круговое изображение,
• С кругом изображения более 180° — обычно имеют также круглое изображение и угол зрения может составлять 220°,
При очень широком угле зрения возникают сильные искажения перспективы: задний план кажется дальше, чем на самом деле. Кроме того, увеличение во многих съёмочных ситуациях может быть недостаточным, и освещённость сильно падает по краю.
Чтобы компенсировать эти недостатки, в объектив при его разработке намеренно вводят отрицательную дисторсию («бочка»). Тогда увеличение по центру становится больше, и в этой области объектив работает как менее широкоугольный, Только дисторсия позволяет довести угол зрения до 180° и больше. Тем не менее такая компенсация вносит свои искажения перспективы — выпячивание центра, а также ведёт к искажениям формы предметов: прямые линии изображаются кривыми,
В ходе работы был использован циркулярный объектив Sigma AF 8 mm f/3,5 EX DG Circular Fisheye Nikon F, При портретной установке камеры данный объектив позволяет получить снимок с углом обзора 180° по вертикали и 120° по горизонтали.
Четыре снимка, частично накладываясь друг на друга, полностью покрывают окружающее пространство. Для точного наложения снимков друг на друга и получения кругового панорамного изображения на исходных снимках выделяются ключевые точки с помощью метода SURF,
4. Тесты
Тестирование метода проводилось на 4000 изображений. Процент правильно идентифицированных ключевых точек составил 91,3, Основные ошибки при выделении ключевых точек были отмечены на слишком тёмных и не контрастных снимках.
Нужно отметить, несмотря на то, что SURF используется для поиска объектов на изображении, он сам работает не с объектами, SURF никак не выделяет объект из фона. Он рассматривает изображение как единое целое и ищет особенности этого изображения. При этом особенности могут быть как внутри объекта, так и на фоне, а также на точках границы объекта и фона, В связи с этим метод плохо работает для объектов простой формы и без ярко выраженной текстуры. Внутри таких объектов метод скорее всего не найдёт особых точек. Точки будут найдены либо на границе объекта с фоном, либо вообще только на фоне, А это приведёт к тому, что объект не сможет быть распознан в другом изображении, на другом фоне.
01 jpg
19.09.20104:47:00
□ ШВ
09.03.20095:24:32
С~) ШИ “л*
09.03.20095:34:32
GZI ШШ
09.03.2009 6:22:42
□
D:\\panoramix\\day_06\\pan
>3 Forml 1-а Iі В iSfr
Рис. 3. Исходные изображения с камеры
Рис. 4. Готовый панорамный снимок
В рамках задачи идентификации точек на изображениях при создании сферических панорамных снимков проблема с фоном не возникает, поэтому метод SURF применим дня решения этой задачи.
Литература
1. Русинов М. М. Композиция оптических систем. Л.: Машиностроение, 1989.
2. Bay Н., Ess A., Tuvtelaars Т., Gool L. V. Speeded-Up Robust Features (SURF) /7 Proceedings of the 9th European Conference on Computer Vision. Springer LNCS. 2006. Vol. 3951. Pt.l. P. 404 417.
100
