CC BY
23
ВЕСТНИК ИНЖЕНЕРНОЙ ШКОЛЫ ДВФУ. 2012. № 2 (11) АВТОМАТИКА, ЭЛЕКТРОНИКА И СРЕДСТВА СВЯЗИ
УДК 004.932.2 Р. В. Силантьев
СИЛАНТЬЕВ РОМАН ВЯЧЕСЛАВОВИЧ - аспирант кафедры автоматизации и управления Инженерной школы (Дальневосточный федеральный университет, Владивосток). Е-mail: videolist2@gmail.com
СШИВКА ЦИФРОВЫХ ПЕРЕКРЫВАЮЩИХСЯ ИЗОБРАЖЕНИЙ БЕЗ ИСПОЛЬЗОВАНИЯ НАВИГАЦИОННОЙ ИНФОРМАЦИИ В ЗАДАЧАХ МОНИТОРИНГА
Рассматривается задача сшивки цифровых перекрывающихся изображений и предлагается алгоритм решения данной задачи, основанный на целочисленной арифметике.Моделирование показало, что предложенный алгоритм позволяет сшивать 2 перекрывающихся изображения морского дна размером 512 на 512 пикселей менее чем за 1 с на вычислительных средствах типовых ПК (Intel Celeron 2,40 ГГц), что позволяет предположить о возможности его дальнейшего использования в реальных системах для задач мониторинга в реальном времени. Ключевые слова: сшивка изображений, регистрация изображений, смешивание изображений, цифровые изображения.
Stitching of overlapped digital images without navigation information for monitoring tasks.
Roman V. Silantev - School of Engineering (Far Eastern Federal University, Vladivostok). This article is concerned with the task of digital overlapping image stitching. It offers an algorithm to solve the basing on integer arithmetic. The modelling demonstrates that the offered algorithm enables one to stitch two overlapping seabed images of size 512x512 pixels less than in one second on the typical PC (Intel Celeron 2,40 GHz). It suggests its further application in real systems to solve monitoring tasks in real time.
Key words: image stitching, image registration, image blending, digital images.
Сшивка цифровых изображений, полученных с помощью видео- или фотокамеры ро-бототехнической установки или подводного аппарата, имеет свою специфику: последовательные изображения на снимках могут быть не только смещены друг относительно друга, но и повернуты под углом, значение которого неизвестно, а также иметь различный масштаб.
© Силантьев Р.В., 2012
Таким образом, задачей сшивки является определение взаимного расположения изображений без использования навигационной информации с использованием только самих фотоизображений [3].
Существуют специальные алгоритмы для решения данной задачи [1, 2], однако они предъявляют высокие требования к вычислительным ресурсам системы, что затрудняет их использование для реализации в реальном времени в условиях ограниченных вычислительных ресурсов.
В статье предлагается алгоритм, при разработке которого учитывались данные требования. Особенностью этого алгоритма является использование целочисленной арифметики в случаях, где это возможно, с введением упрощений за счет некоторой потери в качестве и точности сшивки изображений.
Этапы предлагаемого алгоритма
Рассмотрим основные этапы предлагаемого алгоритма сшивки изображений.
1. Предварительная обработка изображений.
Данный этап включает в себя загрузку изображений в память в пирамидальном представлении (изображение хранится во всех разрешениях, кратных степени двойки от исходного до размером 1 на 1 пиксель), исправление оптических искажений, выравнивание освещенности изображений (для некоторых существующих алгоритмов этого не требуется). При загрузке изображения переводятся из цветного представления в оттенки серого.
2. Координатная привязка изображений (регистрация изображений).
Существует множество алгоритмов координатной привязки изображений, которые можно разделить на две большие группы:
- алгоритмы, основанные на анализе контуров в изображениях,
- алгоритмы, основанные на анализе структуры изображений.
Алгоритмы первой группы хорошо адаптированы применительно к сшивке изображений, имеющих ярко выраженные и контрастные объекты.
Алгоритмы второй группы более универсальны и позволяют обрабатывать сильно за-шумленные изображения и изображения без ярко выраженных объектов. Эти алгоритмы могут быть реализованы одним из двух методов. Первый - это метод поиска особых точек (областей) на изображениях для их координатной привязки. Второй - итерационный метод с применением аппарата гипотез, когда после установления соответствия пары областей проверяется соответствие соседних к ним областей, и если такое соответствие не обнаруживается, то гипотеза отвергается, а поиск соответствующих друг другу областей продолжается до тех пор, пока соответствие областей и соседних с ними областей не будет найдено.
Предлагаемый в данной работе алгоритм относится ко второй группе и реализован итерационным методом с помощью аппарата гипотез.
Основой предлагаемого алгоритма является функция от яркостей пикселей выбранной области изображения, которая может быть записана в полярных координатах в следующем виде:
360
где /(1,0) - яркость пикселя области изображения, находящегося на прямой, проходящей под углом 0 из центра области на расстоянии / от центра области.
Физический смысл этой функции можно выразить в следующем виде: функция М^
является суммой яркостей пикселей, расположенных на расстоянии I от центра области.
Для упрощения ее расчета можно использовать маску, одинаковую для всех областей изображения. Например, на рис. 1 приведен пример маски для областей, имеющих диаметр, равный 6 пикселям.
Рис. 1. Пример маски для расчета функции Мi
Функция М; рассчитывается наложением маски на область, после чего выполняется суммирование яркостей пикселей, имеющих в маске значение I.
Функция М; реализована в экспериментальном программном обеспечении в соответствии с указанным упрощением.
Функция М; обладает следующими свойствами:
инвариантность к операциям поворота области (это следует из формулы (1)), т.е. ее значение не изменяется при вращении области (за исключением погрешностей из-за дискретности изображения), что является обязательным условием поставленной задачи;
для расчета функции М; используется лишь часть от общего числа пикселей, а для расчета всех функций М; считывание яркости каждого пикселя выполняется не более одного раза;
в расчетах используются лишь операции суммирования;
все операции выполняются над целыми числами.
К недостаткам данной функции относится высокая чувствительность к несоответствию освещенностей изображений, поэтому на этапе предварительной обработки освещенности изображений должны быть обязательно выравнены.
Определение того, соответствуют ли две области друг другу, выполняется расчетом суммы квадратов разностей функций М; первой и второй областей по формуле:
Б = £(М\, -М2г)2 (2)
у
Чем меньше Б, тем больше сходство областей.
Координатная привязка изображений выполняется в следующем порядке.
Вначале выбирается базовая область в первом изображении. Обычно ее выбирают в центре изображения, но если два изображения из условий задачи могут иметь область пере-
крытия менее 50%, то координатную привязку необходимо выполнять итерационно 5 раз, выбирая в качестве базовой области первого изображения область в его центре и углах.
Затем итерационным методом обработки всего второго изображения находим такую область во втором изображении, которая наиболее сходна с базовой областью первого изображения и соседние области которой также сходны с соседними областями базовой области первого изображения. Отметим, что для получения высокой точности координатной привязки желательно проверять соответствие и более удаленных областей, но это сильно сказывается на скорости работы алгоритма, поэтому необходимо выбрать определенный порог проверки для удаленных соседних областей.
В результате поиска будет найдена пара областей, на основе которой и выполняется
координатная привязка изображений, как показано на примере (рис. 2). Здесь © - базовая область и соответствующая ей область на втором изображении, точки 1 и 3 - центры изображений, точка 1' - центр первого изображения на втором изображении, S - смещение центра первого изображения относительно второго.
Изображение 1 Изображение 2
Рис. 2. Смещение и поворот первого изображения относительно второго
После выполнения координатной привязки изображений с пониженным разрешением возможно повторное проведение координатной привязки изображений с исходным разрешением для определения более точного соответствия, но поиск соответствующих областей выполняется только в небольшой окрестности относительно рассчитанных на предыдущем этапе координат.
3. Смешивание изображений.
На данном этапе на основе информации о взаимном положении изображений выполняется формирование результирующего изображения методом наложения и смешивания с использованием стандартных алгоритмов [3].
Результатом работы алгоритма является единое изображение.
Результаты моделирования
Моделирование алгоритма проводилось в специально разработанном программном обеспечении, которое позволяет проводить эксперименты для подбора оптимальных для заданных условий параметров алгоритма сшивки изображений для выбранного класса изображений, в данном случае - изображений морского дна.
В таблице приведены результаты моделирования сшивки двух изображений морского дна размером 512 на 512 пикселей. Координатная привязка выполнялась на втором уровне (уровень исходного изображения - нулевой), на котором размер изображений равен 128 на 128 пикселей. Диаметр области поиска - 14 пикселей.
Среднестатистическое время, затраченное на каждый этап сшивки изображений
Этап Время, мс
Загрузка двух изображений 62
Координатная привязка изображений 672
Смешивание изображений 47
Всего 781
Таким образом, моделирование показало, что предложенный алгоритм позволяет сшивать 2 перекрывающихся изображения размером 512 на 512 пикселей менее чем за 1 с на вычислительных средствах типовых ПК (Intel Celeron 2,40 ГГц), что позволяет предположить возможность его дальнейшего использования в реальных системах для задач мониторинга в реальном времени.
СПИСОК ЛИТЕРАТУРЫ
1. Форсайт Д., Понс Ж. Компьютерное зрение. Современный подход: пер. с англ. М.: Вильяме, 2004. 928 с.
2. Harpreet S., Hsu S., Kumar R. Robust video mosaicing through topology inference and local to global alignment // Proc. of the European Conf. on Computer Vision. Princeton, 1998. Vol. 2. P. 103-118.
3. Mukundan R., Ong S. H., Lee P.A. Image analysis by Tchebichef moments // IEEE Transactions on Image Processing. 2001. Vol. 10. N 9. P. 1357-1364.
