CC BY
214
УДК 681.5
СОЗДАНИЕ ПАНОРАМНЫХ ИЗОБРАЖЕНИЙ С ИСПОЛЬЗОВАНИЕМ МЕТОДА ЛОКАЛЬНЫХ ОБЛАСТЕЙ
Д.В. Чеховский, М.Б. Цудиков
Рассмотрен процесс создания панорамных изображений из нескольких кадров с узким углом обзора по горизонтали. Исследован метод сшивания двух соседних кадров с использованием особых точек. Предложена методика ускорения процесса сшивания изображений. Проведен поиск связанных областей пикселей на бинарном изображении. Получен алгоритм для выбора локальных областей (окон) на изображении.
Ключевые слова: системы панорамного видеонаблюдения, особые точки, сшивание изображений, бинарное изображение.
Одним из способов создания панорамного изображения является «сшивание» кадров обычного формата с небольшим углом обзора в единое изображение с углом обзора по горизонтали от 180° [3]. Смежные кадры при этом должны иметь некоторое перекрытие, так как при соединении их без зоны перекрытия (встык) на границах соединения изображений будут наблюдаться искажения и неточности «сшивания», связанные с механическими люфтами объектива, аберрациями, отсутствием программного сопоставления изображений. В связи с этим возникает задача соединения соседних кадров в единое изображение по некоторой линии («шву»), лежащей в зоне перекрытия. Для реализации этого на соседних кадрах надо найти так называемые особые (реперные) точки и провести через них прямую, которая и будет являться «швом».
Необходимо заметить, что особые точки могут перемещаться вместе с объектами, к которым они принадлежат. Поэтому возможны ситуации, когда на соседних кадрах будут найдены подходящие для «шва» особые точки, но за время перемещения объектива они изменят свое положение в пространстве и полученные линии «швов» на соседних кадрах не будут совпадать. Для отбраковки таких «швов» необходимы еще два условия:
1) необходимо проверять на совпадение расстояние Ь между особыми точками А и Б на каждом сшиваемом кадре;
2) необходимо проверять на совпадение угол а между «швом» и, например, верхней границей изображения.
Эти два условия позволяют отбросить несовпадающие линии
«шва».
Анализ реальных изображений показал, что на изображении размером 1024x768 пикселей может быть найдено несколько тысяч особых точек, которые будут обрабатываться от 20...30 с до 50...60 с [4]. Это не позволяет проводить обработку изображения в реальном масштабе времени,
330
поэтому необходимо разработать методику скоростного поиска особых точек. Для повышения скорости анализа области перекрытия предлагается работать с локальными участками, принадлежащими данной области: например, узкой полосой или небольшим «окном» на общем участке изображений.
В качестве окон на общей области двух кадров размером (0, N; 0, M) предлагается использовать N/M квадратов размером (0, N; 0, N). Поскольку краевые области изображения подвержены абберациям, не желательно совмещать начала координат общей полосы и окна. Образовавшимися участками у верхней и нижней границ изображения (составляющими остаток от деления N/M) пренебрегаем. Как показали предыдущие исследования [4], для анализа достаточно иметь окно размером 128*128, на котором может быть найдено от нескольких десятков до сотен особых точек, что является достаточным для построения линии «шва».
Однако на практике может оказаться, что отдельном окне не будет нужной информации или она будет избыточна. В связи с этим возникает необходимость предварительной оценки обрабатываемых окон, главным критерием которой будет прогнозируемое количество особых точек.
Особые точки обычно получают как первую или вторую производную функции яркости, т.е. они находятся на границах объектов, поэтому их наличие можно оценить объектами, присутствующими на сцене. Одним из простейших способов выделения объектов является бинаризация изображения.
Для бинаризации изображений при решении задач распознавания образов и обработки изображений широко применяется метод Оцу [1]. Данный алгоритм выполняет пороговую бинаризацию полутоновых изображений. В основе метода лежит предположение, что на изображении присутствует два класса пикселей: текстовые и фоновые, для которых существует оптимальный порог яркости. Порог яркости выбирается таким образом, чтобы дисперсия внутри каждого из двух классов пикселей была минимальна.
Порог яркости вычисляется как взвешенная сумма дисперсий текстовых и фоновых пикселей.
)=wiК)+w2(t )s 2(t l (1)
где Wj — веса, т.е. вероятности двух классов, разделенных порогом t;
2
Gj — дисперсия этих классов.
Минимизация дисперсии внутри класса равносильна максимизации дисперсии между классами [1]:
°2 (t)=G2 - (t) = w(t)w2(tbi(t) - m2(t)]2. (2)
Дисперсия выражается как вероятность wj и среднее арифметиче-
ское класса т.
Следующим шагом за преобразованием полутонового изображения в бинарное будет подсчет объектов (связанных областей пикселей).
На изображении связанной областью является множество смежных пикселей, т.е. соседних пикселей, уровень яркости которых удовлетворяет заданному критерию сходства (в данном случае пиксели с яркостью I = 1). Существует несколько видов смежности пикселей [2]:
1) 4-смежность. Два пикселя р и д являются 4-смежными, если д входит в множество ЫЛ( р), т.е. существует ортогональный 4-связный путь между ними, который целиком состоит из пикселей заданного уровня яркости (рис. 2, а).
2) 8-смежность. Два пикселя р и д являются 8-смежными, если д входит в множество Ы8(р), т.е. 8-связный путь между ними, который целиком состоит из пикселей заданного уровня яркости (рис. 2, б).
3) смешанный тип смежности, когда пиксели р и д могут входить сразу в несколько подмножеств.
В рамках поставленной задачи предварительно отбраковки окон использование смешанного типа смежности представляется избыточным.
Рис. 1. Типы смежностей пикселей
Для определения количества связанных областей используем следующий алгоритм. Пусть У - связанная область пикселей из множества А, на которой известна точка у е У. Тогда все элементы связанной области пикселей У можно получить исходя из следующего соотношения:
Хк = (Хк-1 ®Б) п А, к=0, 1, 2, 3. , (3)
где Х0 = у, В - подходящий примитив, например, 8-связная область. Если Хк = Хк_1, то следовательно алгоритм сходится и У = Хк.
Взятие пересечения с множеством А на каждом шаге итерации исключает из результатов дилатации те положения центра, которые приходятся на нулевые элементы [2].
Для проверки взаимосвязи количества связанных областей пикселей с количеством особых точек была проведена серия компьютерных экспериментов. Сравнения производились на серии тестовых изображений с разрешением 128*480 средствами программного пакета МЛТЬЛВ. Данный размер тестируемых изображений был выбран исходя из того, что для сшивания будут использоваться изображения с разрешением 640*480 с
332
общей полосой в 20%.
Очевидно, что нельзя провести однозначную связь между количеством связанных областей и особых точек (например, в силу меняющегося во времени уровня освещенности некоторые объекты могут пройти (или наоборот - не пройти) через порог яркости Ґ). И действительно, при большом количестве особых точек полученное количество связанных областей не всегда объективно отражает количество особых точек (рис. 3). На рис. 3, а) показано полутоновое исходное изображение с отмеченными белыми звездами особыми точками, на рис. 3; б) изображено соответствующее ему бинарное изображение, разделенное для удобства анализа на три окна; на рис. 3, в) диаграмма, показывающая соотношение числа особых точек и связанных областей пикселей. Для удобства оценивания исходное изображение разбивалось на три участка.
а) 6) в)
Рис. 2. Данные по количеству связанных областей и особых точек
для тестового изображения №1
Но для изображений с малым количеством особых точек на изображении эксперименты показали более однозначные зависимости, достаточные для предварительной оценки наличия особых точек на кадре (рис.
4).
При этом, время бинаризации общей полосы двух кадров и подсчет связанных областей пикселей составили: для первого изображения 0, 04 с, для второго - 0,03 с. С учетом того, что время поиска особых точек на общей полосе и отдельном окне составили, соответственно, для первого изображения 2,26 с и 0,63 с; для второго - 0,98 с и 0,53 с, работа с выбранным окном позволяет ускорить выполнение программы в 3,27 раза для первого изображения, и 1,71 раза - для второго.
а) б) в)
Рис. 3. Данные по количеству связанных областей и особых точек для
тестового изображения №2
Проведенный анализ поиска особых точек позволяет сделать следующие выводы:
1. Оценка количества объектов на бинарном изображении позволяет удалить из рассмотрения окна с малым количеством особых точек. Такой подход позволяет выбрать перспективные окна для поиска особых точек, которые будут содержать относительно большое количество особых точек (больше 30), и вероятность определения подходящей пары точек для формирования «шва» стремится к единице.
2. Предварительно выбранные окна позволяет уменьшить время работу программы в несколько раз, что позволяет сшивать панораму в режиме реального времени.
Список литературы
1. Otsu N. A threshold selection method from gray-level histograms. IEEE Trans. Sys., Man., Cyber, 9, 1979. P. 62-66.
2. Гонсалес Р., Вудс Р. Цифровая обработка изображений. М.: Техносфера, 2005. 1072 с.
3. Фрост Ли. Панорамная фотография. М.: Арт-родник, 2005. 144с.
4. Чеховский Д.В., Цудиков М.Б., Балясный С.В. Исследование процесса сшивания нескольких кадров в единое изображение. Известия ТулГУ. Технические науки. Вып. 1. Тула: Изд-во ТулГУ, 2013.
С. 306-313.
Чеховский Дмитрий Валериевич, аспирант, dmichekhagmail. com, Россия, Тула, Тульский государственный университет,
Цудиков Михаил Борисович, канд. техн. наук, доц., [email protected], Россия, Тула, Тульский государственный университет.
PANORAMIC IMAGE DEVELOPMENT WITH THE USE OF LOCAL AREAS METHOD
D. V. Chekhovsky, M.B. Tsudickov
Process of several narrow-angle images junction into single one is considered. A method of neighboring images junction with the use of special points is researched. A methodology to decrease image junction time is offered. An extraction of label connected components on a binary image is executed. An algorithm for local areas (windows) selection is received.
Key words: panoramic videomonitoring system, special points, image junction, binary image.
Chekhovsky Dmitry Valerievich, postgraduate, dmichekh@,gmail. com, Russia, Tula, Tula State University,
Tsudickov Mikhail Borisovich, candidate of technical science, docent, tsudickov. mb@yandex. ru, Russia, Tula, Tula State University
