CC BY
100
УДК 004.92
СОВРЕМЕННЫЕ НАПРАВЛЕНИЯ В ОБЛАСТИ ПАНОРАМНОЙ СЪЕМКИ RESEARCH OF MODERN TRENDS IN THE FIELD OF PANORAMIC SHOOTING
Аннотация. В данной работе рассмотрены современные разработки в области панорамной съемки. Описаны три различные системы панорамной съемки, использующие различные архитектурные решения в плане построения оптическо-мехатронной части, программного и аппаратного обеспечения. На основе проведенного обзора сделаны рекомендации по построению устройств панорамной съемки.
Resume. In this paper modern developments in the field of panoramic photography are described. We deal with three different systems panorama using different architectural solutions in terms of construction of the optical-mechatronic parts, hardware and software. Based on the review we made recommendations for the panoramic shooting system construction in conclusion.
Ключевые слова: панорамная съемка, панорамы, алгоритм мозаичного совмещения изображений, панорамная съемка с расширенным динамическим диапазоном, система панорамной съемки типа "Паноптикум"
Keywords: panoramic shooting, panorama, mosaic image registration algorithm, panoramic shooting with high dynamic range, panorama shooting system «Panopticon».
Панорамная съемка является современным и прогрессивным подходом к отображению окружающей действительности, которая позволяет избежать многих ограничений традиционной фотографии, сильно ограничивающей пространство изображения. Используя сверхширокоугольную оптику можно обеспечить обзор пространства около 120 градусов, что не сопоставимо с возможностями визуального восприятия человека. Также при использовании широкоугольной оптики невозможно точно предать перспективу сцены: объекты на переднем плане непропорционально большие, в то время как на заднем плане сильно уменьшены.
Развитие фотосенсоров и оптической техники приводит к увеличению разрешения изображения, что вкупе с развитием технологий совмещения изображений дает возможность осуществлять создание панорамной перспективы путем объединения изображений, полученных с нескольких камер. [Szeliski, 1994, p.44-53; Schechner, Nayar, 2001, p. 17-24]
Панорамная съемка позволяет осуществлять обзор пространства в сравнимом с человеческим восприятием виде. В зависимости от типа применяемого оборудования панорамная съемка может охватывать пространство углом от 120 до 360 градусов, единым кадром с соотношением сторон 16:9, 8:1 и выше. [Brown, Lowe, 2007, p.59-73; Afshari et al, 2012, p.49-54]
Известно, что панорамная перспектива может быть получена путем использования широкоугольных объективов, однако, искажения в таком случае неизбежны в виду несовершенства существующих оптических систем. Для решения данной задачи предлагается использовать специальные алгоритмы панорамного совмещения и компоновки нескольких изображений (в некоторых источниках мозаичная компоновка), чтобы нивелировать недостатки классической панорамной съемки сверхширокоугольным объективом. В основе алгоритмов мозаичной компоновки используется механизм распознавания сегментов изображения, с целью установления тождественности между ними и совмещения изображений по определенным координатам тождественных сегментов. [Brown, Lowe, 2007, p.59-73]
Чтобы получить перспективную панораму с глубокой сценой и большим динамическим диапазоном необходимо разрабатывать систему с множеством камер и большим количеством фокусных расстояний и апертур, что приводит к большим вычислительным затратам и необходимости выделения
С.Л. Бабаринов, Д.В. Щепилова S.L. Babarinov, D.V. Shchepilova
Белгородский государственный национальный исследовательский университет, Россия, 308015, Белгород, ул. Победы, 85
Belgorod State National Research University, 85 Pobeda St, Belgorod, 308015, Russia
e-mail: babarinov@bsu.edu.ru, shchepilova@bsu.edu.ru
Введение
больших объемов оперативной и постоянной памяти. В связи со сложностью алгоритмов фиксации и совмещения изображений с различными фокусными расстояниями и экспозицией, требуется особое внимание к производительности аппаратной части, а также эффективности используемых алгоритмов. В случае необходимости создания системы панорамной съемки в реальном масштабе времени к решению этих проблем необходимо подходить с особой тщательностью.
В данной работе приводится обзор особенностей существующих схем устройств панорамной съемки. На основании анализа представленных прототипов устройств будет сформулирован вывод о пригодности использования решений, представленных в этих устройствах, или же их модификации для перспективной системы панорамной съемки.
На основании проведенных исследований, даются существенные рекомендации, которые следует использовать при проектировании собственной системы панорамной съемки.
Система панорамной съемки, основанная на базе PLD с использованием оптимального алгоритма мозаичного совмещения изображений
Одной из перспективных систем панорамной съемки является система, основанная на двух CMOS-фотосенсорах (complementary metal-oxide-semiconductor) и использовании алгоритма оптимального мозаичного совмещения на базе программируемой логической интегральной схемы (PLD - programmable logic device). В первую очередь, необходимо отметить используемые в системе фотосенсоры на базе комплементарной структуры металл-оксид-полупроводник - сенсоры THDBD5MS. Во-вторых, для совмещения изображений используется оригинальный алгоритм мозаичного совмещения изображений. Данный алгоритм был выполнен в программной системе MATLAB и оптимизирован для работы на PLD. В модуль PLD отдельно включены четыре специальных модуля ядра: модуль быстрого преобразования Фурье, модуль преобразования негатива в формате RAW в бинарный формат изображения, модуль преобразованию бинарного изображения в цветовое пространство YUV и модуль памяти SDRAM. [Sen Ma et al, 2011]
После совмещения изображений в модулях PLD изображение формата YUV конвертируется в бинарное (разрешение bmp) изображение формата RGB и выводится через аналоговый графический интерфейс VGA на монитор. Формируется другой поток данных, который передается на сетевой интерфейс Ethernet, который в свою очередь передается на удаленный клиент, снабженный специально разработанным программным обеспечением. В качестве инструмента тестирования полученной системы была использована библиотека функций DE2-70. Исходя из проведенных экспериментов, созданная описанным образом система удовлетворяет требованиям к съемке панорамных изображений. Схема описываемого устройства панорамной съемки приведена на рис. l. [Sen Ma et al, 2011, p. 5]
Рис. 1. Схема рассматриваемого устройства панорамной съемки [Sen Ma et al, 2011, p. 5] Fig. 1. The circuit of the panorama shooting device [Sen Ma et al, 2011, p. 5]
Система панорамной съемки состоит из трех основных компонентов: CMOS-фотосенсора, сетевого интерфейса Ethernet и системы мозаичного совмещения. CMOS-фотосенсор включает в себя два пятимегапиксельных сенсора THDB-D5MS. Каждый из которых, в свою очередь, содержит цепь питания, малошумящий усилитель, блок синхронизации. Система мозаичного совмещения
изображений состоит из модуля преобразования RAW негатива изображения в бинарное изображение стандарта RGB, который отвечает за преобразование сигнала, полученного с фотосенсоров; модуля преобразования бинарного изображения RGB в изображение в цветовом пространстве YUV для сжатия; модуля быстрого преобразования Фурье на котором выполняется алгоритм оптимальной фазовой корреляции. Сетевой интерфейс Ethernet выполнен без использования RTOS и стека TCP/IP для достижения высокой скорости передачи данных. В целом система реализована на базе PLD DE2-70 FPGA. [Sen Ma et al, 2011, p. 6-7]
Чтобы подтвердить работоспособность системы панорамной съемки, приведены следующие изображения: рис. 2(а) и рис. 2(b). На рис. 2 изображен вид системы панорамной съемки на базе PLD ALTERA DE-70 FPGA, с присоединенными к нему CMOS-фотосенсорами типа THDB-D5M, которые можно увидеть в левой части изображения 2(a). На LCD монитор выводится готовое панорамное изображения с выхода платы DE2-70, поступающее через VGA интерфейс. В центре изображения 2(b) установлен Ethernet маршрутизатор, который соединен с модулем панорамной камеры и удаленным терминалом, функции которого выполняет Apple MacBook с установленной ОС Snow Leopard, витой неэкранированной парой. С помощью двух фотосенсоров THDB-D5M CMOS получаются два изображения с разными полями зрения, модуль PLD выполняет сведение изображение в панораму, которая передается на удаленный терминал через Ethernet соединение. Таким образом, результаты работы системы можно наблюдать как локально, так и удаленно, описанная система может быть модифицирована путем увеличения количества камер с целью получения 360 градусной панорамы, что не требует радикального изменения алгоритма совмещения изображений (оптимального мозаичного алгоритма совмещения) и модификации аппаратной части. [Sen Ma et al, 2011, p. 8-9]
Рис. 2. Система панорамной съемки; (a) Общий вид панорамной камеры; (b) Демонстрация работоспособности системы панорамной съемки [Sen Ma et al, 2011, p. 9] Fig. 2. Panoramic Mosaic shooting device; (a) The appearance of Panoramic Mosaic Camera; (b) The Function demonstration of Panoramic Mosaic Camera [Sen Ma et al, 2011, p. 9]
Многокамерная система для съемки панорамного видео с расширенным динамическим диапазоном
Расширенные динамический диапазон изображения в обычном случае может быть получен путем совмещения нескольких снимков, снятых с разными значениями экспозиции. Предыдущие технологии расширенного диапазона видео применяли технологию стекирования кадров различной экспозиции во временной области. В данной разработке предлагается использовать многокамерную систему, которая будет способна обрабатывать панорамное видео с расширенным динамическим диапазоном в масштабе реального времени, со следующими параметрами: разрешение 1024x256 пикселей и частота кадров 25 кадров в секунду. В системе используются камеры с перекрывающими друг друга углами обзора и различной экспозицией, для того чтобы создать 360 панорамное изображение в расширенном динамическом диапазоне. По заявлениям авторов, предлагаемый в системе метод получения видео изображений с расширенным динамическим диапазоном, превосходит предыдущие технологии. Разработанная система базируется на PLD и способна воссоздавать панорамное видео с помощью специального адаптированного аппаратного обеспечения. Измеренная пропускная способность (отдачи видеоматериала) системы оценивается в 245 Мбайт/с, что в сочетании с быстродействием создания панорамного видео расширенного динамического диапазона, по представленным сведениям, является быстрейшей подобной системой в мире. Динамический диапазон измеряется как разница между самым ярким и самым темным пикселем на изображении. [Popovic et al, 2014]
Большинство современных камер не могут получить широкий динамический диапазон, чтобы наиболее естественно передавать глубину сцен, которые могут содержать отличающиеся на несколько порядков энергий, как темных, так и светлых пикселей. Это приводит к эффекту недостаточности
Серия Экономика. Информатика. 2016. № 9 (230). Выпуск 38
контраста изображения в локальных областях. На рис. 3 представлены 3 изображения, снятые при различных значениях экспозиции. Переэкспонированные и недоэкспонированные изображения обладают хорошей детализацией в темных и ярких областях соответственно. [Роро\1с е1: а1, 2014]
(а) (Ь) (с)
Рис. 3. Изображения снятые камерой с различной экспозицией по времени (а) короткая;
(b) средняя, (с) длинная Fig. 3. Images taken with the camera to different exposure over time (a) short;
(b) average, (c) long
Захват и воспроизведение видео с расширенным динамическим диапазоном является сложной задачей в виду множества причин. Большинство систем используют только одну экспозицию, полученную с одной камеры, что приводит к размытию между кадрами при их совмещении в панораму. С другой стороны, используя множество кадров с разными экспозициями полученные с одной камеры вызывают снижение эффективности съемки видео в виду падения количества фиксируемых кадров в секунду. [Popovic et al, 2014]
Большинство систем обработки видео основываются на процессорах (Central processing unit -CPU) или графических процессорах (Graphic processor unit - GPU). Несмотря на то, что GPU специально созданы для обработки больших объемов данных в параллельном режиме, зачастую они не справляются с работой в режиме реального времени. Ключевой особенностью представленной системы является идея использовать множество камер, с перекрывающимися зонами обзора для создания панорамы, при этом на них установлены различные значения экспозиции, синхронизированные для осуществления одновременного снимка. Подобное решение позволяет избежать эффекта размытия, потому что между съемкой кадров с разных камер нет временного разрыва (который может составлять несколько сотен миллисекунд в стандартных камерах). Стоит особо отметить, что, не смотря на разное время экспозиции, время закрытия затвора всех камер синхронизировано, что позволяет осуществить одномоментный снимок, т.е. закрыть затвор всех камер одновременно. На рис. 4 представлен прототип панорамной камеры для съемки видео расширенного динамического диапазона. [Popovic et al, 2014, р.2-3]
(a) (b)
Рис. 4. Прототип панорамной камеры, диаметр - 30 см, граф на рис. (b) представляет собой расположение камер. Желтым обозначены камеры с высоким показателям задержки, зеленым - с низким. Каждая камера может обмениваться данными только с соседом, имеющим иную экспозицию. [Popovic et al, 2014, p.4] Fig. 4. Panoramic Camera Prototype, diameter -30 cm, graph in Figure (b) is an arrangement of cameras. Yellow marked cameras with high rates of delays in green - low. Each camera can only communicate with a neighbor of a different exposure. [Popovic et al, 2014, p.4]
Разработанный прототип включает в себя несколько PLD. Основной PLD является ядром всей системы. Он выполняет функции инициализации системы, синхронизации и коммуникации между камерами и вспомогательными PLD, а также обеспечивает сетевой доступ по Gigabit Ethernet, USB 2.0 и отображение готового панорамного изображения через аналоговый интерфейс VGA. Вспомогательные PLD берут на себя функцию склейки панорамы из изображений, полученных на разных камерах и отправляет его на главный PLD для дальнейшей передачи на ПК. Каждый вспомогательный PLD подключается к 7 камерам и имеет 7 модулей памяти SRAM по 2 мегабайта каждая, в виду ограниченности количество разъемов для подключения на каждом PLD. [Popovic et al, 2014, p.5]
Таким образом, PLD имеет выделенную память, которая позволяет при необходимости загружать в них значения пикселей с нескольких камер. Система рассчитана на максимум 49 камер, для достижения вида полусферической панорамы. Камеры расположены на печатной плате в виде кольца, диаметром 30 см, в качестве фотосенсоров используются дешевые аналоговые камеры с минимальным углом обзора в 46 градусов и работающие с частотой 25 кадров в секунду. Камеры могут взаимодействовать друг с другом через вспомогательные PLD, даже не будучи подключенными к одному PLD, благодаря взаимодействую всех вспомогательных PLD через центральный PLD. Обмен данными между камерами и совмещение изображений происходит без задержки в масштабе реального времени. Схема центрального PLD представлена на рис. 5 (а), схема вспомогательного PLD изображена на рис. 5 (b). [Popovic et al, 2014, p.7]
Рис. 5. Схема многокамерной системы панорамной съемки с расширенным динамическим диапазоном (а) состав центрального PLD;(b) состав вспомогательного PLD [Popovic et al, 2014, p.8] Fig. 5. (a) The circuit of central PLD [Popovic et al, 2014, p.8]
Разработанная система отвечает всем заданным требованием: работает в режиме реального времени, имеет расширенный динамический диапазон, а также позволяет вести съемку с частотой кадров 25 кадров в секунду, используя дешевые аналоговые камеры. [Popovic et al, 2014]
Система многокамерной панорамной съемки типа «паноптикум» с высокой частотой съемки на базе РЮ
Система паноптикум (лат. "Всевидящий") представляет собой полусферу с распределенными по поверхности сферы камерами, каждая из которых имеет свое поле зрение и фокальную плоскость обзора. Такое устройство панорамной съемки позволяет записывать любую информацию об объектах, находящихся вокруг ее центра. В данной системе, для совмещения изображений используются алгоритмы нестандартного Гауссова совмещения и ограниченного Гауссова совмещения. [ Ророу1с et а1, 2014а, р.1-4] Данные алгоритмы позволяют повысить выходное качество панорамного изображения по сравнению со стандартными алгоритмами склейки изображений по перекрывающемуся полю зрения.
Аппаратная часть системы базируется на PLD, что позволяет использовать озвученные алгоритмы в режиме реального времени. В качестве фотосенсоров камер выступают CMOS-сенсоры, с выраженной фокальной плоскостью, рис. 6. Двумя основными преимуществами этих камер являются выигрыш в требованиях к памяти, для хранения снимков и времени совмещения изображений в единую панораму. [Ророшс et а1, 2014а]
(а) (Ъ)
Рис. 6. Вид сбоку камеры системы Паноптикум (a) диаметр 129 мм на 104 камеры и (b) диаметр 30 мм на 15 камер [Popovic et al, 2014a, p.3] Fig. 6. Rear view of Panopticum system (a) - diameter 129 mm, amount of photo sensors 104 (b) diameter 30 mm, amount of photo sensors 15 [Popovic et al, 2014a, p.3]
По сравнению с классическими методами получения панорамных изображений путем перекрывающихся полей зрения камер, которые требуют информацию 8, 5 или 4 размерностей, камеры системы Паноптикум для совмещения использует только информацию об интенсивности света, попадающего на фотосенсоры, т.к. для визуализации панорамы используются специальные параметры калибровки [Popovic et al, 2014a].
Основой аппаратной части является PLD XILINX Virtex5 XC5VLX50-1FF1153C FPGA (FPGA -программируемая пользователем вентильная матрица ППВМ). Данный элемент позволяет обрабатывать данные, поступающие с камер в режиме реального времени. К PLD подключается двенадцати мегапиксельные камеры PIXELPLUS PO4010N single-chip Common Intermediate Format (CIF, 352x288) с углом обзора в 66 градусов. Они выдают на выход 16 битное изображение в формате RGB. Также в PLD заложены алгоритмы, позволяющие учитывать их реальное геометрическое расположение в пространстве для построения правильного панорамного изображения. Количество подключаемых к одному PLD камер зависит от количества имеющихся интерфейсов, для увеличения количества камер возможно использование стекирования PLD. Для улучшения масштабирования системы используются специальные выходы для низковольтной дифференциальной передачи сигналов, которые позволяют использовать последовательные интерфейсы на основе витой пары для подключения дополнительных камер и других устройств. Для быстрой передачи данных из системы Паноптикум на ПК используются USB интерфейс 2.0. В качестве оперативной памяти используются платы SRAM 36 Мегабайт, работающие на частоте 167 Мегагерц. Максимальная пропускная способность такой памяти составляет 3 Гигабита в секунду. На рис. 7 изображена схема панорамной съемки Паноптикум. [Popovic et al, 2014а]
Рис. 7. Структурная схема системы Паноптикум [Popovic et al, 2014a, p.5] Рис. 7. Block diagram of the Panoptic system [Popovic et al, 2014a, p.5]
Используя современные алгоритмы совмещения изображений и продвинутую аппаратную часть система Паноптикум позволяет осуществлять качественную и быструю съемку панорамных
изображений. Однако система требует доработки в виду наличия "призраков" близкорасположенных объектов. Требуется доработка алгоритмов, использующихся для совмещения изображений в панораму.
Заключение
Проведя анализ представленных систем панорамной съемки, были обнаружены их недостатки, и определены особенности построения оптическо-мехатронной и программно-аппаратной части.
Рассмотрев все представленные варианты различных систем панорамной съемки можно сделать вывод о том, что архитектура системы панорамной съемки должна представлять из себя модульную структуру, обеспечивающую легкое наращивание элементов построенную на базе специализированных систем (ПЛИС, ППВМ). Таким образом, основываясь на информации собранной ранее, можно обобщенно представить масштабируемую архитектуру для построения системы панорамной съемки - рис. 8.
Рис. 8. Архитектура системы панорамной съемки Рис. 8. Architecture of panorama shooting system
Модуль фотофиксации состоит из КМОП фотосенсора и объектива, состоящего из массива линз. Для получения глубины изображения необходимо производить одновременную съемку с различными фокусными расстояниями, что уменьшает эффективное разрешение матрицы фотосенсора в i раз (i количество изображений с различным фокусным расстоянием) однако позволяет масштабировать изображение после съемки, т.е. создавать эффект перемещения в трехмерном пространстве. Данные с модуля поступают на локальный блок ППВМ на котором выполняется первичная обработка данных фотофиксации.
Локальные блоки ППВМ выполняют роль первичного сбора и преобразования изображений, полученных с модулей фотофиксации. От количества подключенных модулей фотофиксации зависит объем подключаемой ОЗУ. Объем ОЗУ на один модуль фотофиксации зависит от разрешающей способности фотосенсора и количества кадров с разными точками фокусировки. В данном модуле производится первичное преобразование информации, поступившей от фотосенсора из формата RGB в формат YUV, для уменьшения битового объема информации, используемой для совмещения изображений в панораму. Кроме того, происходит первичное совмещение изображений, полученных с 1 по N модуль фотофиксации в «малую» панораму. Затем данные передаются на центральный блок.
Центральный блок формирования панорамного изображения является сердцем системы и выполняет функции контроля, сбора и преобразования информации, полученной от локальных модулей ППВМ и совмещения полученных изображений по специально сформированному алгоритму в панорамное изображение. Полученные «малые» панорамы от M локальных блоков ППВМ
Серия Экономика. Информатика. 2016. № 9 (230). Выпуск 38
совмещаются в единое панорамное изображение и преобразуются в формат, пригодный для восприятия человеком YUV -> RGB. При необходимости выполняется сохранение изображений на флеш памяти. Персональный компьютер является одним из основных элементов системы. ПК выполняет несколько ролей:
Прием (через сетевой или графический интерфейс) и вывод панорамного изображения посредством монитора;
Управление и изменение параметров и режимов работы системы панорамной съемки.
С помощью протокола TCP/IP возможно передавать информацию, полученную в результате съемки на удаленные терминалы по сети Интернет.
Стоит также отметить, что представляют интерес алгоритмы совмещения изображений, реализованные на основе субполосных представлений [Жиляков и др., 2014]
Работа выполнена при финансовой поддержке на основе соглашения о предоставлении субсидии № 14.581.21.0003 от 29.09.2014 г. в рамках реализации федеральной целевой программы «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2014 -2020 годы».
Szeliski R. 1994. Image mosaicing for tele-reality applications. Proceedings of the second IEEE workshop on applications of computer vision. 44-53.
Schechner Y., Nayar S. 2001. Generalized mosaicing. Proceedings of IEEE international conference on computer vision. 17-24.
Afshari, H., Akin A., Popovic V., Schmid A., Leblebici Y. 2012. Real-time FPGA implementation of linear blending vision reconstruction algorithm using a spherical light field camera. IEEE workshop on signal processing systems. 49-54.
Brown M., Lowe D. 2007. Automatic panoramic image stitching using invariant features. International Journal of Computer Vision. 74(1). 59-73.
Sen Ma, Yuanyuan Shang. 2011. Design of Panoramic Mosaic Camera Based on FPGA Using Optimal Mosaic Algorithm Journal of Computers. 6(7): 1378-1385.
Popovic V., Kerem S. 2014. Multi-camera platform for panoramic real-time HDR video construction and rendering Journal of Real-Time Image Processing. Available at: http://link.springer.com/article/10.1007%2Fs11554-014-0444 (accessed on 20 Aug 2015)
Popovic V., Kerem S. 2014. Image Blending in a High Frame Rate FPGA-based Multi-Camera System. Journal of Signal Processing Systems. 76(2). 169-184.
Жиляков Е.Г., Черноморец А.А., Болгова Е.В. 2014. О разложении изображений по собственным векторам субполосных матриц. Научные ведомости Белгородского государственного университета. Серия: Экономика. Информатика. 15(186): 185-189.
Zhilyakov E.G., Chernomorets A.A., Bolgova E.V. 2014. O razlozhenii izobrazheniy po sobstvennyim vektoram subpolosnyih matrits. [About the expansion of the image the eigenvectors matrix subband] Nauchnyie vedomosti Belgorodskogo gosudarstvennogo universiteta. Seriya: Ekonomika. Informatika. 15 (186): 185-189. (In Russian)
Список литературы References
