CC BY
122
ОПТИЧЕСКИЕ СИСТЕМЫ И ТЕХНОЛОГИИ
OPTICAL ENGINEERING
УДК 004.932.2, 778.534.1
МЕТОДЫ ФОРМИРОВАНИЯ ИЗОБРАЖЕНИЙ СТЕРЕОПАРЫ С ЗАДАННЫМ
ЗНАЧЕНИЕМ П АРАЛЛАКСА В.Г. Чафонова3, И.В. Газеева3
a Санкт-Петербургский государственный университет кино и телевидения, Санкт-Петербург, 191119, Российская Федерация, vi777@nextmail.ru
Аннотация. Предложены два новых взаимодополняющих метода формирования изображений стереопары. Первый из них основан на нахождении максимального значения корреляционной функции между градиентными изображениями левого и правого кадров. Второй метод предполагает нахождение сдвига между двумя сопряженными ключевыми точками изображений стереопары, обнаруженными при помощи детектора точечных особенностей. Методы позволяют с высокой точностью задать выделенному на изображении объекту желаемую величину вертикального и горизонтального параллаксов. Их применение дает возможность измерить значения параллаксов у объектов на готовой стереопаре в пикселах и (или) процентах от общего размера изображения. Это позволяет заранее предсказать возможное превышение допустимых пределов величин параллаксов при печати или проекции стереопары. Предложенные методы легко автоматизируются после выделения на изображении объекта, для которого в дальнейшем будет выставлено заданное значение горизонтального параллакса. Совмещение изображений стереопары методом ключевых точек происходит менее чем за одну секунду. Метод с использованием корреляции требует чуть больше вычислительного времени, однако позволяет контролировать и совмещать неразделенное анаглифное изображение. Предложенные методы формирования стереопары могут найти применение в программах по монтажу и обработке изображений стереопары, в видеоконтрольных устройствах съемочных камер, в устройствах оценки качества видеопоследовательности.
Ключевые слова: вертикальный и горизонтальный параллакс, стереоизображение, изображения стереопары, корреляция, градиент.
METHODS OF STEREO PAIR IMAGES FORMATION WITH A GIVEN PARALLAX VALUE V.G. Chafonova3, I.V. Gazeeva3
3 Saint Petersburg State University of Film and Television, Saint Petersburg, 191119, Russian Federation, vi777@nextmail.ru Abstract. Two new complementary methods of stereo pair images formation are proposed. The first method is based on finding the maximum correlation between the gradient images of the left and right frames. The second one implies the finding of the shift between two corresponding key points of images for a stereo pair found by a detector of point features. These methods give the possibility to set desired values of vertical and horizontal parallaxes for the selected object in the image. Application of these methods makes it possible to measure the parallax values for the objects on the final stereo pair in pixels and / or the percentage of the total image size. It gives the possibility to predict the possible excesses in parallax values while stereo pair printing or projection. The proposed methods are easily automated after object selection, for which a predetermined value of the horizontal parallax will be exposed. Stereo pair images superposition using the key points takes less than one second. The method with correlation application requires a little bit more computing time, but makes it possible to control and superpose undivided anaglyph image. The proposed methods of stereo pair formation can find their application in programs for editing and processing images of a stereo pair, in the monitoring devices for shooting cameras and in the devices for video sequence quality assessment.
Keywords: vertical and horizontal parallax, stereo image, stereo pair images, correlation, gradient.
Введение
Изображения в стереоформате пользуются большой популярностью, однако встречаются случаи, когда их длительный просмотр вызывает дискомфорт и утомление. Во многом это связано с тем, что при создании стереоизображения не были выполнены необходимые требования, предъявляемые к параметрам стереосъемки и формируемым изображениям стереопары.
Обязательным этапом формирования стереоизображения является совмещение отдельно снятых кадров стереопары. В зависимости от значения горизонтального параллакса (рис. 1), заданного какому-либо объекту при совмещении одной и той же стереопары, будет меняться пространственное расположение всех объектов в формируемом стереоизображении [1]. Так, объект с заданным нулевым горизонтальным параллаксом воспринимается в плоскости рампы или экрана (рис. 2). Предметы, расположенные ближе данного объекта, имеют отрицательный горизонтальный параллакс и отображаются в предэкран-ном пространстве. Предметы, расположенные дальше данного объекта, имеют положительный горизонтальный параллакс и воспринимаются за экраном.
Для комфортного восприятия стереоизображения существует ряд требований, предъявляемых к величине параллаксов:
2
- вертикальный параллакс стереопары должен быть равен нулю;
- объекты на изображении, воспринимаемые в плоскости рампы (или экрана), должны иметь нулевой горизонтальный параллакс;
- горизонтальные параллаксы объектов, воспринимаемых в предэкранном и заэкранном пространствах, не должны превышать предельных значений [2, 3].
Для объектов, воспринимаемых за экраном, положительный горизонтальный параллакс на экране не должен превышать величину, равную базису зрения ВЗР (расстояние между оптическими центрами левого и правого глаз человека [4]). Для среднего наблюдателя ВЗР = 65 мм. При величине параллакса, равном ВЗР, объект, находящийся в заэкранном пространстве, воспринимается как бесконечно удаленный, а зрительные оси глаз человека, направленные на данный объект, пересекаются в бесконечности, т.е. параллельны друг другу. Рассматривание стереоизображений с параллаксом, превышающим ВЗР, вызывает дивергенцию (расхождение) зрительных осей глаз, что является причиной утомляемости зрителей, а при увеличенных углах дивергенции - разрушения стереоскопического эффекта [5].
Ал
А
Рв
Рг
Рис. 1. Горизонтальный (Рг) и вертикальный (Рв) параллаксы точки А изображаемого объекта; Ал и Ап - изображение точки А на левом и правом кадрах соответственно (красной линией показан левый кадр стереопары, синей линией - правый)
Стереопара
РГ =0 РГ <0 Рг>0
Плоскость экрана
©
Стереопара
Q
Рг <0 РГ>0
Плоскость экрана
Стереопара
Рг >0 РГ =0 рр>0 Плоскость экрана
©
а б в
Рис. 2. Зависимость воспринимаемого пространственного расположения объектов в стереоизображении от
значения величины горизонтальных параллаксов: параллакс стереопары имеет положительное, отрицательное и нулевое значения (а); параллакс стереопары имеет отрицательное и нулевое значения (б); параллакс стереопары имеет положительное и нулевое значения (в)
Величина максимально допустимого отрицательного горизонтального параллакса ( Р-ах ) на экране определяется из следующего выражения [6]:
а = 2arctg
\Р~ + В
i"1 max i -"зр
2L
где а - угол конвергенции, предельное значение которого составляет 30°; ВЗР - базис зрения, мм; L - расстояние от экрана до глаз зрителя, мм. Так, например, при значении L = 1250 мм и PMAX = 600 мм, а также при значении L = 1500 мм и PMAX = 740 мм угол а = 30°. Величина а уменьшается с увеличением L и увеличивается при возрастании PMAX . При значении L = 1500 мм и PMAX = 600 мм а = 25°.
При совмещении изображений стереопары возникает проблема точного задания необходимого значения параллаксов. Во многих имеющихся на сегодняшний день программах по обработке и совмещению кадров стереопары задание величины параллаксов осуществляется весьма приблизительно (вручную, на глаз) путем перемещения ползунков курсором. При этом точность совмещения изображений невелика, поскольку во многом зависит от зрительного восприятия человека, формирующего стереопару. При неточном совмещении левого и правого кадров могут возникнуть нежелательные параллаксы, величина которых увеличивается пропорционально увеличению размеров печатной фотографии или размеров экрана, на который проецируется полученное изображение.
Известны компьютерные программы, например, «StereoPhoto Maker» (URL: http://stereo.jpn.org/eng/stphmkr), в которых существует возможность совмещения изображений стереопары в автоматическом режиме. Однако при этом довольно редко удается достичь желаемого результата, так как автоматическое совмещение изображений в данных программах происходит чаще всего по объекту, расположенному в центре кадра на переднем плане снимаемой сцены. А значит, все изображаемые объекты на сформированной стереопаре будут восприниматься только в заэкранном пространстве, что ухудшит зрелищность рассматриваемого стереоизображения.
Таким образом, существующие программные продукты не позволяют в автоматическом режиме и с высокой точностью выполнить совмещение изображений стереопары по желаемому объекту, а также задать определенное значение величины параллаксов. Кроме того, большинство подобных программ не дает возможности измерить величины параллаксов и определить, превысят ли они свои предельные значения при последующем просмотре стереоизображения.
В настоящей работе предлагается описание разработанных авторами методов формирования изображений стереопары, которые позволяют выделить на изображении интересующий объект, выставить для него нулевой вертикальный параллакс и необходимое значение горизонтального параллакса и, таким образом, совместить стереопару, задав данному объекту определенное пространственное расположение в воспринимаемом стереоизображении. Кроме того, разработанные методы позволяют осуществить цифровую конвергенцию изображений стереопары [7], измерить горизонтальный и вертикальный параллаксы стереопары в пикселах и (или) процентах от общего размера изображения, а также определить, не превысят ли они свои допустимые пределы при печати или проекции.
Далее изложены два предлагаемых метода формирования стереопары. Первый основан на нахождении максимальной корреляции между градиентными изображениями левого и правого кадров, второй - на нахождении сдвига между двумя сопряженными ключевыми точками изображений стереопары, обнаруженными при помощи детектора точечных особенностей.
Метод формирования стереопары, основанный на корреляции изображений
Рассмотрим принцип действия метода формирования стереопары, основанного на корреляции изображений, на примере совмещения левого и правого кадров стереопары (рис. 3) по одному из изображенных объектов (статуэтки ангела).
I I
а б
Рис. 3. Исходные кадры стереопары: левый (а); правый (б)
Первым действием задаем требуемое значение горизонтального параллакса для нужного нам объекта. Для данного примера зададим горизонтальный параллакс, равный нулю. Затем красная составляющая левого кадра стереопары, а также зеленая и синяя составляющие правого кадра стереопары объединяются, и на экран выводится анаглифное изображение. Дважды кликнув курсором, задаем координаты двух точек (рис. 4), выделяя тем самым интересующий объект. Далее образуются градиенты левого и правого изображений выделенного объекта (рис. 5).
Рис. 4. Выделение объекта, для которого в дальнейшем будут выставлены заданные значения
параллаксов
Градиентом двумерной функции f (x,y), где x, y - пространственные координаты, а амплитуда f - уровень яркости изображения в этой точке, называется вектор, модуль (длина) которого равен
|Vf| = mag(Vf) = |Gx2 + G^'2 = [(öf /öx)2 + (df /öy)2 ]"2.
Данную величину аппроксимируют с помощью суммы абсолютных величин
Vfl - |Gx| + |Gy| .
Такое приближение равно нулю на областях с постоянной яркостью (цветом) пикселов, и его величина пропорциональна степени изменения яркости на неоднородных областях [8].
После этого корреляционным способом решается задача нахождения позиции на градиенте правого изображения выделенного объекта (рис. 5, б), которая максимально соответствует градиенту левого изображения выделенного объекта (рис. 5, а). Эта позиция является точкой максимума результирующей матрицы корреляции (рис. 6).
/
/г АЛ -'/
■Лт
ш )
а б
Рис. 5. Градиенты изображений выделенного объекта: левого изображения (а); правого изображения (б)
Рис. 6. Изображение матрицы, полученной в результате корреляции
С учетом заданного ранее значения горизонтального параллакса, нулевого вертикального параллакса, а также на основе значений координат точки максимума в матрице корреляции определяется величина сдвига одного градиентного изображения относительно другого, а также размер итоговых кадров стереопары.
Красная цветоделенная матрица итогового левого кадра стереопары, а также зеленая и синяя цвето-деленные матрицы итогового правого кадра стереопары стыкуются вместе, и, таким образом, формируется изображение, предназначенное для просмотра в анаглифных красно-голубых очках (рис. 7). На данном рисунке показано, как точно совмещены левый и правый кадры стереопары. Вертикальный и горизонтальный параллаксы выбранного объекта (статуэтка ангела), измеренные в пикселах, равны нулю.
а б
Рис. 7. Анаглифное изображение, сформированное методом, который основан на корреляции
изображений (а), и его фрагмент (б)
В работе использован программный пакет MATLAB R2013b, процессор Intel(R) Core™ i3-2330M с тактовой частотой 2,20 ГГц и ОЗУ 3,00 ГБ, 64-разрядная операционная система Windows 7.
Метод формирования стереопары, основанный на применении детектора точечных особенностей
Рассмотрим принцип метода формирования стереопары, основанного на применении детектора точечных особенностей, на примере совмещения тех же левого и правого кадров стереопары (рис. 3) по выбранному объекту - статуэтке ангела. Как и в предыдущем методе, вначале задаем требуемую величину горизонтального параллакса для нужного объекта. На одном из изображений, например, левом, при помощи курсора выделяем интересующий объект (рис. 8).
Рис. 8. Выделение объекта, для которого в дальнейшем будут выставлены заданные значения
параллаксов
После того как был выделен объект, формируется бинарное изображение с единицами внутри интересующей области и с нулями - вне нее. Данное бинарное изображение перемножается поэлементно с матрицей левого полутонового изображения, и, таким образом, образуется полутоновое изображение интересующего нас объекта.
При помощи детектора точечных особенностей на полученном изображении и на правом полутоновом изображении определяются соответствующие друг другу ключевые точки (рис. 9).
Для обнаружения сопряженных ключевых точек существуют различные детекторы. Наиболее удобными представляются детекторы FAST (Features from Accelerated Segment Test [10, 11]) и SURF (Speeded Up Robust Features [12, 13]). Однако при использовании алгоритма SURF зачастую обнаружи-
ваются нежелательные посторонние точки, и чтобы их исключить, применяется метод оценки параметров модели на основе случайных выборок RANSAC (RANdom SAmple Consensus [14, 15]).
Рис. 9. Ключевые точки полутонового изображения выделенного объекта на левом кадре, сопряженные с ключевыми точками полутонового изображения правого кадра стереопары
С использованием значений координат пары сопряженных точек, отобранных по значению медианы параллаксов, и на основании заданной вначале величины горизонтального параллакса вычисляются величина сдвига одного изображения относительно другого, а затем и размер итоговых кадров стереопары.
Подобно действиям в предыдущем методе, происходит формирование анаглифного изображения, предназначенного для просмотра в красно-голубых очках (рис. 10). На данном рисунке видно, что изображения совмещены с высокой точностью, обусловленной тем, что вертикальный и горизонтальный параллаксы выбранного объекта (статуэтка ангела), выраженные в пикселах, равны нулю.
а б
Рис. 10. Анаглифное изображение, сформированное методом, который основан на применении детектора
точечных особенностей (а), и его фрагмент (б)
Заключение
Предложенные в работе методы позволяют совмещать изображения стереопары по выбранному объекту с высокой точностью и формировать стереоизображения с любым пространственным расположением. Разработанные методы позволяют измерять горизонтальный и вертикальный параллаксы уже сформированной стереопары и определять, не превысят ли они свои допустимые пределы при печати или проекции. Таким образом, применением на практике представленных методов можно обеспечить необходимые требования к величине параллаксов с целью формирования стереоизображения, комфортного для восприятия.
Методы реализуются практически полностью автоматически, необходимо только выделить объект, для которого в дальнейшем будет выставлено заданное значение горизонтального параллакса. Совмещение изображений стереопары методом ключевых точек происходит менее чем за одну секунду. Метод с использованием корреляции требует чуть больше времени, однако позволяет контролировать и совмещать неразделенное анаглифное изображение.
К возможным областям применения предложенных методов формирования стереопары относится съемка и обработка стереофотографий, стереокинематограф. Представленные методы можно использовать в программах по монтажу и обработке изображений стереопары, в видеоконтрольных устройствах съемочных камер или в устройствах оценки качества видеопоследовательности (применительно к выборочным кадрам), исключая субъективное оценивание.
Литература
1. Мелкумов А.С. Инструментарий для малобюджетной стереосъемки // Мир техники кино. 2011. № 22. С. 25-32.
2. Комар В.Г., Рожков С.Н., Чекалин Д.А. Необходимость нормирования параметров стереопары и сте-реопроекции с целью снижения зрительного дискомфорта в условиях кинозала // Мир техники кино. 2012. № 24. С. 31-44.
3. Елхов В.А., Кондратьев Н.В., Овечкис Ю.Н., Паутова Л.В. Анализ параметров многообъективной съёмки в системе безочкового кинопоказа многоракурсных стереоизображений // Мир техники кино. 2010. № 17. С. 2-7.
4. Рожков С.Н., Овсянникова Н.А. Стереоскопия в кино-, фото-, видеотехнике. Терминологический словарь. М.: Парадиз, 2003. 138 с.
5. Мелкумов А.С. Основы стереографии // Мир техники кино. 2010. № 18. С. 30-38.
6. Рожков С.Н. Особенности восприятия стереоизображения в кинозале // Мир техники кино. 2008. № 10. С. 10-15.
7. Газеева И.В., Тихомирова Г.В., Чафонова В.Г. Алгоритмы цифровой конвергенции изображений стереопары // Мир техники кино. 2014. № 1 (31). С. 10-17.
8. Гонсалес Р., Вудс Р., Эддинс С. Цифровая обработка изображений в среде MATLAB. М.: Техносфера, 2006. 616 с.
9. Гонсалес Р., Вудс Р. Цифровая обработка изображений. М.: Техносфера, 2005. 1072 с.
10. Rosten E., Drummond T. Machine learning for high-speed corner detection // Proc. 9th European Conference on Computer Vision ECCV 2006. Graz, Austria, 2006. V. 3951 LNCS. P. 430-443.
11. Rosten E., Porter R., Drummond T. Faster and better: a machine learning approach to corner detection // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2010. V 32. N 1. P. 105-119.
12. Bay H., Ess A., Tuytelaars T., Van Gool L. Speeded up robust features (SURF) // Computer Vision and Image Understanding. 2008. V. 110. N 3. P. 346-359.
13. Rosten E., Drummond T. Fusing points and lines for high performance tracking // Proc. 10th IEEE International Conference on Computer Vision. 2005. V. 2. P. 1508-1515.
14. Волкович А.Н., Жук Д.В., Тузиков А.В. Восстановление трехмерных моделей объектов по стереоизображениям с учетом распараллеливания // Научно-технический вестник СПбГУ ИТМО. 2008. № 58. С. 3-10.
15. Гошин Е., Фурсов В.А. Метод согласованной идентификации в задаче определения соответственных точек на изображениях // Компьютерная оптика. 2012. Т. 36. №1. С. 131-135.
Чафонова Виктория Германовна —
Газеева Ирина Варисовна
аспирант, Санкт-Петербургский государственный университет кино и телевидения, Санкт-Петербург, 191119, Российская Федерация, vi777@nextmail.ru
кандидат технических наук, доцент, доцент кафедры, Санкт-Петербургский государственный университет кино и телевидения, Санкт-Петербург, 191119, Российская Федерация, igazeeva@mail.ru
Viktoriya G. Chafonova Irina V. Gazeeva
postgraduate, Saint Petersburg State University of Film and Television, Saint Petersburg, 191119, Russian Federation, vi777@nextmail.ru PhD, Associate professor, Associate professor, Saint Petersburg State University of Film and Television, Saint Petersburg, 191119, Russian Federation, igazeeva@mail.ru
Принято к печати 02.06.14 Accepted 02.06.14
