CC BY
144
Автоматический контроль и цифровая коррекция масштаба и взаимного поворота ...
Чафонова В.Г., Газеева И. В., Тихомирова Г.В.
АВТОМАТИЧЕСКИЙ КОНТРОЛЬ И ЦИФРОВАЯ КОРРЕКЦИЯ МАСШТАБА И ВЗАИМНОГО ПОВОРОТА ИЗОБРАЖЕНИЙ СТЕРЕОПАРЫ
В.Г. Чафонова, И.В. Газеева, Г.В. Тихомирова
Санкт-Петербургский государственный институт кино и телевидения (СПбГИКиТ),
Санкт-Петербург, Россия
Аннотация
В статье описывается разработанный авторами метод автоматического контроля и коррекции рассогласования масштабов и взаимного поворота изображений стереопары с использованием цифровой обработки, алгоритм которого реализован в программной среде Matlab. Контроль указанных параметров основан на использовании детекторов точечных особенностей, статистической обработки данных и тригонометрических вычислений. Коррекция выполняется с использованием аффинных пространственных преобразований.
Ключевые слова: изображения стереопары, масштаб изображения, параллакс, цифровая обработка изображений, анализ изображения.
Цитирование: Чафонова, В.Г. Автоматический контроль и цифровая коррекция масштаба и взаимного поворота изображений стереопары / В.Г. Чафонова, И.В. Газеева, Г.В. Тихомирова // Компьютерная оптика. - 2016. - Т. 40, № 1. - С. 112-120. - DOI: 10.18287/2412-6179-2016-40-1-112-120.
Введение
Сегодня стереотехнологии активно развиваются и получают повсеместное распространение. Являясь перспективной областью, стереотехнологии требуют повышенного внимания к качеству создаваемого стереоконтента.
Для того чтобы обеспечить высокое качество стереоизображений, необходимо контролировать, а в некоторых случаях и корректировать параметры стереопары. Контроль и коррекция должны выполняться на всех этапах производства стереоконтента: как при стереосъёмке, так и при монтаже. При этом желательно, чтобы методы контроля и коррекции параметров стереопары были автоматизированными, универсальными и высокопроизводительными.
В стереокино изображение, построенное на плоскости экрана, воспринимается зрителем объёмным благодаря горизонтальному параллаксу и специальным устройствам сепарации, обеспечивающим раздельное наблюдение изображений стереопары левым и правым глазом. Параллакс - взаимное смещение сопряжённых точек в изображениях стереопары. Значение горизонтального параллакса определяет пространственное расположение объектов в передаваемой сцене. Так, например, объекты с нулевым параллаксом будут восприниматься зрителем в плоскости экрана, а объекты с положительным и отрицательным параллаксами будут наблюдаться за экраном и перед экраном соответственно.
Одним из главных условий формирования стереоизображения, комфортного для восприятия зрителями, является отсутствие вертикальных параллаксов. Следует отметить, что съёмка в стереокино ведётся в основном только на параллельных оптических осях. При этом появление вертикальных параллаксов может быть вызвано как взаимным сдвигом съёмочных камер по высоте, так и рассогласованием изображений стереопары по параметрам взаимного поворота и масштаба.
Взаимный поворот и/или сдвиг изображений стереопары могут возникнуть, например, при съёмке с
использованием стереорига, когда камеры разнесены в пространстве и при этом не имеют общей базовой поверхности. Разномасштабность изображений стереопары происходит в случаях, если при стереосъёмке одна их камер расположена дальше другой от снимаемого объекта или у камер не согласованы фокусные расстояния объективов.
Установить съёмочные камеры так, чтобы отсутствовал вертикальный параллакс, достаточно сложно, зачастую в изображениях стереопары может возникнуть геометрическое рассогласование. Исправить данное рассогласование позволяют методы цифровой обработки изображений.
Обзор существующих методов и программ
Различные методы контроля и коррекции геометрического несоответствия пары изображений рассмотрены в работах [1-7]. Так, некоторые из них основаны на использовании ректификации изображений [1-5]. (Ректификация - преобразование, при котором формируются строки соответственных точек на изображениях. При этом правое и левое изображения проецируются на плоскость, параллельную базовой линии, соединяющей оптические центры камер.) Другие методы контроля и коррекции геометрического несоответствия пары изображений основаны на применении метода фазовой корреляции в логарифмических полярных координатах модулей спектров изображений [6], а также на использовании корреляционного подхода с использованием множества шаблонов [7]. Корреляционные методы используют базу данных изображений искомого объекта при различных значениях коэффициента масштабирования и / или угла взаимного поворота (так называемые шаблоны). И при этом с увеличением числа шаблонов существенно возрастает время, необходимое для выполнения коррекции рассогласования изображений, а также объём памяти для хранения набора шаблонов [8].
В большинстве имеющихся на сегодняшний день программ по обработке стереоизображений: как фотографий (“Anaglyph Maker, “Roxio Central”,
112
Компьютерная оптика, 2016, том 40, №1
Автоматический контроль и цифровая коррекция масштаба и взаимного поворота ...
Чафонова В.Г., Газеева И. В., Тихомирова Г.В.
“3DMasterKit”), так и видеопоследовательностей (“Adobe Premier Pro”, “Sony Vegas Pro”, “Final Cut Pro”) - коррекция разномасштабности и поворота одного изображения относительно другого осуществляется «вручную», и при этом точность коррекции во многом зависит от зрения человека, формирующего стереопару, а автоматическая коррекция не предусмотрена. Исключение составляют программы “StereoPhoto Maker”, “StereoMovie Maker” и “Zoner 3D Photo Maker”, в которых имеется возможность автоматической коррекции геометрического рассогласования изображений. Однако во многих случаях результат данной коррекции неидеален, и в изображениях стереопары остаётся вертикальный параллакс.
При этом следует отметить, что наличие вертикального параллакса в изображении стереопары является одной из главных причин утомляемости зрителей при просмотре стереоизображений.
Описываемый в статье метод контроля и цифровой коррекции масштаба и взаимного поворота изображений стереопары основан на обнаружении сопряжённых ключевых точек.
В настоящее время существуют методы коррекции геометрического рассогласования изображений, использующие поиск ключевых точек [9, 10] и определённое по их координатам пространственное преобразование (проективное или др.), однако применять данные методы к изображениям стереопары можно не всегда. Связано это с тем, что точки на изображении одновременно могут быть обнаружены на различных объектах съёмки, в том числе на тех, которые расположены на разных дистанциях (а значит, имеют разный горизонтальный параллакс). Кроме того, как разномасштабность, так и взаимный поворот изображений приводят к изменению и вертикального, и горизонтального параллаксов, что вызывает трудности их дифференцирования друг от друга. Это может стать причиной ошибки при коррекции изображений стереопары при помощи общего пространственного преобразования. Если выполнить коррекцию изображений с помощью локального пространственного преобразования, то ключевые точки одного кадра стереопары совпадут с соответствующими точками другого. И, таким образом, исчезнет не только геометрическое рассогласование изображений, но и горизонтальный параллакс объектов, на которых были обнаружены ключевые точки, что приведёт к потере стереоэффекта.
В разработанном нами методе контроля и цифровой коррекции масштаба и взаимного поворота изображений стереопары при определении геометрического преобразования учитывается наличие различного горизонтального параллакса, что позволяет сохранить исходное пространственное расположение объектов.
Описание разработанного метода
Предлагаемый метод состоит из трёх алгоритмов, последовательно выполняющих:
- автоматический контроль и коррекцию разномасштабности изображений стереопары (при этом
более крупное изображение уменьшается до изображения с меньшим масштабом, что позволяет сохранить максимальное количество объектов композиции по краям кадра при дальнейшей коррекции поворота);
- автоматический контроль и коррекцию взаимного поворота изображений стереопары (при этом необходимо указать, какое из двух изображений не требует коррекции, так как в разработанном методе одно из изображений корректируется относительно другого. В случае использования при съёмке стереорига [11] данным изображением по умолчанию является кадр, полученный камерой, снимающей на просвет, а, соответственно, кадр, полученный камерой, снимающей в отражённых луча х, корректируется);
- цифровую конвергенцию (совмещение) изображений стереопары [12, 13].
В разработанном методе автоматического контроля и коррекции геометрического рассогласования изображений стереопары в качестве детекторов точечных особенностей используется дескриптор SURF [14, 15], который в отличие от других детекторов (например, Harris-Stephens [16], MSER [17], FAST [18]) инвариантен к изменению масштаба и поворота.
Как было сказано выше, для получения точного результата коррекции следует ограничивать область поиска ключевых точек и выбирать их только для объектов, находящихся в одной плоскости дистанций. Чтобы реализовать это в автоматическом режиме и исключить нежелательные посторонние точки, обнаруженные детекторами точечных особенностей, применяется метод оценки параметров модели на основе случайных выборок RANSAC [19, 20], и согласно выражениям (1) и (2) определяются значения горизонтальных параллаксов обнаруженных точек (РГ(п)) и их медианное значение (РМ) соответственно.
РГ (п) = Xп (п) - Xл (п), (1)
Рм = med [РГ (п) Ь (2)
где ХП и ХЛ - координаты по горизонтали ключевых точек на правом и левом изображениях стереопары, выраженные в пикселах и/или в субпикселах; п - номер ключевой точки на правом и левом изображениях стереопары.
Для расчёта коэффициента рассогласования масштабов М отбираются две точки, горизонтальный параллакс которых наиболее близок к медианному значению. Сам коэффициент рассогласования масштабов находится как отношение расстояний между данными точками на левом и правом кадрах стереопары [15].
В соответствии с полученным значением коэффициента рассогласования масштабов корректируется размер одного из изображений стереопары при помощи аффинного пространственного преобразования:
(3)
Г Г x ^
У' X Е-? II У
0 2 0 J
Компьютерная оптика, 2016, том 40, №1
113
Автоматический контроль и цифровая коррекция масштаба и взаимного поворота ...
Чафонова В.Г., Газеева И. В., Тихомирова Г.В.
где
1 /
- матрица-столбец, задающая координаты
каждого пиксела преобразованного изображения, дополненная единицей;
V1 У
- матрица-столбец, задающая координаты
каждого пиксела исходного изображения, дополненная единицей;
Тм - аффинная матрица преобразования. Так как коррекция рассогласования масштабов производится путём уменьшения размера изображения с более крупным масштабом, то матрица преобразования определяется следующим выражением:
С л / Л /Г А А Л
tm —
1/M 0
0 1/M
0 0
(4)
1
Использование аффинной модели преобразования связано с тем, что разработанный метод применяется для случая, когда при съёмке изображений оптические оси камер параллельны друг другу.
Далее происходят контроль и цифровая коррекция взаимного поворота изображений стереопары. Рассмотрим алгоритм выполнения данных операций на примере стереопары, показанной на рис. 1, 2.
Для того чтобы коррекция взаимного поворота изображений стереопары была выполнена с высокой точностью, вначале осуществляется её автоматическое совмещение по точке, расположенной в центральной части изображений. Для этого автоматически выделяются центральные области кадров, которые затем преобразуются в полутоновые изображения. При помощи детектора точечных особенностей на полутоновых изображениях обнаруживаются соответствующие друг другу ключевые точки (рис. 3), по координатам которых определяются значения их горизонтальных и вертикальных параллаксов. Применением статистической обработки данных находится точка, горизонтальный и вертикальный параллаксы которой являются медианными значениями. Данная точка становится точкой совмещения стереопары. Необходимый сдвиг одного изображения стереопары относительно другого по горизонтали Sx и вертикали Sy, выраженный в пикселах, определяется по формулам:
Sx — хП - ХЛ , (5)
Sy— у п - У л , (6)
где хп, уп и хл, ул - координаты точки совмещения кадров стереопары на правом и левом изображениях стереопары соответственно, выраженные в пикселах.
Далее происходит наращивание левого и правого кадров стереопары пикселами с нулевым значением яркости так, чтобы точка совмещения стала центром (точка O на рис. 4). Относительно данной точки в дальнейшем и будет происходить поворот изображения, требующего коррекции.
Рис. 1. Исходная стереопара, кадры которой имеют взаимный поворот: а) левый кадр; б) правый кадр
Рис. 2. Анаглифное изображение, образованное объединением левого и правого кадров стереопары
Одно из изображений стереопары условно разделяется на так называемые четыре квадранта, и для каждого из них определяются сопряжённые ключевые точки.
На рис. 5 и 6 приведён пример определения угла поворота для одного из квадрантов. На основании координат точки на неискажённом кадре стереопары (точка А) и сопряжённой с ней точки на искажённом кадре стереопары (точка B) определяются координаты точки С, положение которой соответствует точке В после коррекции поворота. При
114
Компьютерная оптика, 2016, том 40, №1
Автоматический контроль и цифровая коррекция масштаба и взаимного поворота ...
Чафонова В.Г., Газеева И. В., Тихомирова Г.В.
этом CO = BO. Так как необходимо учитывать наличие горизонтального параллакса, положение точки С должно быть на одной горизонтальной линии, что и точка А.
а) б)
Рис. 3. Обнаруженные ключевые точки при помощи детектора точечных особенностей SURF на полутоновых изображениях центральных областей кадров стереопары
Рис. 4. Анаглифное изображение стереопары, центр которого является точкой совмещения (изображение показано инвертированным)
Г оризонтальный параллакс стереопары после коррекции поворота показан на рис. 6а в виде отрезка СА. Из треугольника BOC (рис. 6) определяется необходимый угол поворота а одного изображения стереопары относительно другого:
cos а =
BO2 + CO2 - BC2 2BOCO
(7)
а) б)
Рис. 5. Сопряжённые точки полутоновых изображений одного из квадрантов стереопары, обнаруженные при помощи детектора точечных особенностей изображений SURF на левом (а) и правом (б) кадрах (изображения показаны инвертированными)
В случае, если точка A расположена выше точки B, т.е. координата точки A по оси у меньше координаты точки B, коррекция изображений на угол а будет происходить против часовой стрелки, а знак угла а
будет отрицательным, и наоборот, если точка A расположена ниже точки B, поворот на угол а будет осуществляться по часовой стрелке.
Рис. 6. Схема, поясняющая определение необходимого угла поворота изображения (а) на примере одного из квадрантов (б) (изображение показано инвертированным)
Для каждого из четырёх квадрантов определяется свой угол поворота, и из полученных значений вычисляется медианное значение - угол а, на который в итоге будет повёрнуто всё изображение целиком.
Аффинная матрица преобразования Тп, предназначенная для коррекции поворота изображения на угол а, записывается следующим образом:
Т
п ~
г
V
cos a sin a - sin a cos a 0 0
0 Л 0 1,
(8)
Для вычисления яркости выходных пикселов преобразованного изображения по умолчанию применяется билинейная интерполяция [11]. Однако в данном алгоритме имеется возможность выбрать другой метод интерполяции, если это необходимо.
Для того чтобы итоговые кадры стереопары после коррекции поворота имели одинаковый размер, изображения обрезаются по краям.
На рис. 7 показана итоговая стереопара после цифровой коррекции поворота изображений, представленных на рис. 1. Она предназначена для просмотра в ана-глифных красно-голубых очках. Можно заметить, насколько точно выполнена коррекция поворота. Угол, нео бходимый для коррекции, составил 7°54’.
Компьютерная оптика, 2016, том 40, №1
115
Автоматический контроль и цифровая коррекция масштаба и взаимного поворота ...
Чафонова В.Г., Газеева И. В., Тихомирова Г.В.
Совмещение стереопары, показанной на рис. 7, было выполнено автоматически по объекту, расположенному в центре (ваза).
Рис. 7. Анаглифное изображение стереопары после цифровой коррекции поворота разработанным алгоритмом (а) и его фрагмент (б)
Если необходимо, чтобы пространственная композиция стереоизображения воспринималась только в предэкранном пространстве, стереопара автоматически совмещается по дальнему объекту, имеющему максимальное положительное значение горизонтального параллакса, а если необходимо, чтобы пространственная композиция воспринималась только за экраном, стереопара будет автоматически совмещаться по ближнему объекту, который имеет максимальный отрицательный горизонтальный параллакс.
Совмещение стереопары можно выполнить и по любому другому объекту пространственной композиции. Разработанный нами метод контроля и коррекции разномасштабности изображений для случая совмещения стереопары по выделенному объекту описан в статье [13].
Тестирование разработанного метода
Для анализа эффективности разработанного метода контроля и цифровой коррекции геометрических параметров изображений стереопары совместим с помощью данного метода кадры, полученные съёмкой камерами, имеющими несогласованные фокусные расстояния и взаимный поворот относительно друг друга (рис. 8).
Вначале совместим данные изображения в программах “Zoner 3D Photo Maker” и “StereoPhoto Maker”. На рис. 9а показано анаглифное изображение исходной стереопары, а на рис. 9б и рис. 10 - её анаглифное изображение после совмещения в программах “Zoner 3D Photo Maker” и “StereoPhoto Maker” соответственно.
На представленных рисунках видно, что в автоматическом режиме совмещения кадров программы “Zoner 3D Photo Maker” коррекция геометрического рассогласования изображений не произошла (рис. 9б). В автоматическом режиме программы “StereoPhoto Maker” (рис. 10) коррекция осуществилась, однако в изображении сформированной стереопары сохранился вертикальный параллакс (в центре - от 1 до 2 пикселов, по краям - от 1 до 4 пикселов) и размер стереопары уменьшился, вследствие чего некоторые объекты на изображении обрезались. Это совершенно недопустимо для стереокадров, поскольку при демонстрации изображения с обрезанными деталями объектов возникает эффект «отжимающего действия рамки (экра-
на)» [21, 22]. Кроме того, изображения стереопары оказались оба повёрнуты и совмещены по объекту, расположенному на переднем плане снимаемой сцены. При просмотре такого стереоизображения все объекты будут восприниматься только в заэкранном пространстве, что ухудшит его зрелищность.
Рис. 8. Исходная стереопара, кадры которой имеют геометрическое рассогласование (масштаб и поворот): а) левый кадр, б) правый кадр
Рис. 9. Анаглифное изображение стереопары: а) исходное, б) сформированное в автоматическом режиме программы
“Zoner3D Photo Maker ”
При помощи разработанного метода контроля и цифровой коррекции масштаба и взаимного поворота изображений стереопары можно выполнить коррекцию геометрического рассогласования изображений с высокой точностью. На рис. 11 показаны кадры стереопары после коррекции рассогласования масшта-
116
Компьютерная оптика, 2016, том 40, №1
Автоматический контроль и цифровая коррекция масштаба и взаимного поворота ...
Чафонова В.Г., Газеева И. В., Тихомирова Г.В.
бов предложенным методом. Для представленного примера коэффициент рассогласования масштабов М равен 1,65.
Рис. 10. Итоговое анаглифное изображение стереопары, сформированное в автоматическом режиме программы “StereoPhoto Maker ” (а), его фрагменты (б, в)
Рис. 11. Изображения стереопары после коррекции рассогласования масштабов разработанным методом: левый кадр (а) (изображение показано инвертированным), правый кадр (б)
На рис. 12 показано итоговое анаглифное изображение, полученное после коррекции взаимного поворота изображений стереопары предложенным методом.
Для рассматриваемого примера угол, необходимый для коррекции, составил 5°30’. Изображения стереопары автоматически совмещены по объекту, имеющему максимальный положительный горизонтальный параллакс. Можно заметить, насколько точно выполнена коррекция геометрического рассогласования изображений. Вертикальные параллаксы всех изображённых объектов, измеренные в пикселах, равны нулю. Кроме того, в отличие от совмещения изображений, осуществлённого в программе “StereoPhoto Maker” (рис. 10), все изображённые объекты на левом кадре сохранились.
Длительность выполнения совмещения и цифровой коррекции изображений размером 2048 х 1536
пикселов алгоритмом, реализованным в программной среде Matlab, составила около 20 с. Из них большая часть времени была затрачена на контроль и коррекцию поворота (9,5 с) и рассогласования масштаба (6,8 с). В случае, если необходимо применить одно и то же значение коэффициента рассогласования масштабов и угла поворота для коррекции серии кадров, можно воспользоваться комбинированным геометрическим преобразованием.
в)
Рис. 12. Итоговое анаглифное изображение стереопары, совмещённое разработанным методом по выбранному объекту (а), его фрагменты (б, в)
Аффинная матрица Т, необходимая для комбинированного геометрического преобразования, определяется по формуле:
T = Тм ХГП, (9)
где Тм - аффинная матрица преобразования масштаба, которая записывается согласно выражению (4),
Тп - аффинная матрица преобразования поворота, которая записывается согласно выражению (8).
Применение комбинированного аффинного преобразования позволяет уменьшить время коррекции серии кадров стереопары.
Заключение
Таким образом, разработанный метод контроля и цифровой коррекции геометрических параметров изображений стереопары позволяет автоматизировать и осуществить контроль и, если необходимо, коррекцию рассогласования масштабов и взаимного поворота изображений стереопары, снятых на параллельных оптических осях, сохраняя исходное соотношение горизонтальных параллаксов. В процессе коррекции взаимного поворота изображений стереопары одно из изображений корректируется относительно другого.
Также, выделив желаемый объект, разработанный метод позволяет выставить для данного объекта нулевые вертикальный и горизонтальный параллаксы или же задать ему другой положительный (или отрицательный) горизонтальный параллакс и получить стереоизображение с различным пространственным расположением. При этом если совмещение стереопары осуществляется не по выбранному объекту, а по объекту, имеющему определённое значение горизонтального параллакса, отдельно выделять объект не требуется.
Компьютерная оптика, 2016, том 40, №1
117
Автоматический контроль и цифровая коррекция масштаба и взаимного поворота ...
Чафонова В.Г., Газеева И. В., Тихомирова Г.В.
Проведённые в программной среде Matlab исследования эффективности разработанного метода показали, что данный метод контроля и цифровой коррекции параметров изображений стереопары является достаточно быстродейственным и позволяет обрабатывать стереопары вне зависимости от размеров исходных кадров, разрешения, степени сжатия изображений и эффективен даже в том случае, когда кадры стереопары сняты при различном освещении и при наличии шума в изображениях. Детекторы точечных особенностей, на которых основана работа представленного метода, позволяют определять ключевые точки на всех перечисленных вариантах изображений, а значит, для каждого из них может быть выполнен контроль и коррекция параметров.
Предложенные алгоритмы контроля и коррекции параметров изображений стереопары могут быть внедрены в состав автоматизированных измерительно-вычислительных комплексов, предназначенных для выявления ошибок, допущенных при стереосъёмке, а также стать частью программ по обработке и монтажу изображений стереопары.
Разработанный метод может применяться на всех этапах создания стереоизображения: как при
настройке камер для стереосъёмки, так и на этапе последующей обработки отснятого материала. Предлагаемый метод может быть использован на киностудиях и фотостудиях, в кинотеатрах и компаниях, осуществляющих прокат фильмов в стереоформате, в организациях, занимающихся переводом плёночных стереофильмов в цифровой формат. Разработанные методы могут быть востребованы у операторов и режиссеров стереокино, монтажёров, фотографов, а также учёных, выполняющих научно-исследовательскую работу с использованием стереосъёмки и цифровой обработки изображений стереопар.
Кроме того, разрабатываемый метод может быть использован не только в области стереокино, стереофотографии и стереотелевидения, но и во всех областях, где занимаются созданием изображений в стереоформате, и практически во всех областях, где требуются контроль и коррекция геометрического рассогласования изображений, снятых на параллельных оптических осях.
Литература
1. Ватолин, Д.С. Исследование артефактов в стереокино и
примеры анализа кинокартин / Д.С. Ватолин, А.А. Воронов, В.В. Нападовский, А.В. Борисов // Запись и воспроизведение объёмных изображений в кинематографе и других областях: IV Международная научно-
техническая конференция, Москва, 26-27 апреля 2012 г.: Материалы и доклады. - М.: МКБК, 2013. - С. 150-154. - ISBN 978-5-904275-05-1.
2. Fusiello, A. A compact algorithm for rectification of stereo pairs / A. Fusiello, E. Trucco, A. Verri // Machine Vision and Applications. - 2000. - Vol. 12. - P. 16-22. - ISSN 0932-8092.
3. Mallon, J. Projective rectification from the fundamental matrix / J. Mallon, P. Whelan // Image and Vision Computing. - 2005. - Vol. 23. - P. 643-650. - ISSN 0262-8856.
4. Su, H. Stereo rectification of calibrated image pairs based on geometric transformation / H. Su, B. He // International
Journal of Modern Education and Computer Science. -
2011. - Vol. 3(4). - P. 17-24. - ISSN: 2075-0161.
5. Methodology for stereoscopic motion-picture quality assessment [Электронный ресурс]. - URL: http://www.com-pression.ru/video/vqmt3d/ (дата обращения 01.09.2015).
6. Reddy, B.S. An fft-based technique for translation, rotation, and scale-invariant image registration / B.S. Reddy, B.N. Chat-terji // IEEE Trans. Pattern Analysis and Machine Intelligence. - 1996. - P. 1266-1270. DOI: 10.1109/83.506761. -ISSN 1057-7149.
7. Прэтт, У. Цифровая обработка изображений / У. Прэтт; пер. с англ. - М.: Мир, 1982. - 312 с.
8. Чемерис, Д.С. Исследование методов определения геометрического рассогласования двух изображений для решения задачи оптического наведения и стыковки подводного робота / Д.С. Чемерис, И.Н. Бурдинский // Проектирование инженерных и научных приложений в среде MATLAB: материалы V Международной научной конференции. - Харьков: ФЛП Шейнина Е.В. [Электронный ресурс]. - 2011. - URL: http://matlab.ru/up-load/resources/EDU%20Conf/pp%20465-470%20Cheme-ris.pdf (дата обращения 07.09.2015).
9. Гонсалес, Р. Цифровая обработка изображений / Р. Гонсалес, Р. Вудс; пер. с англ. - М.: Техносфера, 2005. -1072 с.
10. Красильников. Н.Н. Цифровая обработка 2D- и 3D-изображений: учебное пособие для студентов вузов, обучающихся по направлению подготовки 230400 «Информационные системы и технологии» / Н.Н. Красильников. - СПб.: БХВ-Петербург, 2011. - 608 с.
11. Mendiburu, B. 3D Movie Making: Stereoscopic Digital Cinema from Script to Screen / B. Mendiburu. - USA: Elsevier, Inc., 2009. - 223 p. - ISBN 978-0-240-81137-6.
12. Газеева, И. В. Алгоритмы цифровой конвергенции
изображений стереопары / И.В. Газеева,
Г.В. Тихомирова, В.Г. Чафонова // Мир техники кино. -2014. - № 31. - С. 10-17. - ISSN 1991-3400.
13. Чафонова, В.Г. Автоматизация контроля и коррекции разномасштабности изображений стереопары / В. Г. Ча-фонова, И.В. Газеева, Г.В. Тихомирова // Мир техники кино. - 2014. - № 33. - С. 19-31. - ISSN 1991-3400.
14. Чертихин, А.А. Использование алгоритма поиска ключевых точек в информационной системе, обеспечивающей стабильность кадра при оцифровке архивных киноматериалов / А.А. Чертихин, А.И. Винокур // Мир техники кино. - 2012. - № 26. - С. 20-24. - ISSN 1991-3400.
15. Bay, H. SURF: Speeded Up Robust Features / H. Bay, A. Ess, T. Tuytelaars, L.V. Gool // Computer Vision and Image Understanding. - 2008. - Vol. 110(3). - P. 346-359. DOI: 10.1016/j.cviu.2007.09.014.
16. Harris, C. Corner and Edge Detector / C. Harris, M. Stephens // Proceeding of the 4th Alvey Vision Conference. -1988. - P. 147-151.
17. Matas, J. Robust wide baseline stereo from maximally stable extremal regions / J. Matas, O. Chum, M. Urba, T. Pajdla // Proceedings of British Machine Vision Conference. - 2002. - P. 384-393. - ISBN 1-901725-19-7.
18. Rosten, E. Faster and better: A machine learning approach to corner detection / E. Rosten, R. Porter, T. Drummond // IEEE Trans. Pattern Analysis and Machine Intelligence. - 2010. -Vol. 32(1). - P. 105-119. DOI: 10.1109/TPAMI.2008.275. -ISSN 0162-8828.
19. Гошин, Е. Метод согласованной идентификации в задаче определения соответственных точек на изображениях / Е. Гошин, В. А. Фурсов // Компьютерная оптика. - 2012. - Т. 36, №1. - С. 131-135. - ISSN 0134-2452.
118
Компьютерная оптика, 2016, том 40, №1
Автоматический контроль и цифровая коррекция масштаба и взаимного поворота ...
Чафонова В.Г., Газеева И.В., Тихомирова Г.В.
20. Форсайт, Д. Компьютерное зрение. Современный подход / Д. Форсайт, Ж. Понс; пер. с англ. - М.: Издательский дом «Вильямс», 2004. - 928 с.
21. Мелкумов, А. С. Основы стереографии / А.С. Мелкумов // Мир техники кино. - 2010. - № 18. - С. 30-38. -ISSN 1991-3400.
22. Раев, О.Н. Эффект отжимающего действия рамки при демонстрации цифровых стереофильмов / О.Н. Раев // Мир техники кино. - 2012. - № 26. - С. 25-29. -ISSN 1991-3400.
Сведения об авторах
Чафонова Виктория Германовна, 1989 года рождения, в 2011 году окончила Санкт-Петербургский государственный институт кино и телевидения. В 2014 году защитила диссертацию на соискание степени кандидата технических наук. В настоящее время работает старшим преподавателем кафедры киновидеоаппаратуры Санкт-Петербургского государственного института кино и телевидения. Область научных интересов: цифровая обработка изображений, компьютерная оптика и компьютерное зрение, цифровой стереокинематограф. E-mail: vi 777@nextmail.ru .
Г азеева Ирина Варисовна, 1973 года рождения, в 1996 году окончила Санкт-Петербургский государственный институт кино и телевидения. В 2002 году защитила диссертацию на соискание степени кандидата технических наук. В 2005 году присвоено учёное звание доцента. В настоящее время работает доцентом кафедры киновидеоаппаратуры Санкт-Петербургского государственного института кино и телевидения. Область научных интересов: цифровая обработка изображений, компьютерная оптика и компьютерное зрение, 2D- и 3Б-сканирование, цифровой стереокинематограф. E-mail: igazeeva@mail.ru .
Тихомирова Г алина Вениаминовна, 1950 года рождения, в 1972 году окончила Ленинградский институт киноинженеров (ныне Санкт-Петербургский государственный институт кино и телевидения). В 2005 году защитила диссертацию на соискание степени доктора технических наук. В 1999 году присвоено учёное звание профессора. В настоящее время работает профессором кафедры киновидеоаппаратуры Санкт-Петербургского государственного института кино и телевидения. Область научных интересов: цифровая обработка изображений, кинематограф высокого качества. E-mail: kva-gukit@mail.ru .
Поступила в редакцию 1 октября 2015 г. Окончательный вариант - 22 декабря 2015 г.
AUTOMATIC CONTROL AND DIGITAL CORRECTION OF SCALE AND ROTATION MISMATCH IN STEREO PAIRS
V.G. Chafonova, I.V. Gazeeva, G.V. Tihomirova Saint-Petersburg State Institute of Cinema and Television
Abstract
In this article, we propose a method for automatically controlling and correcting the scale and rotation mismatch of stereo pairs using digital image processing. The algorithm of this method is implemented using Matlab. The control of the mentioned parameters is based on the use of special feature detectors, statistical analysis methods and trigonometric relations. The correction is performed with the use of affine transformations.
Keywords: guidelines stereo pair images, control, correction, scale of the image, rotation, parallax, digital image processing, image analysis, and algorithm.
Citation: Chafonova VG, Gazeeva IV, Tihomirova GV. Automatic control and digital correction of scale and rotation mismatch in stereo pairs. Computer Optics 2016; 40(1): 112-120. DOI: 10.18287/2412-6179-2016-40-1-112-120.
References
[1] Vatolin DS, Voronov AA, Napadovsky VV, Borisov AV. Recording and playback of volume images in the cinematograph and other fields [In Russian]. IV International scientific-technical conference, Moscow, April 26-27, 2012: materials and reports. -Moscow: MKBK; 2013: 150-154.
[2] Fusiello A, Trucco E, Verri A. A compact algorithm for rectification of stereo pairs. Machine Vision and Applications 2000; 12: 16-22.
[3] Mallon J, Whelan P. Projective rectification from the fundamental matrix. Image and Vision Computing 2005; 23: 643-650.
[4] Su H, He B. Stereo rectification of calibrated image pairs based on geometric transformation. International Journal of Modern Education and Computer Science 2011; 3(4): 17-24.
[5] Methodology for stereoscopic motion-picture quality assessment. Source: (http://www.compression.ru/video/ vqmt3d/>.
Компьютерная оптика, 2016, том 40, №1
119
Автоматический контроль и цифровая коррекция масштаба и взаимного поворота ...
Чафонова В.Г., Газеева И. В., Тихомирова Г.В.
[6] Reddy BS, Chatterji BN. An fft-based technique for translation, rotation, and scale-invariant image registration. IEEE Trans. Pattern Analysis and Machine Intelligence 1996; 1266-1270.
[7] Pratt WK. Digital Image Processing. NY: John Wiley and Sons, Inc.; 1978.
[8] Chemeris DS, Burdinsky IN. A study of methods for determining the geometric misalignment of the two images to solve the
problem of the optical guidance and docking underwater robot. Design engineering and scientific applications in MATLAB. Materials of V International scientific conference. Kharkov: FLP Scheinin EV, 2011. Source:
(http://matlab.ru/upload/resources/EDU%20Conf/pp%20465-470%20Chemeris.pdf).
[9] Gonzalez RC, Woods RE. Digital Image Processing. New Jersey: Pearson Education, Inc; 2002.
[10] Krasilnikov NN. Digital processing of 2D- and 3D-image: a textbook for university students enrolled in the direction of preparation 230400 recommend measures “Information systems and technology” [In Russian]. Saint-Petersburg: BHV-Petersburg; 2011.
[11] Mendiburu B. 3D Movie Making: Stereoscopic Digital Cinema from Script to Screen. USA: Elsevier, Inc., 2009.
[12] Gazeeva IV, Tihomirova GV, Chafonova VG. Algorithms for Digital Convergence of stereopair images [In Russian]. World of cinema technic 2014; 31: 10-17.
[13] Chafonova VG, Gazeeva IV, Tihomirova GV. Automation control and correction the discrepancies in scales of stereo pair images [In Russian]. World of cinema technic 2014; 33: 19-31.
[14] Chertihin AA, Vinokur AI. Using of the algorithm searching key points in the information system, which provides framing stability in time of the digitizing of archival film materials [In Russian]. World of cinema technic 2012; 26: 20-24.
[15] Bay H, Ess A, Tuytelaars T, Gool LV. SURF: Speeded Up Robust Features. Computer Vision and Image Understanding 2008; 110(3): 346-359.
[16] Harris C, Stephens M. Corner and Edge Detector. Proceeding of the 4th Alvey Vision Conference 1988; 147-151.
[17] Matas J, Chum O, Urba M, Pajdla T. Robust wide baseline stereo from maximally stable extremal regions. Proceedings of British Machine Vision Conference 2002; 384-393.
[18] Rosten E, Porter R, Drummond T. Faster and better: A machine learning approach to corner detection. IEEE Trans Pattern Analysis and Machine Intelligence 2010; 32(1): 105-119.
[19] Goshin E, Fursov VA. Conformed identification in corresponding points detection problem [In Russian]. Computer Optics 2012; 36(1): 131-135.
[20] Forsyth DA, Ponce J. Computer Vision: A Modern Approach. - New Jersey: Pearson Education, Inc; 2003.
[21] Melkumov AS. Basics stereography [In Russian]. World art cinema 2010; 18: 30-38.
[22] Rayev ON. The effect of the urging action of the scope of the demonstration of stereo digital [In Russian]. World art cinema 2012; 26: 25-29.
Authors information
Viktoriia Germanovna Chafonova (b. 1989) graduated from Saint-Petersburg State Institute of Film and Television in 2011. In 2014 she defended a candidate dissertation as a Candidate of technical sciences. Currently she works as the Assistant Professor at the department of film-video apparatus in Saint-Petersburg State Institute of Film and Television. Research interests are digital image processing, computer optics and computer vision, digital stereo cinematograph. E-mail:
vi777@nextmail.ru .
Irina Varisovna Gazeeva (b. 1973) graduated from Saint-Petersburg State Institute of Film and Television in 1996. In 2002 she defended a candidate dissertation as a Candidate of technical sciences. In 2005 she received a rank of Docent. Currently she works as the Docent at the department of film-video apparatus in Saint-Petersburg State Institute of Film and Television. Research interests are digital image processing, computer optics and computer vision, 2D- and 3D-scanning, digital stereo cinematograph. E-mail: isazeeva@mail.ru .
Galina Veniaminovna Tihomirova (b. 1950) graduated from Leningrad Institute of Film and Television (nowadays Saint-Petersburg State Institute of Film and Television) in 1972. In 2005 she defended a doctoral dissertation as a Doctor of technical sciences. In 1999 she received a rank of Professor. Currently she works as the Professor at the department of film-video apparatus in Saint-Petersburg State Institute of Film and Television. Research interests are digital image processing, high quality cinematograph. E-mail: kva-sukit@mail.ru .
Received October 1, 2015. The final version - December 22, 2016.
120
Компьютерная оптика, 2016, том 40, №1
