CC BY
25
Телевидение и обработка изображений
УДК 621.397.13
Д. О. Малашин
Санкт-Петербургский государственный электротехнический университет "ЛЭТИ" им. В. И. Ульянова (Ленина)
Экспериментальное исследование прямого метода измерения смещения изображения с субпиксельной точностью
Рассмотрен прямой метод измерения смещения изображения с субпиксельной точностью на основе двух ортогональных линейных фотоприемников. Получены оценки смещения изображения для различных сюжетов, основанные на результатах проведенного модельного эксперимента. Обоснованы различия в потенциальной точности определения координат сдвинутого изображения для основных и линейных фотоприемников.
Субпиксельная точность, измерение смещения изображения, потенциальная точность определения координат
Измерение смещения изображения широко применяется при создании современных систем стабилизации изображения, а также является "ядром" стабилизации телевизионного растра. Имеется широкий спектр работ, освещающих как способы стабилизации, так и методы измерения смещения изображения, среди которых можно выделить [1]—[3]. Точность оценок пространственных координат изображений, произведенных описанными в указанных источниках методами, находится на уровне, сравнимом с размером элемента разложения. Однако развитие современных телевизионных камер требует значительно более точных данных о смещении видеоизображения.
Системы измерения смещения корреляционного типа можно разделить на две основные группы: взаимно корреляционные и автокорреляционные. Среди взаимно корреляционных систем различают системы с дискретизацией по времени и непрерывные, а среди автокорреляционных - спект-роанализирующие системы и системы с фиксированным временем запаздывания [1].
Каждая из корреляционных систем контроля смещения изображения обладает своими достоинствами и недостатками. Для примера рассмотрим автокорреляционную систему, принцип работы которой заключается в следующем [1]. Объектив создает изображение в некоторой плоскости. В этой
же плоскости располагается фотоэлемент, на кото -рый проецируется небольшая часть изображения. При смещении изображения освещенность фотоэлемента изменяется и на его выходе формируется переменный электрический сигнал u (t). Вид кор-реляционной функции этого сигнала T
1
Rix)=— f uit)uit-t)dt T J
и 0
(Ти - время интегрирования; t - время смещения сигнала) при Ти = const определяется скоростью смещения изображения. Поэтому скорость смещения можно определить по параметрам автокорреляционной функции [1].
Для измерения небольших смещений применить автокорреляционные системы достаточно тяжело. Во-первых, данные системы контроля смещения изображения при малых смещениях показывают низкую точность, причем она тем хуже, чем ниже скорость смещения изображения (т. е. чем меньше смещение изображения от кадра к кадру). Вторым недостатком автокорреляционных систем является невозможность определения направления движения изображения.
Требование совмещения изображений в реальном времени ведет к необходимости использования прямого метода измерения смещения. При
© Малашин Д. О., 2013
55
использовании измерителен линеиных ускорении теоретическим пределом эффективности стабилизации изображения является маскирование скоростного смаза шумом [4]. Решение задачи приближения к этому пределу обусловливает потребность определения координат сдвинутого изображения с субпиксельной точностью.
Телевизионная камера, вычисление смещения изображения в которой реализовано по прямому методу, содержит помимо основного матричного фотоприемника два дополнительных линейных фотоприемника. Указанные фотоприемники, расположенные взаимно ортогонально, могут быть реализованы как в виде дискретных элементов на общей печатной плате с основным фотоприемником, так и виртуально на том же кристалле, что и основной фоточувствительный фотоприемник. По видеосигналам с линейных фотоприемников оцениваются изменения положения изображения вдоль соответствующих осей. Области считывания линейных фотоприемников при их реализации на общем кристалле с основным называются измерительными строками и столбцами. Поскольку ко -личество фоточувствительных элементов линейных фотоприемников гораздо меньше количества элементов основного фотоприемника, частота считывания с измерительных строки и столбца может быть существенно выше, чем с основного массива пикселей, что позволяет измерять смещения визирной оси телевизионной камеры с высокой скоростью.
Оптимальная структура измерителя смещения изображений включает [4]:
- режекторный фильтр (декоррелятор сигнала) для контрастирования взаимно корреляционной функции;
- коррелятор-вычислитель взаимно корреляционной функции для дискретных (на целое число пикселей) значений сдвига;
- интерполятор-вычислитель смещения как целочисленного относительно пикселей изображения, так и дробного (так называемая субпиксельная точность измерения).
Перечисленные блоки могут проектироваться как самостоятельные функциональные единицы, а система в целом может реализовываться как видеосистема на кристалле. Сложность вычислителя, определяемая сложностью указанных блоков, зависит от исходных параметров сигнала и телекамеры, а также от выбранных параметров этих блоков.
Целями представленного в настоящей статье практического исследования являлись оценка ошибок измерения смещения при различных сю-
жетах и качественная оценка достоверности используемого математического аппарата. Эксперимент реализован на выборке из 30 реальных изображений различного содержания, начиная от про -стых однородных изображений и заканчивая изображениями Земли из космоса с многочисленными неоднородностями и мелкими деталями. Измерение смещения на базе сигналов основного фотоприемника моделировалось выделением на основном изображении измерительных строки 1 и столбца 2 (рис. 1). Расположение измерительных областей в центральной части изображения снижает влияние аберраций оптической системы. Использование отдельных линейных фотоприемников моделировалось выделением измерительных областей на краях основного изображения (рис. 2). Для моделирования измерений с субпик-
Рис. 2
Известия вузов России. Радиоэлектроника. 2013. Вып. 3
сельной точностью разрешающая способность измерительных областей загрублялась усреднением сигналов соседних пикселей: в первом случае (рис. 1) один измерительный пиксель формировался на основе структуры из 4*4 пикселей изображения; во втором (рис. 2) - суммировалось 2*100 пикселей. Большое количество пикселей в направлении, перпендикулярном направлению измерения, имитировало специальную форму пикселей измерительных фотоприемников для компенсации потери чувствительности при высокой скорости считывания.
Далее формировались измерительные апертуры. При исследовании использования сигналов основного фотоприемника такой апертурой являлась совокупность трех соседних измерительных пикселей в направлении измерения (апертура А на рис. 3). Во втором случае (А на рис. 4) такая апертура формировалась из восьми соседних измерительных пикселей.
Субпиксельное смещение имитировалось формированием апертур, сдвинутых на один пиксель основного фотоприемника в направлении измерения (апертуры В на рис. 3 и 4). Кроме того, в процедуре использовались апертуры, сдвинутые на один измерительный пиксель в направлении считывания (апертуры В1 на рис. 3 и 4) и в обратном направлении (апертуры В_1 на этих же рисунках). Поскольку в общем случае смещение изображения не совпадает с направлением измерения, апертуры В_1, В и В1 сдвигались также
- -►
В ^
м 1
Рис. 3
В,
^- -►
В
А ►
Рис. 4
на один пиксель основного фотоприемника в перпендикулярном направлении.
Процедура расчета состояла в следующем. По формуле [5]
Б = М {[ у (х) _ у (х _ х)]2 ) = 2 Я (0) [1 _ Я (х)/Я (0)]
(х = ±1 - смещение апертур в направлении измерения) вычислялись дисперсии разностей: Б_1 -дисперсия разности апертур А и В_1; Д - дисперсия разности апертур А и В; Д - дисперсия разности апертур А и В1. Численная оценка смещения производилась по известной формуле [6]
х = Д( Б_1 _ Д )/[2 (Б_1 _ 2 Д + Д ),
где Д - размер пикселя измерительной строки.
Вычисления производились в математическом пакете МаАаЬ с высокой точностью предоставления промежуточных результатов. Максимальная точность и стабильность работы алгоритма достигнута на изображениях Земли из космоса, максимальная погрешность наблюдалась на изображениях прозрачных предметов, занимающих всю область изображения. Для основного фотоприемника ошибка измерения составила порядка 0.03... 0.09 пикселя для каждой оси, для линейных фотоприемников - 0.006.0.07 пикселя. Средняя ошибка измерения смещения составила для основного фотоприемника 0.06 пикселя по оси Х и 0.07 - по оси У, для линейных фотоприемников -0.02 пикселя по оси Х и 0.01 - по оси У.
Различная точность определения координат основным и двумя линейными фотоприемниками обусловлена различиями в моделировании основного и вспомогательного фотоприемников в связи с тем, что площадь сформированного пикселя линейного фотоприемника в несколько раз больше площади пикселя основной матрицы. Наибольшая точность измерения смещения изображения достигнута на сюжетах с большим количеством мелких деталей и с высокой степенью неоднородности, поскольку потенциальная точность определяется отношением "сигнал/шум" и средне-квадратической полосой частот, зависящей от энергии производной сигнала.
Исследованный метод измерения смещения обладает относительно небольшой вычислительной сложностью, в основном за счет вычисления взаимной корреляции по упрощенным алгоритмам, основанным не на произведениях, а на раз-
ностях сравниваемых сигналов. Целесообразно реализовывать систему измерения смещения изображения в составе системы стабилизации изображения как интегральных микросхем класса "видеосистема на кристалле" с реализацией фотоприемной, запоминающей, вычислительной и управляющей частей системы на одном кристалле [7].
Проведенное экспериментальное исследование убедительно доказало, что протестированный прямой метод оценки смещения позволяет определять координаты сдвинутого изображения с субпиксельной точностью и может служить основой для создания перспективных систем стабилизации изображения, а также телевизионных камер широкого спектра применения на их основе.
СПИСОК ЛИТЕРАТУРЫ
1. Автоматическая стабилизация оптического изображения / Д. Н. Еськов, Ю. П. Ларионов, В. А. Новиков и др.; под ред. Д. Н. Еськова, В. А. Новикова. М.: Машиностроение, 1988. 236 с.
2. Петраков А. В. Совмещение разноспектрозо-нальных и прецизионных телевизионных растров. М.: Радиософт, 2009. 208 с.
3. Бузников А. А., Купянский А. В. Динамическое совмещение полутоновых аэрокосмических и графических изображений // Изв. вузов. Сер. Геодезия и аэрофотосъемка. 1993. № 3. С. 102-107.
D. O. Malashin Saint-Petersburg state electrotechnical university "LETI"
4. Автономная стабилизация изображений в процессе накопления видеоинформации / А. К Цыцулин, И. А. Зубакин, Д. О. Малашин и др. // Оптический журн. 2012. Вып. 11. С. 67-75.
5. Твердотельная революция в телевидении / В. В. Березин, А. А. Умбиталиев, Ш. С. Фахми и др. М.: Радио и связь, 2006. 312 с.
6. Фрэнкс Л. Теория сигналов. М.: Мир, 1974. 344 с.
7. Пат. Ри 2486688 С1 МПК И04Ы5/232 (2006.01). Видеосистема на кристалле для стабилизации изображения / А. К. Цыцулин, Ш. С. Фахми, Д. О. Малашин. Опубл. 27.06.2013. Бюл. № 18.
Experimental research of direct image shift measurement method with sub pixel precision
Research of direct image shift measurement method with sub pixel precision based on applying of two orthogonal linear image sensors is shown. Estimations of image shift measurements for various items by experimental modeling are gotten. Differences in potential precision of coordinate estimation of shifted images for main and linear image sensors are justified.
Sub pixel precision, image shift measurement, potential precision of coordinates estimation
Статья поступила в редакцию 31 августа 2013 г.
