CC BY
15Телевидение и обработка изображений
УДК 621.397
А. Е. Рычажников
Санкт-Петербургский государственный электротехнический
университет "ЛЭТИ"
II
Компенсация геометрических искажений изображений движущихся объектов при использовании фотоэлектрических преобразователей КМОП
Рассмотрены метод компенсации геометрических искажений изображений движущихся объектов, возникающих при использовании твердотельных фотоэлектрических преобразователей на основе технологии КМОП, алгоритм его реализации, условия, влияющие на точность метода, а также ограничения по его применению.
КМОП-Сенсор, фотоэлектрический преобразователь, бегущий затвор, геометрические искажения, наблюдение движущихся объектов
Наблюдение за движущимися объектами, а также оценка параметров их движения, являются одними из важнейших задач телевизионных систем специального назначения. Подобные системы используются в военных целях, в промышленных системах технологического контроля, в системах контроля городского автомобильного трафика и многих других. Внедрение современных КМОП-датчиков изображения позволяет строить относительно компактные и недорогие видеосистемы с высоким качеством изображения. Однако разработчики и операторы должны учитывать особенности функционирования современных КМОП-датчиков и связанные с ними эффекты.
Механизм управления временем экспозиции КМОП-датчика изображения отличается от аналогичного механизма в ПЗС. Управление экспозицией в ПЗС подробно рассмотрено литературе [1], и поэтому не будем на нем подробно останавливаться.
Развитие КМОП-сенсоров прошло целый ряд этапов [2] с присущими каждому из них особенностями, однако на данный момент самыми распространенными являются КМОП-сенсоры с так называемым активным пикселем.
Реализация режима "бегущего затвора" (rolling shutter) в КМОП-датчиках с трех-транзисторной структурой активного пикселя приводит к появлению геометрических искажений изображения при передаче динамических сюжетов. Причина искажений заключается в неодновременном накоплении зарядовых пакетов в различных строках светочувствительного массива. Алгоритм работы КМОП-датчика и характер движения наблюдаемого объекта относительно светочувствительной поверхности определяют специфические виды геометрических искажений. Зависимость величины и вида искажений от характера перемещения объекта может быть положена в основу способа их компенсации. Видеосистемы на основе КМОП-фотоэлектрических преобразователей (ФЭП), свободные от недос-© Рычажников А. Е., 2008 47
татков, связанных с искажениями при передаче динамических сюжетов, будут иметь серьезное преимущество перед видеосистемами на основе ПЗС, так как в отличие от последних могут сочетать высокую кадровую скорость с высокой разрешающей способностью.
Для пояснения предлагаемого метода компенсации указанных искажений приведем основные положения опубликованной ранее модели формирования видеосигнала в КМОП-дат-чике [3]. Рассмотрим движущийся в светочувствительной плоскости датчика крупноразмерный объект, размеры которого (по вертикали И, по горизонтали I) существенно превышают размеры пикселя Ах х Ау (И » Лх; I» Ау) (рис. 1). Движение объекта в пределах кадра можно считать равномерным вне зависимости от его движения "в целом", поскольку длительность кадра невелика и скорость за этот период существенно не изменяется.
В режиме "бегущего" затвора время накопления Тнак выбирается меньшим длительности кадра, но кратным длительности строки. При этом в накоплении используемой в дальнейшем информации участвуют не все строки кадра, а лишь попадающие между моментами считывания накопленных зарядов и сброса (рис. 2). Размер области накопления информации по вертикали составляет Н = пАу ; п = Тщк/ Тс , где Тс - длительность строки в сигнале изображения. Особенностью режима "бегущего" затвора является перемещение этой области по вертикали с постоянной скоростью, определяемой временем считывания строки.
Движение объекта может происходить со скоростью, превосходящей скорость считывания информации в датчике, равной ей или меньшей ее. Первый случай характерен для наблюдения особо быстродвижущихся объектов, время нахождения которых в кадре очень мало, что не представляет особого интереса. Синхронное движение объекта и считывания сигнала в общем случае весьма маловероятно. Таким образом, как наиболее распространенное явление имеет смысл рассматривать движение объекта со скоростью ниже скорости считывания.
Рассмотрим движения объекта по вертикали (в направлении, совпадающем с направлением считывания накопленных зарядов в датчике) и по горизонтали по отдельности. Пусть объект движется по вертикали со скоростью ув , а скорость считывания равна
усч =Ду/Тс (Ау - расстояние между строками; Тс - длительность строки), причем
ксч
> ув . При движении объекта в направлении, совпадающем со считыванием, скорость
объекта относительно считываемых зарядовых пакетов составит Усч - vв , а при движении в противоположном направлении составит Усч + ув .
х и0 и
Ах
I' 7 ч
У 48
Считывание
У
Н
/
Сброс
Рис. 1
Рис. 2
H
Считывание
Сброс
L2b
У
У
У
Рис. 3
Рассмотрим объект, полностью размещающийся в области накопления информации (Н > И) и движущийся в направлении, противоположном считыванию (вверх). На рис. 3, а показан момент, когда верхняя граница объекта располагается на строке сброса. В этот момент от него начинает формироваться сигнал, поскольку ранее он размещался вне области накопления информации.
Следующей характерной ситуацией является полный вход объекта в зону накопления (рис. 3, б). Этот момент наступает спустя время Д71 = И/ (Усч + уг ) относительно момента, проиллюстрированного рис. 3, а. За данный временной промежуток объект сместится на расстояние
4в =|Ч/(^сч + ^в)]И . (1)
В указанном промежутке сигнал от объекта линейно нарастает, т. е. (1) определяет протяженность в пространстве смаза сигнала от объекта (рис. 4). В течение следующего промежутка времени ДТ2 = (Н - И )/ (Усч + ув ) объект полностью размещается в области накопления информации. За этот промежуток объект смещается на (рис. 3, в)
12в =|Ч/(^сч + ^в )] (Н - И) .
В промежутке
¿3в = 12в + И = [^в/(^сч + ^в )] (Н - И) + И (2)
значение сигнала остается неизменным, т. е. формируется его плоская часть (см. рис. 4).
Далее за промежуток времени ДГ3 = [И/(+ ув )] объект, пройдя расстояние
[ув/(усч + ув )] И, постепенно выходит из области накопления информации и видео-
v
с
v
h
б
а
в
2
U
L1b
L3b
Рис. 4
б
Рис. 5
сигнал линейно уменьшается до нуля (см. рис. 3, г). определяет протяженность в пространстве смаза сигнала от противоположного края объекта, причем = LiB (см. рис. 4).
Таким образом, видеосигнал в вертикальном направлении будет иметь трапецеидальную форму с фронтами, определяемыми выражением (1). Кроме того, согласно (2) протяженность в пространстве сигнала постоянного уровня оказывается больше истинного размера объекта. Размер наблюдаемого объекта по вертикали составит
lb = lib + Ьзв + L4b = [vj(vC4 + vB )] (Я - h) + h + [2vB/(vC4 + vB )] h =
= Ы ( VC4 +Vb )] (Я + h ) + h. (3)
При движении объекта в направлении, совпадающем с вертикальной разверткой, этот размер составит [3]
lb =[vb/(vc4-VB )] (Я + h) + h , (4)
т. е. его изображение будет еще более растянутым по вертикали.
Горизонтальное перемещение объекта приводит к искажению его формы на изображении. Так, объект в форме прямоугольника (рис. 5, а) при движении в горизонтальном направлении отображается в форме параллелограмма (рис. 5, б, в) с размером по горизонтали (с учетом смаза на вертикальных границах объекта)
Lrmax = (vb/v04 )(h + Я) +l. (5)
При этом от направления движения объекта относительно направления горизонтальной развертки зависит угол наклона параллелограмма. Если считать, что горизонтальная развертка КМОП ФЭП направлена справа налево, то рис. 5, б соответствует движению объекта в противоположном направлении (влево), а рис. 5, в - движению сонаправленно с горизонтальной разверткой (вправо). Наклон вертикальных сторон параллелограмма будет тем больше, чем больше скорость объекта.
На рис. 6 показана схема искажений, соответствующих данному случаю [3]. В горизонтальном направлении можно выделить смазанные фронты (Lir и L4r) и плоский участок сигнала L2r. Сдвиг горизонтальных границ изображения объекта обозначен через L3r.
Пространственные величины горизонтальных искажений равны [3]:
L1r = L4r = (vb/vc4 ) h; L2r = (vb/vc4 ) (Я - h) +l; L3r = (vb/vc4 ) Я . (6)
Угол в основании параллелограмма может быть найден как
а = arctg (h/Lr) = arctg [hvC4/ (ЯvT)]. (7)
L
L
l
h
h
a
e
L1r L2r L3r
Lr max
Рис. 6
Соотношения (1)-(7) описывают все искажения, характерные для поступательного движения наблюдаемого объекта относительно светочувствительной поверхности КМОП ФЭП с трехтранзисторной структурой пикселя. Из анализа этих соотношений очевидна зависимость рассматриваемых искажений от соотношений величин и направлений сдвига объекта и разверток ФЭП. Причем если изменение направления движения объекта на противоположное по горизонтали приводит к зеркальному отражению искажений, то смена движения по вертикали вызывает лишь изменение размера изображения объекта (3), (4), не сказываясь на его форме.
Для ликвидации рассмотренных искажений будем наблюдать объект одновременно двумя ФЭП с встречно направленными развертками. На рис. 7, а показан наблюдаемый объект - прямоугольник. Предположим, что объект движется горизонтально относительно обоих ФЭП со скоростью уг .
На рис. 7, б, в серыми стрелками показаны направления вертикальных и горизонтальных разверток, а тонкой черной стрелкой - направление движения наблюдаемого объекта. На рис. 7, б показано изображение этого объекта, сформированное ФЭП, направление горизонтальной развертки которого противоположно направлению движения объекта, а на рис. 7, в - изображение ФЭП с совпадающей по направлению с перемещением объекта горизонтальной разверткой. Так как вертикальная развертка второго ФЭП направлена снизу вверх и строки изображения объекта формируются в этом ФЭП в том же направлении, параллелограмм на рис. 7, в наклоняется в сторону, противоположную наклону параллелограмма, полученного от первого ФЭП (рис. 7, б).
На рис. 8, а изображения объекта, наблюдаемые с обоих ФЭП, совмещены в их верхней левой точке, принятой за опорную. Границы изображения рис. 7, б даны сплошными, а изображения рис. 7, в - штриховыми линиями. Вертикальной пунктирной линией, проходящей через эту точку, показано истинное положение левой вертикальной границы объекта, относительно которой определяются горизонтальные смещения строк его изображений. Для п-й строки эти смещения обозначены как Дхп1 и Лхп2 для изображений от первого и от второго ФЭП соответственно, по вертикали сдвиг опорной точки обозначен как Ауп .
h
б
Рис. 7
v
v
l
L
а
в
б
Рис. 8
Когда форматы ФЭП и скорости их вертикальных и горизонтальных разверток изображений совпадают, строки изображений будут смещены согласно выражению (5) в горизонтальном направлении симметрично относительно истинной вертикальной границы. В этом случае координаты истинного смещения /-го пикселя изображения относительно опорной точки движущегося объекта могут быть найдены следующим образом:
= (Ахи+Ах/ 2)/2; Ау = АУи = АУп, (8)
т. е. неискаженное изображение движущегося объекта при его горизонтальном перемещении формируется усреднением горизонтальной координаты пикселей изображений объекта, соответствующих одной и той же его точке, сформированных синхронно ФЭП с противоположно направленными развертками.
На рис. 8, б показано изображение движущегося объекта после преобразования координат смещения пикселей относительно опорной точки согласно формулам (8).
Перейдем к рассмотрению вертикального перемещения объекта в поле зрения двух ФЭП (рис. 9). На рис. 9, а показано изображение объекта (см. рис. 7, а), сформированное КМОП ФЭП, вертикальная развертка которого направлена противоположно движению объекта, а на рис. 9, б - изображение, сформированное ФЭП с сонаправленной движению объекта вертикальной разверткой.
На основании (3) и (4) высота изображения объекта, полученного первым ФЭП, составит V - [ув/ (+ Ув ) ] (И\+ И) + И, а высота изображения, полученного вторым ФЭП,
¿' = |>в/(^2 ^в )] (И2 + И) + И, (9)
где Усч1 и Усч2 - скорости вертикальных разверток первого и второго ФЭП соответственно; И^ и И2 - высоты областей накопления информации первого и второго ФЭП соответственно.
Будем считать участвующие в формировании изображения ФЭП идентичными, т. е. обладающими одинаковыми по размерам областями накопления информации и равными скоростями разверток. Тогда Усч1 = Усч2 = Усч; Иу = И2 = И . Однако даже при таких ограничениях (в отличие от случая горизонтального перемещения объекта при его вертикальном перемещении) геометрические искажения в изображениях, полученных от ФЭП, не будут равны по величине.
VC4l v
L"
Рис. 9
в
б
а
Разница вертикальных размеров изображений наблюдаемого объекта Ь - Ь' = [ув / (усч - ув )] (Н + И ) + И -\ув1 ( усч + ув )] (Н + И ) - И =
= _2^в2/(£ - V2)](Н + И).
Подставив это выражение в (9), получим:
Ь = (Ь - Ь) [(vсч + vв )/2vв ] + И = (Ь" - Ь) (Н + И V[2 (Ь - И)] + И .
Относительно истинного вертикального размера объекта И последнее выражение приводится к квадратному уравнению: 2И2 - (3Ь' + Ь')И + 2Ь'Ь" -Н(Ь" -Ь') = 0, имеющему следующие корни: И12 = (1/4){(3Ь ' + Ь')^(3Ь ' + Ь')2 -8[2Ь ' Ь' -Н (Ь' -Ь ')]}.
С учетом, что максимальный вертикальный размер наблюдаемого объекта находится в диапазоне 0 < И < Ь, причем Ь' < Ь", окончательно получим:
И = (14) {(3Ь' + Ь') ^(3Ь ' + Ь')2 - 8 [2Ь'Ь" - Н (Ь' - Ь ')]}.
На основании этого решения, зная вертикальные размеры изображений движущегося объекта, сформированные КМОП ФЭП с противоположно направленными развертками, а также размер их области накопления информации, можно определить истинный вертикальный размер объекта. Затем вертикальные координаты каждого пикселя, принадлежащего объекту, могут быть вычислены умножением координат соответствующих пикселей изображения на коэффициент пропорциональности ^Ь' или И/и (в зависимости от того, по какому изображению ведется коррекция). Кроме определения истинного положения пикселя относительно границ объекта необходимо учитывать также смещение истинного местоположения объекта относительно любого из исходных изображений с искаженными геометрическими пропорциями. При поступательном движении наблюдаемого объекта по вертикали его неискаженное изображение должно располагаться внутри полученных изображений симметрично относительно геометрического центра объекта.
Рассмотренный метод позволяет скорректировать геометрические искажения поступательно движущихся объектов, возникающие при использовании современных КМОП ФЭП с трехтранзисторной структурой активного пикселя. Область его применения охватывает такие сегменты телевизионной техники, как системы вещательного телевидения, технологического контроля, машинного зрения, охранного наблюдения, медицинские видеосистемы. Его важным достоинством является возможность формирования неискаженного изображения за время одного кадра, что позволяет передавать изображение с минимальной задержкой и избежать необходимости наличия буфера памяти большого объема. Это свойство очень важно и при наблюдении объектов, чья скорость передвижения сравнима со скоростью развертки ФЭП, поскольку время удержания в поле зрения такого объекта, как правило, не превышает времени кадра.
Однако при практической реализации рассмотренного метода компенсации геометрических искажений необходимо учитывать ряд ограничений, присущих ему.
Известия вузов России. Радиоэлектроника. 2008. Вып. 4======================================
Во-первых, наблюдение одного и того же сюжета двумя ФЭП требует усложнения оптической системы. Оба ФЭП должны иметь одинаковые формат, размер пикселя, размер активной светочувствительной области. При невыполнении данных условий корректировка искажений требует существенного усложнения вычислительной процедуры.
Во-вторых, формирование кадра обоими ФЭП должно выполняться одновременно, так как в противном случае отсутствует опорная точка положения истинного объекта в пространстве, относительно которой производятся вычисления.
В-третьих, рассмотренная процедура корректно работает лишь в том случае, если обоими ФЭП объект наблюдается полностью. Если же в силу характера искажений (растяжений по вертикали и/или горизонтали) на одном из полученных изображений виден только фрагмент объекта, восстановление его истинной формы требует существенного усложнения математической процедуры даже при условии, что другой ФЭП наблюдает объект целиком.
Рассмотренный метод может быть реализован как программным способом (для корректировки записи изображения), так и аппаратными средствами в реальном времени формирования изображения.
Библиографический список
1. Быков Р. Е., Сигалов В. М., Эйссенгардт Г. А. Телевидение: Учеб. пособие для вузов. М.: Высш. шк., 1988. 247 с.
2. Твердотельная революция в телевидении: Телевизионные системы на основе приборов с зарядовой связью, систем на кристалле и видеосистем на кристалле / В. В. Березин, А. А. Умбиталиев, Ш. С. Фахми и др. М.: Радио и связь, 2006. 309 с.
3. Пилипко Н. Е., Рычажников А. Е. Особенности работы КМОП-фотоприемника в режиме бегущего затвора // Изв. СПбГЭТУ "ЛЭТИ". 2008. Вып. 1. С. 40-54.
A. E. Rychazhnicov
Saint-Petersburg state electrotechnical university "LETI"
Compensation of the image geometric distortions of the moving objects with using CMOS photoelectric converters
The method for compensation of the geometric distortions of the moving object images formed with CMOS-sensor, the algorithm of its realization, the conditions influencing accuracy of a method, and also restriction on its application are considered.
CMOS-Sensor, photo-electric converter, running shutter, geometrical distortions, moving objects supervision
Статья поступила в редакцию 25 апреля 2008 г.
