CC BY
50УДК 621.397.13
А. М. Дахин
ГУП "НПП Электрон-Оптроник" (Санкт-Петербург)
Методы компенсации геометрического шума матричного фотоприемника в телевизионной камере на основе приборов с зарядовой связью с диодами Шоттки
Приводятся результаты анализа и моделирования методов компенсации геометрического шума для матричного ПЗС с диодами Шоттки. Рассматриваются методы одноточечной (аддитивной) и двухточечной (аддитивно-мультипликативной) калибровок и алгебраический метод самокомпенсации камеры по наблюдаемому сюжету. Предлагается модифицированный алгоритм алгебраического метода, позволяющий уменьшить влияние флуктуационной составляющей помехи.
Матричный фотоприемник, геометрический шум, фотометрическая коррекция, ASBA, ПЗС с диодами Шоттки
Существенной особенностью процесса формирования сигналов изображения в матричных тепловизионных системах является наличие значительных фоновых составляющих, обусловленных принципиально неустранимым внешним фоном окружающей среды и аппаратным фоном оптических элементов аппаратуры. В результате в фотоприемниках, содержащих десятки и сотни тысяч элементов, неизбежная незначительная неидентичность характеристик "свет-сигнал" последних приводит к появлению существенной паразитной маскирующей полезный сигнал помехи "геометрического" шума (fixed pattern noise) [1].
Поток P, попадающий на элемент фотоприемника, имеет фоновую Pq и сигнальную
Pj составляющие: P = Pq + pij , причем Pq » pij (i, j, 1 < i < X, 1 < j < Y - координаты
элемента; X, Y - количество столбцов и строк фотоприемника соответственно). Характеристики "свет-сигнал" каждого элемента фотоприемника имеют общую составляющую Ф (P) и общую неоднородность dфij(P): фу =ф(P) + dфij (P), причем ф (P)» dфгу (P).
В выходном сигнале телевизионной камеры также присутствует флуктуационный шум схемы считывания Sj, который будем считать гауссовским с нулевым средним и средне-
квадратическим отклонением (СКО) а. При этих условиях напряжение сигнала элемента на выходе фотоприемника Uj = (ф + dф^Pq + pij) = ф?о + dф-Pq + ypij + dф^pij + Sj .
С у^том что d%jpj < щ-, получим Uj = ф^о + dtyjPQ + mj + sij = UQ + bij + aij +
+sij , где Uq - постоянная составляющая; bij = dfj(Pq) - помеха геометрического шума;
aij = f (pij ) - составляющая наблюдаемого сигнала.
Классическим методом подавления помех, обусловленных неидентичностью характеристик, является использование предварительной калибровки [2]. Она заключается в
52 © А. М. Дахин, 2006
измерении и запоминании перед эксплуатацией в памяти системы параметров характеристик "свет-сигнал" фу (P) каждого элемента фотоприемника и в корректировке выходного сигнала каждого элемента в рабочем режиме с помощью обратной к полученной по запомненным значениям функции.
Простейшим случаем, который, однако, обеспечивает существенное снижение геометрического шума, является аддитивная (одноточечная коррекция) - вычитание оценки "темнового" кадра b = {by}, 1 < i < X, 1 < j < Y - совокупности сигналов, полученных при
отсутствии в поле зрения камеры наблюдаемого сюжета, например с помощью перекрытия объектива специальной заслонкой. В этом случае процедура получения скорректированных сигналов элементов изображения сводится к операции вычитания: UK y = Uy - by.
Наличие в сигнале флуктуационной помехи sy добавляет в оценку фоновой составляющей погрешность, приводящую к увеличению эквивалентной флуктуационной составляющей в скорректированном сигнале в V2 раз. Эта погрешность может быть уменьшена, если оценку фона проводить усреднением N фоновых кадров. При этом СКО оценки составит ct/VN , что
будет эквивалентно увеличению флуктуационной составляющей в ^(1 +1/N) раз.
При использовании аддитивной компенсации "геометрический" шум в телевизионной системе ТВС200МЛ на охлаждаемой ПЗС-матрице на основе PtSi с диодами на барьерах Шоттки (ПЗС БШ) с числом элементов 256x290 может быть уменьшен в несколько раз, что позволяет достичь неоднородности температурной чувствительности тепловизи-онной системы в 0.5...1 °C, в то время как без компенсации аддитивная помеха "геометрического" шума имеет эквивалентное значение, составляющее десятки градусов.
Большая степень подавления геометрического шума может быть достигнута при использовании двухточечной (аддитивно-мультипликативной) коррекции. В данном методе учитывается, что светосигнальные характеристики элементов в рабочем диапазоне могут иметь различные коэффициенты наклона (чувствительности) фу. В этом случае, считая
характеристики "свет-сигнал" каждого элемента (по крайней мере в рабочем диапазоне освещенностей) линейными функциями UK у = By - фуpy, можно на этапе калибровки сопоставить элементу еще один параметр - относительное усиление ky =ФСр/Фу
( 1 Y X \
Фср =-^ ^Фу . Тогда для компенсации "геометрического" шума в памяти системы
I j=1i=1 J
для каждого элемента разложения фотоприемника должно храниться два значения - оценка сигнала темнового кадра biy и оценка относительного усиления kiy , а определение сигнала должно осуществляться как UK y = ky (Uy - by).
Коэффициенты коррекции ky =ФСр/Фу и By определяются по значению сигнала с
каждого элемента при засветке матрицы двумя уровнями равномерного калибровочного фона (flat-field).
В ТВС200МЛ использованием множительной (двухточечной) коррекции удается подавить помеху геометрического шума до десятых и сотых долей градуса.
Тем не менее опыт изготовления и эксплуатации охлаждаемых матричных инфракрасных (ИК) систем показывает, что в течение времени работы камеры временная и температурная нестабильности характеристик конструктивных элементов создают дрейф фоновой составляющей потока ИК-излучения, который сдвигает рабочую точку по характеристикам "свет-сигнал" за диапазон, для которого проводилась линеаризация и выполнялась калибровка. Периодическая пересъемка темнового кадра помогает лишь до определенных пределов и не всегда осуществима технологически.
Это означает, что однократное использование на этапе калибровки рассчитанных с высокой точностью коэффициентов фотометрической коррекции не всегда возможно, а периодическое повторение калибровки в процессе работы неосуществимо, особенно в мобильных системах и системах ИК-диапазона. Кроме того, создание источников равномерных калибровочных полей, особенно в ИК-диапазоне, является достаточно сложной технологической задачей и заметно удорожает систему.
В результате возникает интерес к поиску таких методов коррекции "геометрического" шума, которые не требовали бы использования дополнительных оптических источников калибровочных полей.
В работах [2]-[4] развиваются "scene-based''-алгоритмы, позволяющие провести подавление геометрического шума на основе анализа генерируемого фотоприемником сигнала при наблюдении реального сюжета. Чаще всего наблюдаемые сюжеты имеют динамику изменения, значительно более медленную по сравнению с периодом кадров ТВ-системы и со скоростью смещения оси ее визирования. Эту избыточность и пытаются использовать "scene-based"-алгоритмы. Среди них известны алгоритмы, использующие относительную устойчивость статистических свойств сигнала изображения [2] или алгебраические закономерности формирования суммарного сигнала наблюдаемого сюжета и "геометрического" шума [3], [4].
В первом случае, если TB-системе предъявляются сюжеты, обеспечивающее достаточный статистический объем данных и однородность статистки сюжета (например, за счет перемещения поля зрения) для всех элементов, то по смещению оценки среднего значения сигнала в каждом элементе от средних значений в соседних можно оценить аддитивную составляющую неоднородности, а по смещению оценки СКО - мультипликативную.
Во втором случае [3], [4] предложено несколько разновидностей алгебраической компенсации (algebraic scene-based algorithm - ASBA) аддитивного "геометрического" шума.
Поясним принцип работы ASBA. Исходными для расчетов являются две матрицы отсчетов выходного сигнала фотоприемника: Uq = aQ + b, U\ = ai + b и U2 = a2 + b, где
aQ = {aQj}, ai = {ayj} и a2 = {a2ij}, 1 < i < X, 1 < j < Y - матрицы трех кадров наблюдаемого сюжета, причем aj и a2 сдвинуты относительно aQ на один элемент по строке и по столбцу соответственно.
Так как а^_1)у = а^у, то, если из кадра Ц вычесть кадр и0, сдвинутый на один
элемент в обратную исходному сдвигу сторону, то составляющие сюжета а0 и а^ будут скомпенсированы и полученная разность Я будет образована элементами вида Ту = Ъу --Ъ(1 _1)у, т. е. разностями смежных элементов темнового кадра. Построив матрицу С = {С lj}, 1 <К X, 1 < j < У, с элементами, образованными суммой всех элементов соответствующей строки полученной матрицы Я левее элемента с координатами /, j : Су = I У I У
= XX Ткр = XX Ъкр - Ъ(к-1)р = Ъу - Ъу, получим частичную матрицу оценки адди-к=0 р =0 к=0 р=0
тивной составляющей неоднородности фотоприемника с элементами вида Су = Ъу - Ъу,
отличающуюся от истинной наличием компоненты "геометрического" шума первого элемента соответствующей строки Ъ у .
Аналогичная процедура для кадров и2 и и0 с вычитанием из каждого матрицы частичной коррекции С дает и0у - С у = а0у + Ъу - Ъу - Ъу = а0у - ЪУ ; и2у - С у = а2у + Ъу -
-Ъу - \у = а2у - ¿1 у . Выполнив вычитание со сдвигом по вертикали и накапливающее
суммирование полученной разности вдоль каждого столбца, получим дополнительную матрицу коррекции В = {Ву} с элементами Ву = Ъц - Ъу .
Суммированием этой матрицы с матрицей частичной коррекции С получим матрицу оценки "геометрического шума" с элементами Ъу - Ъц, т. е. оценку темнового кадра с
точностью до постоянной составляющей, равной значению помехи левого верхнего элемента матрицы Ъ11 .
В [4] рассмотрено обобщение данного метода на случай произвольного двумерного смещения на нецелое число пикселей.
Необходимые для проведения расчетов пары кадров с требуемыми величинами сдвига выбираются из последовательности формируемых камерой кадров при небольшом (несколько пикселей) перемещении оси визирования и последующем расчете взаимных смещений, например корреляционным методом. Для повышения точности компенсации необходимо использовать усреднение оценки неоднородности по нескольким парам кадров с вертикально и с горизонтально сдвинутыми сюжетами.
Для оценки применимости "8сепе-Ьа8её"-алгоритмов в ТВ-системе на основе ПЗС БШ для программного обеспечения камеры ТВС200МЛ разработаны программные модули, обеспечившие реализацию этих алгоритмов. Проведено моделирование как для реальных сигналов, введенных с камеры, так и для синтезированных изображений с определенными свойствами, соответствующими условиям работы последней.
Далее в статье приведены результаты моделирования ЛБВЛ применительно к ТВ ИК-камере ТВС200МЛ на основе ПЗС БШ. Рис. 1 иллюстрирует процесс моделирования
^ ■
ё а
Рис. 1
алгебраического метода компенсации геометрического шума. Здесь кадры м0, м и и^, составляющие верхний ряд, являются исходными, кадры второго ряда представляют межкадровые разности м0 - м и м - и^, а в нижнем ряду приведены оценка геометрического
шума ё и выделенный полезный сигнал а.
Результаты расчетов и моделирования показывают, что в случае с ПЗС БШ значительно большее влияние на характеристики алгоритма оказывает флуктуационный шум, влияние которого в работах [3], [4] рассмотрено недостаточно. Это связано с тем, что технологически для ИК ПЗС БШ характерны меньшие значения исходной неоднородности сигнала, чем для фотоприемников, рассмотренных в указанных работах. Более низкое для ПЗС БШ значение отношения "геометрического" шума к флуктуационному приводит к тому, что влияние последнего оказывается более заметным.
В ТВ-камере на основе ПЗС БШ для достижения пороговой чувствительности, ограниченной флуктуационным шумом, число разрядов АЦП выбирается достаточно большим и флуктуационная помеха не маскируется шумами квантования. В данном случае из-за
а б в
Рис. 2
наличия в алгоритме ASBA операции накапливающего суммирования погрешность оценки помехи "геометрического" шума, обусловленная флуктуационным шумом, становится коррелированной и неоднородной по полю зрения, возрастая от одного края строки к другому в зависимости от направления сдвига сюжета в исходных кадрах, и составляет
ay = aji. Изображение, демонстрирующее эту помеху, приведено на рис. 2, а. Максимального значения флуктуационный шум достигает на краю строки, где он равен amax = gJX . С учетом усреднения оценки по М парам сдвинутых изображений, по которым проводится расчет, величина amax будет иметь значение amax = gJx/M . Для
ТВС200МЛ при X = 256 amax = 16а (l/VM ) .
Проведенное моделирование показало, что уменьшения влияния флуктуационного шума можно достичь некоторой модификацией алгоритма. Для этого необходимо выполнить двухкратную обработку с изменением порядка следования этапов вертикальной и горизонтальной коррекций: в первый раз вычислить матрицу частичной коррекции С по кадрам Uо и Ui, а дополнительную матрицу D - по кадрам Uо и U2, а во второй раз, наоборот, - матрицу С по кадрам Uо и U2, и, соответственно, дополнительную матрицу D по кадрам Uо и Ui (рис. 2, б). Если затем усреднить две полученные оценки, ошибка результирующей оценки будет уменьшена. Величину СКО ошибки по кадру можно рассчитать как взвешенную сумму двух случайных величин: = 0.5aV( i + j)M . Максимальное значение будет достигаться в левом верхнем углу и составит amax = 0.5а^(X + Y)/M . Для
ТВС200МЛ при X = 256 и Y = 290 максимальная ошибка amax = 11.6а (l/VM). Изображение помехи при модифицированном алгоритме приведено на рис. 2, в, из которого видно, что помеха имеет меньшую величину и не так сильно коррелирована по каждой координате.
На основании приведенных результатов могут быть сделаны следующие выводы.
Для достижения чувствительности тепловизионной ТВ-камеры на основе PtSi CCD, ограниченной флуктуационным шумом, в тракте обработки камеры должна быть предусмотрена компенсация "геометрического" шума, причиной возникновения которого является наличие значительного принципиально неустранимого внешнего фона окружающей среды и аппаратного фона оптических элементов камеры, а также неидентичность характеристик элементов фотоприемника.
"Геометрический" шум может быть подавлен с помощью предварительной калибровки или при определенных условиях по наблюдаемому сюжету.
В ТВ-камере основе ПЗС БШ "геометрический" шум может быть снижен до 0.5...1 °C при одноточечной (аддитивной) калибровке и до десятых и сотых долей градуса при использовании множительной (двухточечной) калибровки.
В некоторых случаях целесообразно использование методов самокалибровки по наблюдаемому сюжету. Применение метода алгебраической компенсации в ТВ-камере на основе ПЗС БШ приводит к неоднородному по полю зрения возрастанию уровня флуктуаци-онного шума, величина которого зависит от размеров матрицы. Для уменьшения этого влияния необходимо увеличивать количество пар кадров, по которым ведется усреднение.
Модифицированный алгоритм алгебраической компенсации позволяет уменьшить величину дисперсии флуктуационнной помехи алгоритма алгебраической самокомпенсации в два раза.
Библиографический список
1. Perry D. L., Dereniak E. L. Linear theory of nonuniformity correction in infrared staring sensors // Opt. Eng. 1993. Vol. 32. P. 1853-1859.
2. Harris J. G. Continuous-time calibration of VLSI sensors for gain and offset variations // Proc. SPIE. 1995. Vol. 2474. P. 23-33.
3. Ratliff B. M., Hayat M. M., Hardie R. C. An algebraic algorithm for nonuniformity correction in focal-plane arrays // J. Opt. Soc. Am. 2002. Vol. 19, № 9. P. 1737-1747.
4. Ratliff B. M., Hayat M. M., Tyo J. S. Generalized algebraic scene-based nonuniformity correction algorithm // J. Opt. Soc. Am. 2005. Vol. 22, № 2. P. 239-249.
A. M. Dakhin
Research and production company "Electron-Optronic", Saint-Petersgburg
Correction fixed pattern noise in focal-plane arrays of infra red CDD television camera with Shottki diodes
Results of the analysis and modeling of fixed pattern noise compensation methods in system based on focal-plane array of infra red CCD with Shottki diodes are shown. One-point and two-point cabrated correction and algebraic scene based correction algorithms are considered. Modified algebraic scene based correction algorithm, which reduces influence of noise errors, is offered.
Focal-plane array, fixed pattern noise, calibrated based algorithm, ASBA, infra red CCD with Shottki diodes
Статья поступила в редакцию 12 июля 2005 г.
