CC BY
185
УДК 621.397.13
ИССЛЕДОВАНИЕ НЕРАВНОМЕРНОСТИ СИГНАЛА ОХЛАЖДАЕМОГО МАТРИЧНОГО ФОТОПРИЕМНИКА ИК-ДИАПАЗОНА И ПРЕДЛОЖЕНИЯ ПО ЕЕ КОРРЕКЦИИ
С.В.Алексеев, С.Н.Вяткин, А.Л.Гаврилов, В.А.Исаев*, Н.П.Корнышев*, А.Н.Малахов
INVESTIGATING THE NON-UNIFORM SIGNAL OF A COOLED PHOTODETECTOR ARRAY FOR IR REGIONS AND ITS CORRECTION
S.V.Alekseev, S.N.Viatkin, A.L.Gavrilov, V.A.Isaev*, N.P.Kornyshev*, A.N.Malakhov
ЗАО «ЭЛСИ», Великий Новгород *Институт электронных и информационных систем НовГУ, [email protected]
Рассматриваются вопросы коррекции неравномерности чувствительности фотоприемников. Приводятся результаты экспериментальной проверки эффективности двухточечной коррекции при малых значениях неравномерности и высоком отношении сигнал-шум.
Ключевые слова: матричные фотоприемники, инфракрасный диапазон, геометрический шум, коррекция неравномерности
This paper considers the problems of correcting the non-uniform sensitivity of photodetectors. We present the results of experimental check of the two-point correction efficiency, which are obtained at small values of non-uniformity and high signal-to-noise ratio.
Keywords: photodetector arrays, infrared region, geometrical noise, non-uniformity correction
Неравномерность сигнала фотоприемника является одной из причин, ухудшающих визуальное восприятие визуализируемых объектов и ограничивающих возможности автоматического анализа получаемых изображений. В наиболее полной мере это проявляется в высокочувствительных системах, в частности в охлаждаемых фотоприемниках ИК-диапазона [1].
На неравномерность сигнала может оказывать влияние ряд факторов: неравномерность объектива, собственная неравномерность чувствительности элементов фотоприемника по полю изображения, неравномерность темнового тока, неодинаковая начальная установка аналого-цифрового преобразователя (АЦП) для столбцов фотоприемника. Данный вид помех («геометрический шум», или англ. «fixed pattern noise») принято относить к детерминированным помехам и использовать для борьбы с ними компенсационные методы. Кроме этого, методы компенсации позволяют учесть дефекты элементов матриц, которые приводят к появлению ложных ярких (или, наоборот, темных) элементов на темном (или, наоборот, светлом) фоне [2]. Дополнительно для устранения данного вида помехи предлагается использовать методы цифровой пространственной обработки изображения, что, однако, может несколько искажать исходное изображение [3].
Сущность традиционно применяемых компенсационных методов рассматривается в целом ряде источников, в том числе учебной литературе, в частности в [4], и в наиболее общем случае заключается в следующем. При закрытом объективе фотоприемника запоминают значения темнового тока T(i, j) для каждого i-, j-элемента матрицы M х N. Затем облучают фотоприемник контрольной равномерной засветкой, запоминая для каждого i-, j-элемента полученные значения Ф(/', j) от равномерного фона (эталонные значения).
Для каждого элемента определяют коэффициент передачи N(i, j), при котором выходной сигнал равен эталонному N(ij) = Ф^^)/и0, где U0 = max[Ф(/'j) - T(i j)]. При информативной засветке синхронно со сканированием производят компенсацию в соответствии с выражением U(i, j) = [U„(i, j) - T(i, j)]N(i, j), где U(i, j), UjiO, j) — значения выходного сигнала и сигнала информационной засветки соответственно.
На практике часто ограничиваются вычитанием из информационного сигнала эталонных значений, взятых с масштабирующим коэффициентом, учитывающим передаточную характеристику видеотракта. В литературе данные методы часто называют методами линейной или двухточечной коррекции, поскольку предполагается линейность сигнала в его динамическом диапазоне от T(i, j) до Ф(i, j). При на-
личии нелинейностей в трактах сигнала используются дополнительно методы кусочно-линейной аппроксимации передаточных характеристик трактов или аппроксимации полиномами (обычно первого порядка), что характеризует переход к так называемой многоточечной коррекции [1,3,5].
Практика показывает, что рассмотренные выше компенсационные методы дают хороший результат при неравномерности сигнала 3-5% и относительном отношении сигнал-шум до 40дБ. Однако для охлаждаемых матричных фотоприемников ИК-диапазона характерны неравномерности сигнала, не превышающие 1% при высоком отношении сигнал-шум (от 46дБ и более). При этом требуется визуализировать изображения объектов с весьма малым контрастом по отношению к фону, сигнал от которых сопоставим по величине с уровнем флуктуационно-го шума и детерминированных помех. В связи с этим возникает необходимость исследований эффективности двухточечной коррекции для данной конкретной ситуации и выявления ограничений по ее применению.
Целью данной статьи является ознакомление с результатами проведенных исследований характера изменения неравномерности сигнала охлаждаемого матричного фотоприемника ИК-диапазона в зависимости от уровня его контрольной засветки.
Методика эксперимента
Контрольная засветка матричного фотоприемника производилась при помощи излучателя на основе модели абсолютно черного тела (АЧТ) в диапазоне температур от 20 до 60°С с шагом 10°С [6]. В каждом диапазоне температур производилась съемка видеопоследовательности в avi-файл в течение 5 с. Видеопоследовательности распаковывались в текущие bmp-файлы, из которых для каждого диапазона температур формировались усредненные bmp-файлы изображений. Кроме этого, формировался усредненный bmp-файл изображения из набора усредненных для каждого диапазона температур. Текущие и усредненные изображения сравнивались между собой путем взаимного вычитания и анализировались путем визуального сопоставления их трехмерных (3D) моделей.
При контрольной засветке фотоприемника объектив не использовался с целью исключения влияния его неравномерности на получаемый результат. В связи с тем, что матричный фотоприемник конструктивно объединен с холодной диафрагмой, при засветке без объектива возникает дополнительная неравномерность, близкая к неравномерности, создаваемой точечным источником освещения, суммирующаяся с неравномерностью сигнала фотоприемника.
Рис.1. Усредненное изображение со слабозаметной «столбцовой» структурой (слева) и это же изображение после яркостной коррекции (справа)
Рис.2. 3D-модели усредненного изображения, вид сбоку (сл( (справа)
Результаты экспериментов
В результате экспериментов были получены текущие и усредненные изображения для различных диапазонов температур и их 3D-модели.
Полученные изображения характеризуются низким уровнем неравномерности (до 1%) и высоким отношением сигнал-шум (не менее 46 дБ). Даже на усредненном изображении его неравномерность, проявляющаяся в виде «столбцовой» структуры, которую желательно устранить, заметна весьма слабо и может быть визуализирована лишь после дополнительной яркостной коррекции (см. рис.1).
Однако «столбцовая» структура хорошо проявляется на 3D-моделях, в которых используется изометрическая проекция сигнала изображения при имитации боковой регулируемой подсветки (см. рис.2). На модели типа «вид сбоку» наблюдается «столбцовая» структура неравномерности чувствительности фотоприемника на изогнутой поверхности, возникающей от неравномерности засветки через холодную диафрагму. Наилучшим образом «столбцовая» структура проявляется в модели типа «вид сверху». В дальнейшем, поскольку нас интересует именно эта структура, в основном будут рассматриваться модели типа «вид сверху».
Ниже на рис.3-5 в качестве примеров приведены 3D-модели текущего и усредненного изображения для 40°С, что соответствует центральному значению в исследуемом диапазоне температур АЧТ.
и вид сверху с отчетливо видной «столбцовой» структурой
На 3D-моделях хорошо видна неравномерность сигнала в виде столбцов. Причем визуально существенные различия текущего и усредненного изображения даже на 3D-моделях выявить весьма затруднительно, что свидетельствует о высоком отношении сигнал-шум. Однако на 3D-модели разности текущего и усредненного изображения отчетливо наблюдаются только флуктуационные шумы при полностью скомпенсированной детерминированной помехе. Аналогичным образом выглядят 3D-модели текущих и усредненных изображений, а также их разностей для других диапазонов температур.
Рис.3. 3D-модель текущего изображения при температуре АЧТ 40°С. Наблюдается детерминированная «столбцовая» структура в смеси с флуктуационным шумом
Рис.4. 3D-модель усредненного изображения при температуре АЧТ 40°С. Наблюдается детерминированная «столбцовая» структура
Рис.5. 3D-модель разности текущего и усредненного изображений при температуре АЧТ 40°С. Наблюдается только флуктуационный шум при полностью скомпенсированной детерминированной помехе
Ниже на рис.6 в качестве примера приведены 3D-модели разностей текущих изображений для температур АЧТ 50 и 60°С и усредненного изображения
для температуры АЧТ 40°С, взятого в качестве калибровочного (эталонного) изображения для компенсации детерминированной помехи. Наблюдается ухудшение качества компенсации с увеличением различий в температуре АЧТ для текущего и усредненного изображений.
Из рис.5-6 видно, что качество компенсации ухудшается при использовании для вычитания усредненного изображения, полученного при температуре АЧТ, отличающейся от температур для текущих изображений. Причем чем больше различие в температурах для текущего и эталонного изображений, тем хуже компенсируется детерминированная помеха. Так, на разностном изображении, полученном при вычитании текущего изображения для температуры АЧТ 60°С и усредненного изображения для температуры АЧТ 40°С, достаточно отчетливо наблюдается «столбцовая» структура.
Использование в качестве эталонного изображения усредненного из усредненных изображений для температур АЧТ 20, 30, 40, 50 и 60°С также не дало существенного улучшения результата компенсации по сравнению с эталоном для центрального значения температуры АЧТ 40°С.
Ухудшение качества компенсации объясняется нелинейностью передаточной характеристики видеотракта, что иллюстрируется на рис.7, на котором приведена полученная в процессе эксперимента зависимость максимальной величины сигнала по полю изображения Цтах от значений температуры АЧТ.
Нелинейность передаточной характеристики приводит к амплитудным различиям между компенсируемым и эталонным сигналом и требует применения многоточечной коррекции. Указанные выше методы многоточечной коррекции предполагают аппроксимацию передаточных характеристик. Приближенное моделирование процесса аппроксимации может быть осуществлено путем регулировки амплитуд (балансировки) вычитаемых сигналов.
Рис.6. 3D-модели разностей усредненных изображений при температуре АЧТ 40°С с текущими изображениями при температуре АЧТ 50°С (слева) и 60°С (справа). На левом изображении видна кольцевая структура — результат биений двух вычитаемых сигналов, имеющих близкие косинусоидальные распределения яркости по полю изображения, но «столбцовая» структура практически незаметна. На правом изображении «столбцовая» структура заметна отчетливо
Рис.7. Зависимость максимальной величины сигнала по полю изображения Umax от значений температуры АЧТ
Так, например, различия в пространственном распределении неравномерности чувствительности («столбцовой» структуры) по полю изображения, увеличивающиеся с ростом разницы в температурах АЧТ, при которых получены сравниваемые изображения, можно наблюдать в 3D-моделях, приведенных на рис.9,10. На данных моделях представлены совмещенные вдоль горизонтальной линии половины изображений, полученных при различных температурах АЧТ и сбалансированные по величине максимального сигнала. На моделях наблюдается усиление заметности границы раздела с ростом разницы в температурах АЧТ, соответствующей сравниваемым изображениям.
Рис.8. Компенсация неравномерности текущего изображения для температуры АЧТ 20°С при использовании эталонного усредненного изображения для температуры АЧТ 60°С. Слева — без регулировки усиления сигналов (оба сигнала по 100%). Наблюдается «столбцовая» структура по всему полю изображения. Справа — с регулировкой усиления сигналов (текущий сигнал 160% , эталонный 100%). «Столбцовая» структура сохраняется по всему полю изображения при незначительном изменении в его центральной части
При общем косинусоидальном характере распределения амплитуды сигнала по полю изображения ожидаемое улучшение качества компенсации должно наблюдаться в центральной части кадра. Однако попытки достичь лучшей компенсации путем регулировки амплитуды вычитаемых сигналов, полученных для различных диапазонов температур модели абсолютно черного тела, в процессе экспериментов не дали существенного эффекта (рис.8).
Это обстоятельство позволяет сделать вывод о том, что при данном весьма низком уровне неравномерности по полю изображения и весьма высоком отношении сигнал-шум метод двухточечной коррекции не обладает достаточной точностью, так же как и метод многоточечной коррекции, основанный на аппроксимации передаточных характеристик. Кроме этого, отсутствие эффекта компенсации при регулировке амплитуды вычитаемых сигналов дает основание предположить, что детерминированная помеха не является строго детерминированной и имеет некоторые флуктуации по полю изображения в пределах соседних элементов в зависимости от уровня сигнала.
Рис.9. Совмещение центрального фрагмента текущего изображения для температуры АЧТ 50°С и усредненного изображения для температуры АЧТ 40°С. Линия совмещения изображений слабо заметна
Рис.10. Совмещение центрального фрагмента текущего изображения для температуры АЧТ 20°С и усредненного изображения для температуры АЧТ 60°С. Линия совмещения изображений отчетливо проявляется
Таким образом, в случае даже весьма малых (в пределах одного элемента изображения) пространственных флуктуаций неравномерности чувствительности в зависимости от уровня сигнала методы как двухточечной, так и многоточечной, основанной на аппроксимации передаточных характеристик видеотракта полиномами первого и высших порядков коррекции, не могут дать достаточного эффекта.
Повышение точности по отношении к алгоритмам аппроксимации и интерполяции могут дать методы, основанные на точном измерении промежуточных значений сигнала в процессе калибровки. Для этого требуется формирование калибровочных (эталонных) изображений для набора градаций яркости, а в процессе информативной засветки при попадании текущего сигнала в определенную градацию яркости для компенсации (вычитания) следует использовать свое соответствующее эталонное значение. Число градаций яркости, используемых при калибровке, будет определять ее точность.
Методика компенсации неравномерности чувствительности фотоприемника
По результатам проведенных экспериментов предлагается следующая методика компенсации неравномерности чувствительности охлаждаемого фотоприемника ИК-диапазона.
Динамический диапазон сигнала фотоприемника, соответствующий рабочему диапазон температур от Т1 до Тк разбивается на к интервалов с шагом ДТ=5-10°С. На каждом температурном участке с использованием контрольной засветки от АЧТ снимается видеопоследовательность, содержащая не менее 256 кадров без компрессии. В процессе перехода к следующему интервалу температур поток излучения от АЧТ к фотоприемнику перекрывается для избежания локального нагрева его элементов, в частности холодной диафрагмы. Из каждой видеопоследовательности формируется усредненный кадр без компрессии изображения. Для каждого эталонного кадра по выше рассмотренному алгоритму формируется изображение поверхности, соответствующей неравномерности освещенности через холодную диафрагму. Производится формирование эталонных кадров для каждого участка динамического диапазона сигнала путем вычитания из соответствующих усредненных кадров изображений соответствующих поверхностей. Сформированные эталонные кадры запоминаются для последующей компенсации в процессе информативной засветки.
Информативная засветка производится с использованием штатного объектива. Цифровые значения текущего сигнала ивх от каждого элемента сравниваются со значениями сигнала, соответствующими заданным интервалам температур, и формируется выходной скомпенсированный сигнал ивых согласно выражению: {(ивх - и1г), если иГ1 < ивх < ит 2, {(ивх - и„), если ит1 < ивх < ит 2, ивых = {(ивх - иъ), если ит2 < ивх < итз,
{(ивх - иы), если итк_1 < ивх < итк,
где ип, иТ2, ... иТк — значения сигнала, соответствующие заданным температурным интервалам в диапазоне рабочих температур от Т1 до Тк, а и1и иъ, ... ик, — значения эталонных сигналов от соответствующих элементов изображений в данных интервалах динамического диапазона.
Другим вариантом методики компенсации может быть также рассмотренное выше традиционное линейное преобразование, основанное на вычислении коэффициентов компенсации для каждого элемента изображения в процессе контрольной (равномерной фоновой) засветки. При этом массивы коэффициентов компенсации должны вычисляться для каждого интервала динамического диапазона сигнала, а при информативной засветке — формироваться выходной скомпенсированный сигнал ивых в соответствии с выражением:
Кпивх, если ип < ивх < ит2,
Кт2ивх, если ит1 < ивх < ит2, ивых = Кт зивх, если ит 2 < ивх < ит з,
KTkUвх, если итк-1 < ивх < итк,
где КТ1, КТ2, ... КТк — значения коэффициентов компенсации, вычисленных для заданных интервалов динамического диапазона изменения сигнала, соответствующих температурным интервалам в диапазоне рабочих температур от Т1 до Тк .
Предлагаемая методика, в отличие от традиционных, может быть охарактеризована как многоточечная коррекция, основанная не на аппроксимации передаточной характеристики видеотракта, а на измерении ее значений в процессе калибровки.
Выводы
1. Метод линейной (двухточечной) коррекции неравномерности чувствительности фотоприемника неэффективен при компенсации малых (менее 1%) неравномерностях сигнала и высоком (более 46 дБ) отношении сигнал-шум.
2. Учет масштабирующих коэффициентов (усиления) при взаимном вычитании текущего и эталонного изображений, соответствующих различным участкам динамического диапазона изменения сигнала, недостаточен для точной компенсации неравномерности чувствительности.
3. Для повышения точности компенсации следует использовать метод многоточечной коррекции на основе калибровки фотоприемника в заданных интервалах динамического диапазона изменения сигнала.
1. Сергунов А.А. Методы коррекции неравномерности чувствительности инфракрасных фотоприемников // Известия вузов. Приборостроение. 2009. №8.Т.52. С.38-42.
2. Хромов Л.И., Лебедев Н.В., Цыцулин А.К., Куликов А.Н. Твердотельное телевидение. Телевизионные системы с переменными параметрами на ПЗС и микропроцессорах, М.: Радио и связь, 1986. 184 с.
3. Борзов С.М., Козик В.И., Потатуркин О.И. Коррекция тепловизионных изображений на основе статистической обработки реальных данных // Известия вузов. Приборостроение. 2009. №6. Т.52. С.11-18.
4. Корнышев Н.П. Телевизионная визуализация: учеб. пособие. В. Новгород: НовГУ, 2010. 164 с.
5. Брондз Д.С., Харитонова Е.Н. Коррекция геометрического шума МФПУ с помощью аппроксимации методом наименьших квадратов передаточных характеристик матрицы полиномом Т-го порядка [Электронный ресурс] // Журн. радиоэлектроники. 2008. №11. 29 с. http:/jre.cplire.ru/alt/nov08 (Дата обращения 11.09.15).
6. Источник абсолютно черного тела АЧТ-6А // Паспорт ЭЛИР 3.036.010 ПС. Новосибирск, НПП «ЭЛИР», 2012. 10 с.
References
1. Sergunov A.A. Metody korrektsii neravnomernosti chuvstvitel'nosti infrakrasnykh fotopriemnikov [Methods for correction of not uniform sensivity of infrared focal-plane arrays]. Izvestiia vysshikh uchebnykh zavedenii. Priborostroenie - Journal of Instrument Engineering, 2009, vol. 52, no. 8, pp. 38-42.
2. Khromov L.I., Lebedev N.V., Tsytsulin A.K., Kulikov A.N. Tverdotel'noe televidenie. Televizionnye sistemy s peremennymi parametrami na PZS i mikroprotsessorakh [Solid state TV. Multivariable television systems based on
charge coupled devices and microprocessors], Moscow, 'Radio i sviaz'" Publ., 1986. 184 p.
3. Borzov S.M., Kozik V.I., Potaturkin O.I. Korrektsiia teplovizionnykh izobrazhenii na osnove statisticheskoi obrabotki real'nykh dannykh [Correction of infrared images on the base of real-time statistical data processing]. Izvestiia vysshikh uchebnykh zavedenii. Priborostroenie - Journal of Instrument Engineering, 2009, vol. 52, no. 6, pp. 11-18.
4. Kornyshev N.P. Televizionnaia vizualizatsiia: uchebnoe posobie [Television "visualization". Study guide]. Veliky Novgorod, NovSU Publ., 2010. 164 p.
5. Brondz D.S., Kharitonova E.N. Korrektsiia geometricheskogo shuma MFPU s pomoshch'iu approksimatsii metodom naimen'shikh kvadratov peredatochnykh kharakteristik matritsy polinomom T-go poriadka [Fixed Pattern Noise correction by least-squares approximation of image sensor's transfer characteristics with Tth degree polynomial]. Zhurnal radioelektroniki - Journal of Radio Electronics, 2008, no. 11, 29 p. Available at: http:/jre.cplire.ru/alt/nov08 (accessed 11.09.2015).
6. Istochnik absoliutno chernogo tela AHT-6A [Absolute black body AHT-6A]. Data Sheet ELIR 3.036.010 nC. Novosibirsk, SPE «ELIR», 2012. 10 p.
