CC BY
136
УДК 621.384.3
А. А. Сергунов
МЕТОДЫ КОРРЕКЦИИ НЕРАВНОМЕРНОСТИ ЧУВСТВИТЕЛЬНОСТИ ИНФРАКРАСНЫХ МАТРИЧНЫХ ФОТОПРИЕМНИКОВ
Проанализированы методы коррекции неравномерности параметров матричных фотоприемников в современных оптико -электронных приборах. Рассмотрены адаптивные методы цифровой обработки тепловизионных изображений в изменяющихся условиях наблюдения.
Ключевые слова: матричный фотоприемник, коррекция неравномерности, цифровая обработка.
Цель настоящей статьи — на основе анализа известных методов коррекции неравномерности характеристик матричных фотоприемников ИК-диапазона выработать рекомендации по применению этих методов для оптико-электронных систем сканирующего и „смотрящего" типа.
В настоящее время в ИК-диапазоне широко используются матричные фотоприемники (МФП) вместо отдельных детекторов ИК-излучения и линеек фотоэлементов. Однако в силу ряда причин на получаемом с МФП изображении заметна неравномерность, которая выражается в виде светлых или темных полос — „геометрического шума". Неравномерность обусловлена технологией изготовления приемников ИК-излучения и зависимостью отклика отдельного элемента в МФП от внешнего излучения.
Для борьбы с „геометрическим шумом" используют методы коррекции неравномерности чувствительности приемников, которые можно разделить на три класса:
1) методы, использующие тест-объекты;
2) методы, использующие сигнал, поступающий от наблюдаемой сцены;
3) комбинированные.
Для характеристики метода коррекции можно использовать несколько параметров:
— источник сигнала для коррекции неравномерности;
— модель отклика элемента МФП;
— режим калибровки;
— инерционность коррекции;
— количество кадров, необходимых для компенсации;
— движение МФП;
— фильтрация сигнала сцены.
Существует два источника сигнала для коррекции: излучатель с известной температурой и сигнал сцены (расфокусированное изображение или наблюдаемое оператором).
Для коррекции используются линейные, полиномиальные, экспоненциальные, нелинейные (в том числе нейросети) модели отклика элемента МФП.
В ряде методов предполагается использование двух режимов работы МФП: калибровки (вычисление параметров модели или сигнала компенсации) и рабочего режима (компенсация неравномерности). В комбинированных методах оба режима могут быть совмещены.
Под инерционностью коррекции подразумевается возможность появления следа за изображением движущихся объектов.
Движение МФП может обеспечиваться как поворотом всей камеры, так и смещением МФП на один элемент.
Фильтрация сигнала предполагает использование для обработки сигнала временных, частотных и пространственных фильтров, например, временной ВЧ-фильтр, фильтр типа
„grid noise", гомоморфный фильтр и др. [1]. Фильтрация может производиться перед компенсацией неравномерности.
Методы, использующие тест-объект. Основной принцип методов данной группы заключается в том, чтобы в плоскости МФП создать излучение с известным законом изменения интенсивности сигнала в пространстве. Чаще всего используют постоянную интенсивность излучения на всей площади МФП. При этом отклики от любого элемента должны быть одинаковыми. В качестве источников равномерного излучения используются эталонные ИК-излучатели с известной температурой или расфокусированное изображение наблюдаемой сцены. Также может использоваться предварительная калибровка МФП. На этапе изготовления устройства с МФП оценивается неравномерность чувствительности элементов на эталонных объектах. После этого строится параметрическая модель неравномерности темновых токов и чувствительности, а также временного дрейфа отклика элементов МФП, и на их основе делается оценка неравномерности при работе. В ходе наблюдения сцены из текущего кадра вычитается оценка [2].
Методы, использующие сигнал от наблюдаемой сцены. Поскольку эти методы требуют дополнительных средств и(или) времени для компенсации неравномерности, то используется дополнительная компенсация по самому сигналу наблюдаемой сцены. Можно выделить три группы методов:
1) статистические;
2) фильтрация;
3) использование движения МФП:
— микросканирование — перемещение МФП с шагом, равным одному элементу [3];
— движение камеры с МФП.
Кратко рассмотрим наиболее часто используемые методы, использующие сигнал от наблюдаемой сцены.
Алгоритм постоянной статистики (constant statistic algorithm) основан на том, что в течение длительного времени среднее значение и дисперсия отклика каждого элемента не изменяются, при этом предполагается, что МФП движется. Алгоритм очень прост и может быть использован в качестве эталонного для сравнения методов компенсации неравномерно-стей [4].
С помощью метода постоянного диапазона (constant-range) с линейной моделью отклика элемента МФП для вычисления параметров модели оценивают математическое ожидание и дисперсию отклика, истинного значения и временного шума [5]. Особенностью данного метода является задание постоянного диапазона от xmin до xmax для нескорректированных значений излучения. Если значение не принадлежит диапазону, то используется интерполяция. В модификации метода значения математических ожиданий и дисперсии оцениваются рекурсивно, а также учитывается тот факт, что временной дрейф параметров усиления и смещения сигнала незначителен [6].
В методе Скрибнера (Scribner's algorithm) используется линейная модель y = Ax + b. В каждом кадре для каждого элемента происходит адаптация коэффициента усиления и смещения. При вычислении параметров модели для следующего кадра используется нейросеть. Новые значения A и b рассчитываются по методу наискорейшего спуска.
Модификации метода заключаются в выборе целевой функции f и являются адаптивными (коэффициенты усиления и смещения адаптируются к сигналу сцены). Ошибки целевой функции оптимизируются по методу наименьших квадратов [7—10].
Для фильтрации по методу Калмана используется модель отклика y = Ax+b+v, где v — аддитивный временной шум считывания. В качестве вектора состояния используется вектор Xk = [Ak, bk ], где k — номер кадра. Предполагается, что значения коэффициента усиления и смещения от кадра к кадру изменяются незначительно и случайным образом [11, 12]. Фильтр
Калмана может использоваться для оценки глобального среднего значения входной последовательности изображений и служить заменой взвешивающей функции в методе Скрибнера [13]. Для оценки истинных значений используется как классическая форма записи фильтрации
Калмана, так и инверсная форма [14]. Преимуществом инверсной формы записи является большая стабильность компенсации [15, 16]. Модификация заключается в рекурсивном оценивании параметров состояния фильтра. Например, весовые коэффициенты для формирования оценки вектора состояния формируются по правилу Байеса [17, 18]. В другой модификации, прежде чем использовать классический фильтр Калмана, производится низкочастотная пространственная фильтрация в окне размером ЫхЫ [19].
Метод таблиц соответствия заключается в том, чтобы использовать для каждого элемента предварительно рассчитанные таблицы откликов на истинные значения интенсивности излучения. Таблица рассчитывается на основе экспоненциальной или полиномиальной модели высокого порядка [20].
В фацетной модели для каждого элемента рассматривается область размером NхN и строится оценка истинного значения по откликам в этой области [21]. Используется полиномиальная модель:
N -1N-1
х = X X ъи}Уи], ¿=0 ]=0
где Ъ — коэффициенты полинома.
Комбинированные методы основываются на интеграции методов первой и второй групп. Например, первичная калибровка МФП производится с использованием двух эталонных излучателей, а оставшуюся неравномерность, в том числе возникающую между калибровками, устраняют с использованием одного из методов второй группы.
К комбинированным методам относятся и алгебраические алгоритмы, использующие сигналы сцены [22—27]. Исходными предпосылками для работы этих алгоритмов является движение МФП с известными параметрами. По периметру МФП расположена полоса из элементов, которые подвергаются калибровке в каждом кадре. Коррекция неравномерности остальных элементов выполняется путем последовательного вычисления коэффициентов усиления и смещения сначала вдоль строк, затем вдоль столбцов. Алгебраический алгоритм применяется после выполнения двухточечной калибровки.
В таблице сравниваются характеристики методов компенсации неравномерности чувствительности МФП. Наиболее рациональным представляется использование комбинаций методов, поскольку любой метод в отдельности имеет ограничения по коррекции и полностью не решает задачи компенсации неравномерности.
Сравнительная характеристика методов коррекции неравномерности параметров МФП
Метод Источник сигнала коррекции Модель отклика элемента Режим калибровки Инерционность компенсации Объем выборки, кадров Движение МФП Фильтрация сигнала сцены
Одноточечная коррекция Излучатель Т1 Линейная Да Нет 1 Нет Нет
Двухточечная коррекция Излучатели Т1 и Т2 Линейная Да Нет 2 Нет Нет
Расфокусировка Сигнал сцены Линейная Да Нет 1 Нет Нет
Метод постоянной статистики Линейная Нет Есть <Х) Есть Нет
Продолжение таблицы
Метод Источник сигнала коррекции Модель отклика элемента Режим калибровки Инерционность компенсации Объем выборки, кадров Движение МФП Фильтрация сигнала сцены
Метод постоянного диапазона Сигнал сцены Линейная Нет Есть Ж Есть Нет
Фильтрация Калмана Линейная Нет Есть Ж Есть Да/нет
Временной ВЧ-фильтр Линейная Нет Да N—ж Нет Да
Метод Скрибнера Нелинейная Нет Есть 1 Есть Нет
Метод таблиц соответствия Полиномиальная Экспоненциальная Да Нет 1 Нет Нет
Фацетная модель Полиномиальная Да Есть N Да Нет
Гомоморфная фильтрация Мультипликативная Нет Нет 1 Нет Да
Фильтр „grid noise" Не используется Нет Нет 1 Нет Да
Алгебраические алгоритмы Линейная Да Нет 1 Да Нет
Для оптико-электронных систем сканирующего типа рекомендуется использовать метод двухточечной коррекции и предварительную калибровку МФП. Для систем „смотрящего" типа, где недопустимо прерывание работы для выполнения калибровки, целесообразно использовать алгебраические алгоритмы, использующие сигналы сцены и постоянно калибрующиеся элементы МФП.
СПИСОК ЛИТЕРАТУРЫ
1. Torle P. Scene-based correction of image sensor deficiencies: Magister's thesis in image processing at Linkoping Institute of Technology. 2003. [Электронный ресурс]: <www.diva-portal.org/diva/getDocument7um_nbn_se_liu_ diva-1752-1_fulltext.pdf>. 20.09.2007.
2. Chen H.-W., Fontan F., Olson T. A chopper-free measurement-based-parametric-fitting non-uniformity correction system // Infrared Imaging Systems: Design, Analysis, Modeling, and Testing XV. Proc. SPIE. 2004. Vol. 5407. P. 54—65.
3. Соловьев В. И., Анисимов И. Ю. Оценка качества выравнивания каналов тепловизионных приемников при использовании метода микросканирования // Оптич. журн. 2005. № 6. С. 47—50.
4. Hart R., Thomas O. A study of non-uniformity correction methods for staring array IR detectors // 1st EMRS DTC Technical Conference. Edinburgh, 2004.
5. Torres S. N., ReevesR. A., HayatM. M. Scene-based nonuniformity correction method using constant-range performance and analysis // Proc. SCI 2002/ISAS 2002. 2002. Vol. IX.
6. Pezoa J. E., Torres S. N., Córdova J. P., Reeves R. A. An enchancement to the constant range method for nonuniformity correction of infrared image sequences // ISSU 3287. 2004. P. 525—532.
7. Vera E. M., Torres S. N. Fast adaptive non-uniformity correction for infrared focal-plane array detectors // EURASIP J. on Applied Signal Proc. 2005. Vol. 13. P. 1994—2004.
8. Torres S. N., Vera E. M., Reeves R. A., Sobarzo S. K. Adaptive scene-based nonuniformity correction method for infrared focal-plane arrays // Infrared Imaging Systems: Design, Analysis, Modeling, and Testing XIV. Proc. SPIE. 2003. Vol. 5076. P. 130—139.
9. Vera E. M. Corrección adaptive de no-uniformidad en sistemas de imágenes infarrojas. Informe de tesis para optar al grado académico de magister en ciencias de la ingeniería con mención en ingeniería eléctrica. 2003. [Электронный ресурс]: <http://www.tsc.urjc.es/personal/alfonso/publicaciones/PhD_Thesis.pdf>. 20.09.2007.
10. Vera E. M., Torres S. N. Ghosting reduction in adaptive non-uniformity correction of infrared focal-plane array image sequences // Proc. 2003 Int. Conf. on Image Processing. Barcelona, Spain, 2003. Vol. 2. P. 1000—1004.
11. Torres S. N., Hayat M. M. Kalman filtering for adaptive nonuniformity correction in infrared focal-plane arrays // J. Opt. Soc. Am. A. 2003. Vol. 20, N 3.
12. Torres S. N. A Kalman-filtering approach for non-uniformity correction in infrared focal-plane array sensors: Thesis (PhD). Dayton: The University of Dayton, 2001. 94 p.
13. Vera E. R., Reeves R. D., Torres S. I. Adaptive bias compensation for non-uniformity correction on infrared focal plane array detectors // Hybrid Intelligent Systems. Santiago, Chile, 2002. P. 725—734.
14. Torres S. I., Pezoa J. N. Scene-based nonuniformity correction method using inverse covariance form of Kalman filter // Hybrid Intelligent Systems. Santiago, Chile, 2002. P. 715—724.
15. Pezoa J. E. Corrección en tiempo real del ruido especial en sensors infrarrojos usando la forma de covarianza inverse del filtro Kalman: Informe de tesis para optar al grado académico de magister en ciencias de la ingeniería con mención en ingeniería eléctrica. 2003. [Электронный ресурс]: <http://nuc.die.udec.cl/publications/theses/2003-CorreccionTiempoRealRuidoEspacialSensoresIRUsandoCovInv.pdf>. 20.09.2007.
16. Torres S. I., Pezoa J. N., HayatM. M. Scene-based nonuniformity correction for focal plane arrays by the method of the inverse covariance form // Applied Optics. 2003. Vol. 42, N 29. P. 5872—5881.
17. Pezoa J. E., Torres S. N. Multi-model adaptive estimation for nonuniformity correction of infrared image sequences // Image Analysis and Recognition: Int. Conf. Porto, Portugal, 2004. P. 413—420.
18. Pezoa J. E., HayatM. M., Torres S. N. Multi-model Kalman filtering for adaptive nonuniformity correction of infrared sensors // J. Opt. Soc. Am. A. 2006. Vol. 23. P. 1281—1291.
19. Sobarzo S., Pezoa J. E., Torres S. N. Real-time Kalman filtering for nonuniformity correction in infrared focal-plane arrays // 8th World Multiconference on Systemics, Cybernetics and Informatics. Orlando, Florida, USA, 2004.
20. LeSueur K. G., Jovanov E., Milenkovic A. Lookup table based real-time non-uniformity correction of infrared scene projectors // High Performance Computing User's Group Conf. Austin, Texas, USA, 2002.
21. Voigt M., Zarzycki M., LeMieux D.H., Ramesh V. Scene-based non-uniformity correction for focal plane arrays using facet model // Infrared Imaging Systems: Design, Analysis, Modeling, and Testing XVI. Proc. SPIE. 2005. Vol. 5784. P. 331—342.
22. RatliffB. M., HayatM. M., Hardie R. C. Algebraic scene-based nonuniformity correction in focal plane arrays // Infrared Imaging Systems: Design, Analysis, Modeling, and Testing XIV. Proc. SPIE. 2001. Vol. 4372. P. 114—124.
23. Ratliff B. M., HayatM. M., Tyo J. S. Generalized alegebraic scene-based nonuniformity correction algorithm // J. Opt. Soc. Am. A. 2005. Vol. 22, N 2. P. 239—249.
24. Ratliff B. M., Hayat M. M., Tyo J. S. Radiometrically accurate scene-based nonuniformity correction for array sensors // J. Opt. Soc. Am. A. 2003. Vol. 20, N 10. P. 1890—1899.
25. Ratliff B. M., Hayat M. M. An alegebraic algorithm for nonuniformity correction in focal-plane arrays // J. Opt. Soc. Am. A. 2002. Vol. 19, N 9. P. 1737—1747.
26. Ratliff B. M., Hayat M. M., Tyo J. S. Algorithm for radiometrically-accurate nonuniformity correction with arbitrary scene motion // Infrared Imaging Systems: Design, Analysis, Modeling, and Testing XIV. Proc. SPIE. 2003. Vol. 5076. P. 82—91.
27. HayatM. M., Ratliff B. M., Tyo J. S. Generalized algebraic algorithm for scene-based nonuniformity correction // Photonic Devices and Algorithms for Computing VI. Proc. SPIE. 2004. Vol. 5556. P. 122—136.
Андрей Анатольевич Сергунов
Сведения об авторе Центральный научно-исследовательский институт „Комета", Научно-проектный центр оптоэлектронных комплексов наблюдения, Санкт-Петербург; инженер 2-й категории; E-mail: sergunov-a-a@yandex.ru
Рекомендована кафедрой оптико-электронных приборов
Поступила в редакцию 29.05.08 г.
