CC BY
579
МЕТОДЫ ОБРАБОТКИ СИГНАЛОВ В ТЕПЛОВИЗИОННОЙ И ТЕПЛОПЕЛЕНГАЦИОННОЙ
АППАРАТУРЕ
УДК 681.7.013
С. М. Борзов, В. И. Козик, О. И. Потатуркин
КОРРЕКЦИЯ ТЕПЛОВИЗИОННЫХ ИЗОБРАЖЕНИЙ НА ОСНОВЕ СТАТИСТИЧЕСКОЙ ОБРАБОТКИ РЕАЛЬНЫХ ДАННЫХ
Сравниваются различные методы коррекции неоднородности чувствительности элементов линеек тепловизионных приемников, основанные на статистическом анализе изображений сцен в режиме реального времени. Рассмотрены адаптивные (основанные на анализе окрестности корректируемого элемента) и неадаптивные (с использованием статистики распределения яркости по всему кадру) варианты. Предложен метод многоточечной коррекции, основанный на аппроксимации характеристических кривых элементов фотоприемных устройств.
Ключевые слова: тепловизионный приемник, коррекция неоднородности, статистический анализ.
Введение. При разработке тепловизионных систем следует учитывать более низкие контрасты инфракрасного (ИК) излучения объектов при температуре около 300 К по сравнению с приборами видимого диапазона. По этой причине при наличии даже небольшого геометрического шума (неоднородности характеристик элементов матрицы) возникают значительные искажения изображения.
Для устранения неоднородности чувствительности элементов применяются специальные процедуры коррекции [1, 2]. Существует несколько алгоритмов двух- и трехточечной коррекции неоднородностей, основанных на выборе постоянного смещения и коэффициента усиления сигнала отдельно для каждого пиксела приемника. В этих алгоритмах используется выходной сигнал от двух и более опорных источников для вычисления коэффициентов коррекции и восстановления формы входного изображения [2]. Наиболее распространен алгоритм, заключающийся в использовании двух опорных источников, имеющих температуру Т1 и Т2 соответственно, с линейной интерполяцией выходного сигнала; он называется алгоритмом двухточечной коррекции [1]. Обычно значения температуры Т1 и Т2 ограничивают рабочий диапазон. В этом случае коррекция неоднородности осуществляется по линейной схеме
и-,о= к,щ - М),
где и,с — значение сигнала /-го элемента (строки изображения) после коррекции, иг — значение сигнала до коррекции, Кг — коэффициент чувствительности и Мг — темновой ток.
При невозможности использования опорных источников, а также для компенсации изменения характеристик элементов во времени применяются варианты оценки коэффициентов
коррекции по результатам статистического анализа последовательности регистрируемых данных. При этом учитываются некоторые предположения о характеристиках этих данных (или модель сигнала) [3—5].
Ввиду трудности изготовления матриц ИК-приемников достаточно высокого качества зачастую используются сканирующие линейки, при этом для устранения влияния бракованных элементов в качестве линейки используется матрица из четырех линеек, выходы которых объединяются [6]. При использовании линейных многоэлементных фотоприемных устройств (ФПУ) полученное вследствие имеющейся неоднородности чувствительности изображение имеет характерную горизонтальную структуру (здесь и далее предполагается вертикальное расположение линеек ФПУ с горизонтальным сканированием).
В настоящей работе анализ методов коррекции геометрического шума проводится применительно к таким сканирующим линейкам. При количественной оценке качества коррекции используются телевизионные изображения с искусственно внесенными шумами.
Методы коррекции
1. Коррекция по среднему. Простейшее предположение заключается в том, что изображение наблюдаемой сцены имеет достаточно случайный характер, поэтому усредненный по времени уровень засветки всех элементов ФПУ одинаков [7]. В этом случае можно осуществлять коррекцию регистрируемых изображений с использованием коэффициентов, обратно пропорциональных среднему значению сигнала, получаемому от каждого из элементов ФПУ за некоторый интервал времени, т. е. Кг = а/<иг> и Мг = 0, где <иг> — средний сигнал по строке, а — нормирующий коэффициент.
В общем случае коэффициент а может быть выбран из соображений обеспечения приемлемого контраста восстановленного изображения; в рамках настоящей статьи для определения качества коррекции посредством сравнения обработанного изображения с исходным он выбирался равным среднему значению сигнала по кадру: а = <и>.
К сожалению, использование этого механизма требует случайного характера регистрируемых изображений. На практике подобные ситуации встречаются, например, при аэросъемке земной поверхности с хаотичным, неупорядоченным характером сцены. Однако при съемке, скажем, изображений береговой линии, статистические характеристики одних участков кадра (водная поверхность) будут отличаться от характеристик других (суша).
2. Коррекция по адаптивному среднему. Более приемлемое предположение заключается в том, что средняя яркость строки изображения есть плавная функция от номера строки [3, 7]. Данное предположение практически всегда выполняется, исключением являются лишь специальным образом построенные сцены. В этом случае средние значения сигналов по строкам сглаживаются некоторым окном, и для каждого элемента в результате деления сглаженного сигнала в окрестности данной строки на соответствующий этой строке суммарный сигнал вычисляется корректирующий коэффициент, т. е. коэффициент а зависит от г: аг = < Ог >, где < иг > — сглаженный сигнал в окрестности г-й строки.
Представленные методы являются методами одноточечной коррекции, они позволяют осуществить лишь коррекцию неравномерной чувствительности в условиях равенства темно-вых токов элементов ФПУ (или, наоборот, коррекцию неравномерности темновых токов в условиях равенства чувствительности).
Для осуществления двухточечной коррекции необходимо узнать значения еще одной точки на кривой чувствительности элементов ФПУ. Это можно обеспечить на основе определения темнового тока (М) и средних (<и>) значений сигнала каждого элемента за определенный интервал времени [8]. При этом корректирующий коэффициент Кг определяется как
Кг = а/(<и> - М).
Вычислить значения Мг возможно различными способами, рассмотренными ниже.
3. Коррекция по минимуму и среднему. В данном случае для оценки значения темновых токов элементов ФПУ используется предположение, что за время расчета корректирующих коэффициентов каждый элемент ФПУ хотя бы один раз окажется „в темноте" и выработает сигнал, пропорциональный темновому току или достаточно близкий к нему; тогда аг = <и>, М — минимальный измеренный сигнал.
Очевидно, что подобное предположение является истинным далеко не для любых изображений. Этот метод может привести к искажению получаемых изображений, особенно в ситуациях, когда ограничено время набора данных для оценки корректирующих коэффициентов.
4. Коррекция по среднему и СКО. Несколько более сложным в вычислительном плане является метод определения корректирующих коэффициентов на основе оценки среднего квадратичного отклонения (СКО) значений отсчетов в строках. В этом случае, как и в предыдущем, аг = <и>, а в качестве минимального для каждой строки принимается значение Мг = <и> - 3ои где — СКО в строке.
Данный метод основан на предположении, что распределение значений сигнала, получаемого с каждого из элементов ФПУ, близко к нормальному. Недостатком этого метода (аналогично коррекции по среднему) является чрезмерное расширение диапазона интенсив-ностей на участках кадра равномерной яркости и соответственно увеличение шума до уровня полезного сигнала. Чтобы устранить этот недостаток, предлагается сравнивать значения СКО по каждой строке кадра с предварительно рассчитанным СКО по всему кадру. В ситуации, когда значение СКО по строке гораздо ниже СКО по всему кадру, для данной строки при расчете Мг используется СКО по всему кадру.
Кроме того, были исследованы две вариации этого подхода, использующие адаптивное вычисление среднего и СКО.
5. Коррекция по адаптивному среднему и СКО. В этом случае аг определяется по сглаженному сигналу в окрестности строки аг = < иг >, а минимум — как и в предыдущем случае.
6. Коррекция по адаптивному среднему и адаптивному СКО. Здесь аг = < иг >, а М/ = = <иг> - 3ага/а, где а — значение СКО по всему кадру, а — СКО по окрестности строки.
Приведенные выше методы двухточечной коррекции обеспечивают компенсацию линейных искажений чувствительности элементов ФПУ. При возникновении нелинейных изменений чувствительности для определения формы искажений необходимо применять более сложные методы.
В статье [5] предлагается итерационная процедура определения коэффициентов полинома, описывающего кривую чувствительности элементов ФПУ. В основе данного метода, как и в работах [3, 7], лежит предположение о том, что среднестатистически яркость элемента изображения есть плавная функция от координат. Однако для выполнения итерационной процедуры необходим большой объем вычислений, а кроме того, такие алгоритмы очень сложно реализовать аппаратно.
7. Многоточечная коррекция. Предлагается алгоритм многоточечной коррекции неоднородности чувствительности элементов линейки ФПУ, при котором коэффициенты полинома вычисляются непосредственно за один такт. Для каждого элемента строки ] определяется сглаженное по некоторому вертикальному окну значение сигнала и^. Для сглаживания могут использоваться различные фильтры. Обычно это линейная [5] или медианная [6] фильтрация. Медианные фильтры дают хороший эффект при обработке изображений, искаженных импульсными помехами, но имеют относительно низкую эффективность при фильтрации флуктуационного шума, в основном имеющего место в рассматриваемых системах. При сглаживании флуктуационного шума более эффективны линейные методы фильтрации, однако здесь возможны проблемы с импульсными помехами. Если отдельные элементы линейки могут в значительной степени изменять чувствительность, они могут выступать в роли импульсной помехи.
На рис. 1 приведен пример распределения, определяющего статистику зависимости средней по вертикальной окрестности интенсивности от измеренной в точке для строки изображения с повышенной чувствительностью элемента ФПУ (здесь точки соответствуют экспериментальным данным, сплошная кривая — линейной аппроксимации, штриховая — квадратичной). Очевидно, такие строки должны исключаться из рассмотрения при сглаживании. Для этого предлагается вычислять дисперсию по окну и исходя из полученного значения задавать допустимые отклонения, а при сглаживании учитывать только те элементы, отклонение которых не превышает установленной величины. Такой подход при использовании линейного фильтра позволит устранить как флуктуационный шум, так и импульсные помехи.
Рис. 1
Далее, в зависимости от предположения о характере изменений чувствительности элементов ФПУ проводится линейная или нелинейная аппроксимация полученного распределения. Если закон искажений кривой чувствительности известен, при аппроксимации используется конкретная формула, в общем случае — полином п-й степени
иг,с =2 агп X ип ,
п
где аип — коэффициенты, определяемые в результате аппроксимации.
При наличии на отдельных участках изображения высокочастотных фрагментов появляются точки изображения, значительно отличающиеся по яркости от ближайших соседей, что приводит к появлению „выколотых" точек на рис. 1. Для устранения их влияния предлагается сначала проводить линейную аппроксимацию. Затем вычисляется СКО значений сглаженных сигналов относительно полученного графика. По результатам определяется „коридор" вдоль аппроксимирующей прямой. При окончательной аппроксимации данные, не вошедшие в полученный „коридор", отбраковываются.
Экспериментальные результаты. Исследование предложенных методов коррекции проводилось на примере обработки изображений с искусственно нанесенной неоднородностью и реальных изображений, полученных с тепловизионных приборов на основе сканирующего линейного ФПУ. В первом случае изображение регистрировалось телевизионной камерой видимого диапазона. Затем на изображение накладывался мультипликативный (Ыт) или аддитивный (Ыа) белый шум в соответствии с выражением
и-по^е = и (1 ± Ыт) ± Nа
в диапазонах изменения (0—1) и (0—100) соответственно. Далее делались попытки устранить внесенные искажения путем применения представленных процедур.
Оценка эффективности методов осуществлялась на основе сравнения результата коррекции с исходным изображением. Результаты расчетов традиционно используемого для оценки качества процедуры восстановления изображений критерия PSNR (peak signal-to-noise ratio) приведены на рис. 2 для мультипликативного (б) и аддитивного (а) шума. Номер кривой здесь совпадает с порядковым номером описываемого метода коррекции. Как видно из рисунка, при минимальных шумах в обоих случаях наилучший результат обеспечивает применение метода коррекции по адаптивному среднему. Однако, поскольку этот метод обеспечивает коррекцию только одной составляющей, при увеличении второй его качество резко падает. То же относится и к методу коррекции по среднему, однако он обеспечивает гораздо худшее качество. В целом наихудший результат получен при использовании метода по минимуму и среднему, что свидетельствует о том, что гипотеза о наличии сигнала, близкого к темновому току, далеко не всегда оправдана. Несколько лучшее качество обеспечивает метод по среднему и СКО, а далее качество восстановления двухточечными методами возрастает по мере добавления элементов адаптивности, однако максимальное качество в большом диапазоне шумов обеспечивается многоточечным методом коррекции.
Рис. 2
В целом адаптивные методы коррекции в большинстве случаев оказываются более привлекательными. Однако результаты объективных методов оценки не всегда совпадают с визуальной оценкой качества. Так, в результате применения адаптивных методов могут оставаться отдельные не полностью скорректированные строки. Это вносит небольшой вклад в количественную оценку точности восстановления, однако отчетливо заметно для глаза.
Неадаптивные методы, напротив, практически полностью устраняют такого рода неоднородности, однако вносят собственные искажения, связанные с выравниванием контраста в различных строках. Вследствие этого на изображениях с перепадами яркости и контраста на различных участках они вносят значительные искажения, тогда как в случае хаотичного характера изображений, когда яркость и контраст в различных строках исходных изображений близки, результат данных методов выглядит более предпочтительным.
На рис. 3 приведен пример восстановления изображения неадаптивным и адаптивным методами; здесь а — исходное изображение, б — оно же с наложенным шумом (Ыт = 0,5, Ыа = 50), в — результат коррекции по среднему и СКО, г — результат многоточечной коррекции. Визуально неадаптивный метод имеет свои преимущества в плане полного отсутствия полос и подчеркивания слабоконтрастных фрагментов, в то время как адаптивный восстанавливает изображение, более адекватное исходному, однако на нем присутствуют хоть и слабоконтрастные, но вполне различимые полосы.
а) б)
Рис. 3
Аналогичный результат дает и обработка реальных изображений. Максимально устранить внесенные искажения с сохранением исходного контраста изображения позволил только предложенный метод многоточечной коррекции при использовании линейного фильтра с удалением „выколотых" точек.
Заключение. Практически полностью устранить внесенные искажения удается только при применении неадаптивных методов коррекции, однако в этом случае не только устраняются внесенные искажения, но и происходит выравнивание контраста по всему изображению. При этом, как и следовало ожидать, если изображение содержит фрагменты с отличающимися в значительной мере статистическими параметрами, неадаптивные методы приводят к чрезмерному увеличению контраста, вплоть до распространения шума приемника на весь
динамический диапазон. Применение адаптивных методов не изменяет контраста, но и не обеспечивает полного устранения искажений.
Поскольку все рассмотренные процедуры основаны на ряде предположений о характеристиках входного сигнала, на различных изображениях они приводят к разным результатам. Если в качестве исходного использовать изображение, не удовлетворяющее сделанным предположениям, представленные процедуры могут привести к различным его искажениям. Однако во многих случаях они позволяют оперативно и достаточно корректно устранить неоднородность регистрируемого сигнала, вызванную неравномерной чувствительностью элементов ФПУ и их темнового тока.
Работа выполнена при поддержке Комплексных интеграционных проектов фундаментальных исследований СО РАН № 3.9, 3.20.
СПИСОК ЛИТЕРАТУРЫ
1. Milton A. Influence of nonuniformity to infrared focal plane array performance // Opt. Eng. 1985. N 24. P. 855—862.
2. Певцов Е., Чернокожин В. Матричные ИК-приемники для малогабаритных тепловых тепловизионных камер // Электронные компоненты. 2001. № 3. С. 32—36.
3. Патент РФ № 2113065. Способ выравнивания неравномерной чувствительности фотоприемников сканирующих линеек тепловизоров / В. М. Белоконев, Е. В. Дегтярев, И. В. Рудый и др. Опубл. 10.06.98. Б.И. № 16.
4. Hayat M. M., Torres S. N., Armstrong E. et al. Statistical Algorithm for Nonuniformity Correction in Focal-Plane Arrays // Appl. Opt. 1999. Vol. 38, N 5. P. 772—780.
5. Narayanan B., Hardie R. C., Muse R. A. Scene-based nonuniformity correction technique that exploits knowledge of the focal-plane array readout architecture // Appl. Opt. 2005. Vol. 44, N 17. P. 3482—3491.
6. Журавлев П. В., Попов Л. К., Терешин Е. А., Шатунов К. П. Тепловизионные системы на основе многоэлементных приемников излучения. Новосибирск: РИЦ НГУ, 2005. 72 с.
7. Лебедев Д. Г., Лыонг К. Т. Моделирование адаптивного выравнивания параметров линейки фотоприемников с использованием микросканирования // Информационные процессы. 2007. Т. 2, № 2. С. 124—137.
8. Борзов С. М., Потатуркин О. И., Резник А. Л., Яковлев А. В. Принципы построения автоматизированных систем восприятия и анализа последовательности тепловизионных изображений // Изв. вузов. Приборостроение. 2004. Т. 47, № 9. С. 46—50.
Сведения об авторах
Сергей Михайлович Борзов — канд. техн. наук; Институт автоматики и электрометрии СО РАН, ла-
боратория физико-технических проблем дистанционной диагностики, Новосибирск; E-mail: [email protected] Виктор Иванович Козик — канд. техн. наук, ст. науч. сотрудник; Институт автоматики и электро-
метрии СО РАН, лаборатория физико-технических проблем дистанционной диагностики, Новосибирск; E-mail: [email protected] Олег Иосифович Потатуркин — д-р техн. наук, профессор; Институт автоматики и электрометрии СО
РАН, заместитель директора по научной работе, Новосибирск; E-mail: [email protected]
Поступила в редакцию 12.01.09 г.
