Применение двухточечного метода калибровки для тепловизионных матриц фирмы Ulis Текст научной статьи по специальности «Компьютерные и информационные науки»

Ссылка на статью:

// Радиооптика. МГТУ им. Н.Э. Баумана. Электрон. журн. 2015. № 06. С. 13-26.

DOI: 10.7463/rdopt.0615.0820469

Представлена в редакцию: 10.10.2015 Исправлена: 26.10.2015

© МГТУ им. Н.Э. Баумана УДК 004.421.4

Применение двухточечного метода калибровки для тепловизионных матриц фирмы ULIS

Бабкин П. С.1*, Павлов Ю. Н.1, *р avel.b abkinigmaj] ли

Перов А. Н.1

1МГТУ им. Н.Э. Баумана, Москва, Россия

Приводятся краткий обзор наиболее распространённых на текущее время методов калибровки (двухточечная и многоточечная) и вариант модифицированного алгоритма двухточечной калибровки приборов бесшторкового типа, построенных на основе неохлаждаемых микроболометрических матриц фирмы ULIS (Long Wavelength Infrared uncooled microbolometer). В статье отражены описание процедуры калибровки, получения результатов, кратко описан интерфейс программы, реализованной на языке С и используемой в данной работе, а так же сам прибор, используемый для апробации модифицированного алгоритма. Результаты данной работы могут быть интересны при практической реализации бесшторковых тепловизоров и алгоритмов улучшения качества изображения.

Ключевые слова: калибровка, тепловизионная матрица, алгоритм, ULIS

Введение

Одной из наиболее явных тенденций развития современных оптико-электронных систем визуализации, и, в частности, тепловизионных, является использование в их составе матричных приемников излучения. В последние годы все большее распространение в таких системах находят неохлаждаемые болометрические матричные приемники (микроболометры). Микроболометры, как правило, не требуют криогенной системы охлаждения, и, следовательно, тепловизионный модуль имеет меньшие энергопотребление, габариты и массу. Производство микроболометрических матриц на основе оксида ванадия или на кремниевой основе значительно дешевле, чем охлаждаемых фотоприемников. Однако, применение матричных приемников излучения, в частности, микроболометрических, ведет к необходимости учета и компенсации ряда факторов, связанных с дискретностью структуры приемника, заметно влияющих на качество получаемых изображений. К ним относятся искажения из-за дискретизации изображения наблюдаемой сцены, из-за неоднородности параметров и характеристик отдельных чувствительных элементов матрич-

Радиооптика

Сетевое научное издание МГТУ I ш. И. Э. BayMi i н а

http ://га d roopt ics. W

ных приемников. К недостаткам микроболометрических матриц относится также довольно высокий уровень шума. [1]

На текущий момент разработаны методы коррекции неоднородностей для решения вышеобозначенных проблем, однако требования, предъявляемые к высокоточным инфракрасным (ИК) камерам, построенным на матричных приемниках излучения таковы, что требуется уже не просто коррекция неоднородностей изображения, а его калибровка.

В данной статье будут кратко описаны существующие методы калибровки ИК камер, а так же приведен улучшенный метод многоточечной калибровки с экспериментальными результатами его применения в существующей тепловизионной камере на базе матричного неохлаждаемого микроболометрического приемника производства фирмы ULIS (Франция).

1. Постановка задачи

Целью данной работы является исследование и модификация алгоритмов калибровки тепловизионных микроболометрических матриц с целью получения более качественного для конечного пользователя тепловизионного изображения (контрастность, возможность различать мелкие детали, визуально как можно менее зашумлённое изображение).

2. Методика решения задачи

Предлагаемая методика решения задачи состоит из следующих этапов:

1) исследование наиболее распространённых методов калибровки: двухточечная и многоточечная калибровки для приборов бесшторкового типа, которые кратко будут описаны в статье;

2) Реализация и апробация на реальном приборе модификации двухточечного алгоритма калиброки. Проведение экспериментов и анализ полученных результатов.

3. Краткое описание существующих методов калибровки

Необходимость применения калибровки к микроболометрическим матрицам, обусловлена их внутренним устройством. [2] Каждый физический процесс, начиная с ИК излучения от предметов наблюдаемой сцены и кончая отображением полученной сцены на экране монитора вносит искажения в полученное изображение, которые необходимо минимизировать, в том числе, с помощью методов калибровки. Наиболее очевидно это проявляется при наблюдении за однородной сценой (наиболее часто используется так называемое чёрное тело) без какой-либо обработки. Все пиксели показывают различные уровни серого даже в условиях абсолютно равномерного ИК излучения, воздействующего на приёмник. Таким образом становится очевидно, что калибровку необходимо проводить для всех пикселей. Алгоритм калибровки должен учитывать наличие так называемых «плохих» пикселей в современных матричных ИК приёмниках (их усиление слишком

большое или низкое, а также может самопроизвольно изменяться; их число может варьироваться в пределах до 5% от общего суммарного числа пикселей в матрице).

Существуют три основных категории всех методов калибровки: первая категория связана с варьированием температуры наблюдаемой сцены (чёрное тело), вторая связана с варьированием времени интегрирования и третья определяет физические величины используемые для калибровки.

При варьировании температуры наблюдаемой сцены существует несколько возможных вариантов калибровки:

1) одноточечная калибровка, при которой данные получают только для одной температуры чёрного тела;

2) )двухточечная калибровка, при которой данные получают для пары температур чёрного тела;

3) многоточечная калибровка, при которой данные получают для нескольких температур черного тела и интерполируются на весь предполагаемый диапазон температур наблюдаемой сцены.

Аналогичные варианты калибровки есть и при варьировании времени интегрирования:

1) калибровка при одном единственном выбранном времени интегрирования;

2) калибровка при нескольких временах интегрирования без дальнейшей интерполяции;

3) калибровка при нескольких временах интегрирования с дальнейшей интерполяцией на все возможные времена интегрирования.

Любой метод калибровки может оперировать либо измеренной температурой чёрного тела, либо вычисленным распределением энергии в спектре излучения абсолютно черного тела по частотам V (размерность Вт/м •ср).

Качество калибровки напрямую зависит от условий в которых она проводится. Окружающая среда, а именно воздух, содержит молекулы, которые активно взаимодействуют с ИК излучением, а именно молекулы двуокиси углерода и воды. Эти молекулы поглощают часть излучения чёрного тела и излучают в ИК области в соответствии с собственной температурой.

Далее кратко опишем процедуры двухточечной и многоточечной калибровки с варьированием температуры чёрного тела.

3.1 Двухточечная калибровка

Данный метод оперирует двумя температурами чёрного тела при постоянном времени интегрирования. Оперировать возможно как измеренной температурой чёрного тела, так и вычисленным распределением энергии в спектре излучения абсолютно черного тела по частотам. Его несомненным преимуществом является относительная простота выполнения в сочетании с приемлемым, для большинства применений, полученным качеством изображения, в том числе для низкоконтрастных наблюдаемых сцен. [3] В данной работе

будут рассматриваться тепловизоры, не использующие шторковый механизм и терморегуляцию матрицы.

В дальнейшем будем обозначать значение напряжения на болометре с координатами p=(r,c) как ир, где г - номер строки, c - номер столбца.

Согласно документации производителя микроболометрического приемника [4] значение отклика % зависит от:

• температуры Тт, измеренной на матрице;

• внешнего теплового потока, падающего на микроболометр;

• задаваемых напряжений и^ю и и^с

Равномерное внешнее тепловое излучение, падающее на матрицу, как правило, задаётся с помощью черного тела. Числовой характеристикой такого излучения служит измеряемое значение температуры Ть черного тела.

Параметры тепловизора, необходимые для калибровки связаны между собой сложной неявной зависимостью

Тт UGSC UGFID Гь)=0. (1)

При этом используется модель в которой при фиксированных значениях параметров

е [Ц^о и^ю ] и и*08С е отклик ир(Тт)е [0, итах] при всех значениях

ш1п т _ г т^ш1п т^шах -

т _ г тшш т!шахп гт-1 _ г т^шт т^шах п

Тте [ Тт ,Тт ] и всех значениях Тье [Ть ,Ть ]

иш1П(Т ) = и (Т | и*,и*,Т,ш]п) е [0,и ],

р V т / р V т I ОгШ? ОЬС ' Ь / I- ' шах J'

и шах

р

(Тт ) = ир (Тт | и*ошп Ц08С ,ТьтаХ) е [0, ишах] (2)

иТ _ г гршт гршах -, „

для V !те [ Тт ,Тт ]. В последнем равенстве справа от вертикальной черты стоят параметры с фиксированными значениями, а слева стоят параметры, принимающие переменные значения.

Далее для каждого значения Тт е [ТГМГ*] такого, что Тт = Тт"1п + (/ - 1)АТт, рассчитывается пара изображений и™п(Т) и и'ррах(Т пт) и запоминается в оперативной памяти. При текущем измеренном значении Тт е [Т™1П, Т™а ] выбирается ближайшее к нему значение Тгт и загружаются в оперативную память ранее рассчитанные калибровочные изображения ) и Т пт) . Выпрямленное значение отклика ир вычисляется по приближённой формуле

и — ишт(Т')

ир »-р . р (т) . . (3)

у „ шах/гт! ш1п /гт! г\ \ !

и (Т ) — и (Т )

р чт/ р чт/

Очевидно, что в каждый момент времени в оперативной памяти необходимо иметь только два калибровочных изображения. Недостатком данного метода является то, что на

гт^ш1п т^шах т гт!1 — — —

интервале [Тт ,Тт ] необходимо выбрать много точек Тт, чтобы обеспечить необхо-

димую точность приближенного вычисления отклика и р, что в свою очередь приводит к довольно частой замене калибровочных изображений в оперативной памяти.

3.2 Многоточечная калибровка

Как было обозначено ранее в разделе 1.1 каждому значению температуры Ть взаимно однозначно соответствует выпрямленное значение и р, вычисляемое по формуле 3. Будем считать, что зависимость ир от Ть монотонно возрастающая (в противном случае необходимо сделать инверсное преобразование ир = итах — ир).

Для Тье [Тт1П,Т6тах] выпрямленный отклик ир хорошо аппроксимируется квадратичным полиномом от значения Ть

ир * а • Ть2 + Ь • Тъ + с, (4)

где коэффициенты а,Ь и с не зависят от координат р=(г,с) и значенийТт е .

Для оценки параметров а,Ь и с необходимо произвести, по меньшей мере, три изме-

гт-1 _ г т^т1п Т^тах -,

рения при различных значениях !ье [ 1Ь ,1Ь ], например

гртш , т~>тах

7т /тттш гт! лт-1т1 d 1Ь + ТЬ т1 т>тах ТТ г

Ъ1= 1 ,1Ь2 = Т = —Ь--— ,1ЪЪ = 1 . Далее необходимо решить систему из

2

трех линеиных уравнении:

а • (T1)2 + b • Tb 1 + с = 0,

ч о mid

а • (Tb2)2 + b • Tb2 + с = u , (5)

а • (Tb3)2 + b • Tb3 + с = 1.

i I 1 \ mid

Необходимо провести не менее 11 измерении ¥Гт, up г для вычисления u , десять из которых необходимы для получения калибровочных полиномов u™m(Tm ) и u'ppax(Tm ) ,

rpmid ггл1 r /7-imin ^max

а еще одно измерение необходимо провести при 1Ъ и при некотором 1т е [ 1т ,1т J.

mid

В этом случае u вычисляется по формуле

mid up (Tm) - upin(i:)

u «—p-—-. (6)

umax(T) - umin(T') ( )

p \ m / p \ m /

4.Метод двухточечной калибровки с переменными значениями Ugfid и

Ugsc

Ранее была обозначена необходимость выбора Ugfid и Ugsc. Главным недостатком всех рассмотренных выше методов является не гарантированность требуемого пользова-

„ гр ггртт гртах т

телем уровня минимальной чувствительности на всем диапазоне 1т е [1т ,1т \ при

фиксированных напряжениях иоРю и Иове и, в первую очередь, при Тт близком к Ттп .

Пусть каким-либо образом найдены опорные напряжения и°РЮ и и°8С и опорные калибровочные полиномы

ит1п (Тт ) = и(Тт I иОЕЮ, ^СЗС, ТЬ X итах (Тт ) = и(Тт 1 , ^ЖС, ТЬ X

(7)

При этом:

О < и 1 (Тт ) < итах (Тт ) < итах (8)

для VTm е [Ттт1П,Тттах\. Чтобы наблюдать перепады значений Ть на тепловизионном изображении требуется гарантия минимальной чувствительности, задаваемая параметром 5.

ГТ1 — Г7-тт1П

Экспериментально получено, что при 1т близком к 1т перестает выполняться неравенство, обеспечивающее требуемый уровень чувствительности прибора

^^и(Тт^1п I иарю,ио8с) >в = 5-Мь =8• (Тътах — Тът1П). (9)

Подбирается значение параметра и1арю так, чтобы:

dU(TГ|UlGFID ,ио8с) = * (10)

Далее находится такое значение , при котором либо и тт (Тт | , и^ю ) = О, либо и тах (Тт | Ц1^, Ц1^ ) = итах (т.е. происходит выход в режим насыщения) при как

гр ггртт гртах ^ ъ гр1 гт->т1п т^тах т

можно большем значении температуры 1т е [1т ,1т \. Значение 1т е [1т ,1т \ при котором будут выполняться вышеобозначенные условия станет концом первого интервала и началом следующего. Для полученного таким образом подинтервала [Т^1п,Т^\ калибровочные полиномы будут иметь вид:

«; 1П(Тт) = и;\tJUGFD ^с),

(11)

итаХ(Тт ) = итаХ(Тт | иорю К8с ).

Их можно получить способом описанным выше в разделе 1.2. В итоге, за конечное

ггрк грк+1т

число шагов можно получить конечное число подинтервалов [1т , 1т \ на каждом из которых будет своя пара управляющих напряжений и^зс и .

5. Описание методики проведения калибровки и обработки полученных

данных

Для проведения двухточечной калибровки с переменными значениями Ugfid и Ugsc необходимо создать установку, обеспечивающую регулировку двух параметров:

- Стабилизированной температуры кристалла калибруемой матрицы;

- Стабилизированной температуры модели АЧТ.

Данные требования могут быть выполнены с использованием камеры тепла и холода (КТХ) и двух термостабилизированных источников ИК излучения (абсолютно чёрные тела).

На рисунке 1 схематично показан вид установки. Перечислим основные компоненты входящие, в состав установки:

1. Камера тепла и холода;

2. Внутренняя бленда;

3. Объектив тепловизионного прибора;

4. Тепловизионная матрица и блок цифровой обработки;

5. Интерфейсная плата с Ethernet выходом;

6. Ethernet кабель;

7. Кабель питания ТВП;

8. Блок питания (БП);

9. Персональный компьютер;

10. Стабилизированный источник излучения с температурой Tmin;

11. Стабилизированный источник излучения с температурой Tmax;

12. Внешняя бленда;

13. Салазки;

14. Фиксатор салазок.

В КТХ фиксируется калибруемый прибор таким образом, чтобы оптическая ось объектива 3 совпадала с геометрической осью выходного окна Б. Так же следует учесть возможность виньетирования углового поля зрения ТВП выходным окном КТХ диаметра d (рисунок 2). Во избежание данной ситуации при расположении ТВП внутри КТХ следует расположить калибруемый ТВП на расстоянии не более чем p, которое можно вычислить следующей формуле 12

где ^-расстояние между первой компонентой объектива и внешней стенкой КТХ, d-диаметр выходного окна, к- диагональ тепловизионной матрицы, 5- расстояние между входным зрачком и первой компонентой объектива, /'- фокусное расстояние объектива. В случае вынесенного входного зрачка за первую компоненту объектива формула 12. примет следующий вид:

h

(12)

(13)

Соответственно, поверхность стабилизированного источника излучения должна быть расположена на расстоянии от первой компоненты объектива, не превышающем Р, рассчитываемом по формуле 14 или 15 в случае вынесенного за объектив входного зрачка:

л о ■ /'

Р <----5. (14)

к

п о ■!'

Р <-— + 5. (15)

к

Рисунок 1. Общий вид установки для метода двухточечной калибровки

Рисунок 2. Оптические параметры установки для метода двухточечной калибровки

Отдельное внимание стоит уделить проектированию выходного окна Б. Рассмотрим несколько подходов:

1. Выходное окно Б отсутствует;

2. Выходное окно изготовлено из ИК прозрачного стекла;

3. Выходное окно изготовлено из тонкой ИК прозрачной пленки.

Первый вариант является самым простым, но наименее эффективным. В этом случае, будет происходить прямая конвекция воздуха из внешней окружающей среды с внутренним объемом КТХ, что повлечет за собой значительное увеличение времени выхода КТХ на заданный температурный режим. Ко всему прочему, при отрицательных температурах есть риск возникновения точки росы на приборе, что приведет к незамедлительному запотеванию оптики и всего прибора в целом.

Второй вариант позволяет отсечь прямую конвекцию КТХ с внешней средой. Утечка тепла будет происходить исключительно за счет процессов теплообмена. К отрицательным сторонам такого подхода можно отнести дороговизну изготовления подобного окна, а также тот факт, что при низких температурах внешняя поверхность все же будет запотевать, что потребует постоянного контроля поверхности на предмет запотевания. В этом случае автоматизация процесса калибровки невозможна. Третий вариант проектирования выходного окна лишен вышеперечисленных недостатков. Были заданы следующие условия калибровки:

• Рабочий диапазон температур прибора лежит в пределах от-40оС до +50оС.

• Минимальная и максимальная температуры АЧТ равны Ттп = 0°С и Ттах = +50оС соответственно.

• Видеосигнал с матрицы инвертируется на АЦП, то есть на полученном, с матрицы, тепловизионном изображении светлые участки будут соответствовать более нагретым телам, а темные участки более холодным объектам.

Исходя из экспериментальных данных, выберем точку разбиения всего диапазона температур в положительном интервале, Тт=+10оС. Таким образом, целью первого этапа

калибровки становится поиск двух оптимальных пар напряжений р иорю1 и иозс 2, для интервалов Тт е[-40°С;+10°С],Тт е[+10°С; +50°С] соответственно. Рассмотрим алгоритм поиска оптимальной пары напряжений р для

температурного интервала Тт е [-40;+10]. Для второго температурного интервала Тт е [+10; +50], действия будут аналогичными.

Для крайних значений данного температурного интервала на сетке с узлами {V* , икорю}, с шагами и йиорю соответственно, рассмотрим две функции

Ст1п (Тт > ТЪ I иОРЮ ,и1С ) и Стах (Тт > ТЪ I СОР1В ) , ТтМах = +10°С, ТтМт=-40°С. Тогда для

каждой пары опорных напряжений , ) при фиксированных температурах под-

ложки матрицы ТтМах и АЧТ Тъ=0°С проведем регистрацию тепловизионной картинки, содержащей набор сигналов итп(т,п) и вычислим значения моды гистограммы Vт™1а . Полученную зависимость Ц™1 а (ТтМах ,ТЪ | СкОР1В ), отобразим на трехмерном графике,

приведенном на рисунке 3. Аналогично вычислим значения мод гистограммы тепловизи-онной картинки С™^ для температуры матрицы ТтМп=-40°С и температуры АЧТ

Тъ=+50°С.

Рисунок 3. Зависимость моды гистограммы тепловизионной картинки от опорных напряжений

В результате выполнения данной методики калибровки для каждого пиксела тепловизионной матрицы можно построить кривую чувствительности в зависимости от температуры окружающей среды. На рисунке 4 показаны две зависимости, снятые при АЧТ с температурой Ттах=+50оС и Ттг„=0оС, отмеченные красным и синим цветом соответственно.

Рисунок 4. Уровень сигнала пиксела тепловизионной матрицы в зависимости от температуры окружающей

среды

Изображения полученные до применения калибровки и после двухточечной калибровки с переменными значениями ^бто и ^^ представлены на рисунках 5 а и 5б соответственно. Визуальное субъективное качество полученного изображения свидетельствует об эффективности применённого метода.

Рисунок 5. Изображения полученные до применения калибровки и после двухточечной калибровки

Выводы

В данной работе были рассмотрены наиболее распространенные методы калибровки тепловизионных микроболометрических мариц. Была обоснована и описана модификация алгоритма двухточеченой калибровки и экспериментальная установка предназначенная для проведения испытаний. Полученные экспериментальные данные (изображения) подтверждают работоспособность и эффективность применения предложенного метода калибровки.

Список литературы

1. Демидов В.М. Методы и средства цифровой коррекции изображения в оптико-электронных системах визуализации: автореф. дис. канд. техн. наук : 05.11.07.

2. Frederick Marcotte, Pierre Tremblay, Vincent Farley. Infrared camera NUC and calibration: comparison of advanced methods//SPIE Proceedings Vol. 8706. 5 June 2013. doi: 10.1117/12.2016265.

3. Тресков В.В. Цифровая обработка тепловизионных изображений. LAP LAMBERT Akademic Publishing, 2015. 65 с.

4. UL 04 27 2/640x480 VGA LWIR uncooled microbolometer. Data sheet from ULIS Propietary (UL 04 27 17.09.09/UP/DV/NTC09007-3 Revision 3).

Radiooptics of the Bauman MSTU, 2015, no. 06, pp. 13-26.

DOI: 10.7463/rdopt.0615.0820469

Received: 10.10.2015

Revised: 26.10.2015

© Bauman Moscow State Technical Unversity

Use of the Two-Point Calibration Method for Long Wavelength Infrared Uncooled Microbolometer ULIS' Matrices

P.S. Babkin1'*, Y.N. Pavlov1, A.N. Perov1 Vvei-babkm®maihni

:Bauman Moscow State Technical University, Moscow, Russia

Keywords: calibration, long wavelength infrared uncooled microbolometer, algorithm, ULIS

The objective of this work is research and modification of the two-point calibration method for long wavelength infrared uncooled microbolometer ULIS' matrices. The ultimate goal is to obtain better thermal image for the end-user, where quality criteria are such characteristics as a visual contrast, ability to distinguish fine details, and noisy image as less as possible.

In considering the most common calibration algorithm of infrared uncooled microbolome-ter matrices we used the study results of other authors in which results and comparative analyses of the most effective algorithms were provided. Based on these investigations, to make modification have been chosen quite effective and at the same time simple computationally two-point calibration method, which is sufficient for most tasks entrusted to thermal imager.

Modification of the two-point calibration method involves introducing variable reference voltages, which nominal values depend on the temperature range of the matrix. In the original version of the algorithm a reference voltage was selected for the whole range of possible temperatures of the matrix, which did not guarantee the required level of minimum sensitivity. The results of the algorithm embedded in a real device and experimental results proved the effectiveness of this modification.

The known specialized literature describing calibration methods for long wavelength infrared uncooled microbolometer matrices do not mention this type of modification.

The method described in this publication can be applied to various practical implementations of the thermal imagers without cover and algorithms, which can improve image quality.

The article shows advisability and effectiveness of using the modified two-point calibration method for design of thermal imagers without cover with a wide range of operating temperatures.

References

1. Demidov V.M. Metody i sredstva cifrovoj korrekcii izobrazhenija v optiko-jelektronnyh sistemah vizualizacii: avtoref. dis. kand. tehn. nauk [Methods and tools for digital image

Radiooptics

correction in optoelectronic imaging systems: cand. tech. sci. diss.]. Moscow, 2008. (in Russian)

2. Frederick Marcotte, Pierre Tremblay, Vincent Farley. Infrared camera NUC and calibration: comparison of advanced methods. SPIE Proceedings, vol. 8706, 5 June 2013. DOI: 10.1117/12.2016265.

3. Treskov V.V. Cifrovaja obrabotka teplovizionnyh izobrazhenij [Digital processing of the thermal images]. LAP LAMBERT Akademic Publishing, 2015. 65 p. (in Russian)

4. UL 04 27 2/640x480 VGA LWIR uncooled microbolometer. 17.09.09/UP/DV/NTC09007-3 Revision 3.