CC BY
75
УДК 621.384.3
КАЛИБРОВКА ИК МАТРИЧНОГО ФОТОПРИЕМНОГО УСТРОЙСТВА МЕТОДОМ ТРЕХТОЧЕЧНОЙ КОРРЕКЦИИ
П.С.Соболев, Б.В.Черняк, М.Н.Петров*
CALIBRATION OF INFRARED MATRIX PHOTODETECTOR BY A THREE-POINT CORRECTION METHOD
P.S.Sobolev, B.V.Cherniak, M.N.Petrov*
АО ОКТБ «Омега», Великий Новгород, pavsobolev@yandex.ru *Институт электронных и информационных систем НовГУ, mikhail.petrov@novsu.ru
Рассмотрена оригинальная методика калибровки ИК фотоприемных устройств, предназначенная для коррекции неравномерности чувствительности отдельных пикселей. Новизной работы является предложенный авторами способ трехточечной коррекции, позволяющий с высокой степенью достоверности выявлять потенциально ненадежные пиксели изображения. Разработанная авторами методика успешно апробирована на ИК матричном устройстве, выполненном на базе матрице из InSb с разрешением 640*512 пикселей. Представленные результаты могут быть полезными для калибровки ИК фотоприемных устройств, выполненных на других материалах, для повышения качества изображений в среднем (MWIR) и дальнем (LWIR) ИК диапазонах.
Ключевые слова: трехточечная коррекция, калибровка ИК ФПУ, выравнивание чувствительности, геометрический шум
The original method of calibration of IR photodetector devices, intended for correction of uneven sensitivity of individual pixels, is considered in this article. The novelty of this work is the method of three-point correction suggested by the authors, which allows revealing, with a high degree of reliability, potentially unreliable pixels of the image. The technique developed by the authors was successfully tested on an infrared matrix device based on an InSb matrix with a resolution of 640 x 512 pixels. The presented results can be useful for calibration of IR photodetector devices made on the base of other materials to improve the quality of images in the middle (MWIR) and far (LWIR) IR ranges.
Keywords: three-point correction, IR calibration, sensitivity equalization, geometric noise
Введение
В настоящее время существует большое количество методов коррекции неравномерности чувствительности матриц среднего (MWIR) и дальнего (LWIR) ИК диапазонов для повышения качества изображения [1-3]. Эти методы можно разделить на следующие классы:
— с использованием тест-объектов;
— с использованием сигнала, поступающего от наблюдаемой сцены;
— комбинированные.
В качестве источников сигнала используют излучатель с известной температурой или сигнал наблюдаемой сцены (расфокусированное изображение сцены). В некоторых методах предполагается исполь-
зование двух режимов работы: режим калибровки (в данном режиме изображение наблюдаемой сцены недоступно) и рабочий режим. В комбинированных методах возможно совмещение двух режимов одновременно (в данном случае изображение будет доступно в течение всего времени работы).
В данной работе используется метод коррекции на базе тест-объекта, в качестве которого выступает источник излучения с постоянной интенсивностью. Поэтому отклики от всех элементов матрицы должны быть одинаковыми. На этапе настройки делается оценка неравномерности чувствительности фоточувствительных элементов матрицы. После чего строится параметрическая модель неравномерности темновых токов и чувствительности, а так же дрейфа отклика элементов матрицы. Известны два варианта
такой коррекции: одноточечная (по одной температуре) и двухточечная (по двум температурам) [1].
В работе предложен вариант калибровки ИК камеры с МФПУ методом трехточечной коррекции для ИК фотоприемного устройства, работающего в среднем ИК диапазоне. В отличие от коррекции по двум температурам предлагаемый метод позволяет выявить дефектные пиксели, которые ведут себя линейно в диапазоне температур [71, 72], но могут проявить себя нелинейно на участке температур [72, 73]. Такие нелинейные пиксели очень хорошо заметны на изображении в виде белых точек, что понижает качество изображения.
Алгоритм калибровки на основе трехточечной коррекции
В данной работе в качестве ИК ФПУ было использовано ФПУ фирмы «i3Systems» производства Южной Кореи. Данное ФПУ изготовлено на основе полупроводникового материала и работает в
среднем ИК диапазоне от 3 до 5 мкм. Разрешение ФПУ составляет 640*512 пикселей, с размером пикселя 15 мкм. Для него определен диапазон рабочих температур от -40 до +60°С. Поскольку кривая зависимости яркости ИК ФПУ от температуры имеет нелинейный характер, рабочий диапазон температур разбивается на несколько частей так, чтобы каждый участок был близок к линейной зависимости. В данной работе весь диапазон температур разбит на пять поддиапазонов:
— от -40 до -20°С;
— от -20 до 0°С;
— от 0 до 20°С;
— от 20 до 40°С;
— от 40 до 60°С.
Представленный ниже алгоритм калибровки ИК матрицы выполнен для каждого из отмеченных поддиапазонов температур. Далее в качестве примера рассмотрена последовательность действий для поддиапазона температур 40-60°С.
Для выполнения трехточечной коррекции необходимо произвести запись N кадров для каждой из трех температур. Задание соответствующей температуры осуществляется с помощью тест-объекта, реализованного на базе источника абсолютно черного тела (АЧТ).
В процессе выполнения вычислений на базе N кадров формируется матрица, состоящая из N столбцов, длина которых (число строк) соответствует размеру кадра (количеству пикселей в кадре): KADR =X*Y = 640*512 = 327680.
Использование большего количества кадров обеспечивает более высокую точность вычислений, поскольку некоторые дефектные пиксели проявляются только по истечении достаточно длительного промежутка времени. Такие пиксели выбрасываются и заменяются на пиксели, полученные путем нахождения среднего из четырех соседних пикселей. В данной работе экспериментально подобрано оптимальное число кадров, равное 200.
Перечислим основные этапы калибровки ИК
ФПУ.
1. Сначала выполним отбраковку шумящих пикселей, т.е. тех пикселей, амплитуда которых один или более раз за N кадров заметно отлична от амплитуды соседних пикселей (находится путем линейной аппроксимации гистограмм распределения пикселей по амплитуде после ранжировки).
Часто [1,4] для выявления шумящих пикселей используют вычисление среднего значения каждого пикселя за N кадров. В результате пиксели, у которых дефект проявлялся не постоянно, не отбрасываются. Как выяснилось на практике, это не совсем корректно, поскольку мерцание таких пикселей достаточно хорошо заметно глазом.
В данной работе для выявления шумящих пикселей строятся гистограммы распределения пикселей при трех температурах (рис.1). Это позволяет использовать разницу между максимальным и минимальным значением пикселя за N кадров для отбраковки пик-
Я.7 99.72 99. 74 99.16 99.7! 99 5 99 52 99.84 99 56 9955 99 9 9992 99.94 99 96 99 94 100
Рис.1. Гистограммы распределения пикселей МФПУ по откликам для трех температур (3 — 40°^ 2 — 50°^ 1 — 60°^ ранжирование шумящих пикселей)
еж,
с-
1789.961755 1713.163663 1646.36558 1574.567492 1502.769401 1430.971317 1359.173229 1237.37; 141
57 7053 1143.778965 1071.980373 1000.15279 923.384702 356.536614 7 34.715 527 712.990439 641.192351 569.394263 497 596176 425.798033
/ 1
1
> //
/
/ ,
X"
1 \ 2 //
\ \ 3 у
\ У
\ \ \
99.5 99 31 99 32 99 33 99 34 9955 9956 99.57 99.55 99.59 99.9 99 91 9992 99 93 9994 9995 99.96 99.97 99.95 99 99
С»,
Рис.2. Гистограммы распределения пикселей МФПУ по амплитуде для трех температур (3 — 40°С; 2 — 50°С; 1 рование шумящих пикселей)
■ 60°С, ранжи-
селеи, шум которых заметно отличен от остальных пикселей. Указанная процедура позволяет выявить и скорректировать пиксели (заменив на значения, полученные интерполяцией четырех соседних пикселей), у которых дефект проявился хотя бы один раз за N кадров.
На рис. 1 представлены гистограммы распределения пикселей при трех температурах для одного из экземпляров МФПУ «i3System».
Линейная часть графика (от 0% до 99,9499,96%) малоинформативна, поскольку здесь пиксели шумят в пределах нормы. Нелинейность проявляется для пикселей, расположенных в диапазоне 99,94; 99,96%-100%. Это и есть та часть пикселей (шумящих), которые будут заменены с помощью процедуры интерполяции.
2. Далее выполняется отбраковка пикселей по амплитуде (рис.2). В отличие от шумящих пикселей амплитуда некоторых пикселей значительно больше амплитуды близлежащих пикселей и зачастую не меняется с течением времени и с изменени-
ем температуры. Такие пиксели проявляют себя белыми или черными точками на изображении, и их необходимо заменить интерполированными пикселями.
На рис.2 представлены гистограммы распределения пикселей по амплитуде при трех температурах 40°С, 50°С и 60°С для МФПУ «i3System».
Здесь также линейная часть графика (до 99,9499,95%) не представляет интереса, поскольку амплитуда этих пикселей незначительно отличается от близлежащих. Представленная на графике зависимость начинает вести себя нелинейно после значения 99,94-99,95% — это и есть та часть пикселей, которая будет заменена путем интерполяции четырех соседних пикселей.
3. На следующем шаге выполняется отбраковка пикселей по чувствительности. Используя ИК изображения для трех температур, строим две гистограммы разностей яркостей пикселей: между изображениями с высокой и средней температурами и средней и низкой температурами (рис.3). В отличие
50.097553 47.352704 45.6878:5 43.482946
2 ч
\
1 \ \
39.073187 \
\
32.45855 30,253671
V
/ /
С6, / /
23,639033 21.434154 19.229275 Г 1
у ^у
Г" 1
1 Г т1-
1 024396 14.819517 12.614637 10.409758 1 1
#9.8 99.81 99.82 99.83 99.84 99.85 99.86 99.87 99.88 99.89 99.9 99.91 99.92 99.93 99.94 99.95 99.96 99.97 99.98 99.99 100 С81 Рис.3. Гистограммы распределения разностей пикселей по чувствительности для двух диапазонов температур: 2 — 40-50]°С и 1 — [50-60]° С (ранжирование по чувствительности)
Рис.4. Чувствительность ИК МФПУ «i3System» (построчно)
от коррекции по двум температурам данный метод позволяет выявить пиксели, которые ведут себя нелинейно при росте температуры. Так, значения их откликов могут изменяться по линейному закону в диапазоне температур [71, 72] и нелинейно на участке температур [72, 73]. Такие нелинейные пиксели очень хорошо заметны на изображении в виде белых точек, что понижает качество изображения. Если же брать разницу между откликами пикселей при двух температурах (двухточечная коррекция), то такие пиксели будут не заметны. Согласно рис.3 число таких пикселей составляет величину порядка 0,03%.
При расчете чувствительности необходимо учесть некоторые моменты. Это связано с выбором времени накопления, которое должно быть таким, чтобы обеспечить максимальную чувствительность. Однако при этом не стоит забывать о том, что при использовании большого времени накопления изображение можно ввести в перенасыщение. Кроме того, при выборе времени накопления следует учитывать возможность использования объектива. Так, если калибровка производится с объекта установки без объектива, то время накопления необходимо выбрать немного меньше, поскольку изображение, полученное с использованием объектива, можно ввести в перенасыщение. Время накопления производится методом подбора для каждого поддиапазона температур и индивидуально для каждого МФПУ.
На рис.4 представлена чувствительность МФПУ фирмы «i3System» в центре изображения (построчно) с подобранным временем накопления в диапазоне температур [40, 60]°С.
Результаты, представленные на рис.4, свидетельствуют о выборе оптимального времени накопления, при котором не наблюдается эффекта перенасыщения (отсутствует срез вершинок на графике чувствительности МФПУ).
Дополнительным подтверждением использования оптимального времени накопления может служить приведенное на рис.5 изображение, на котором отсутствуют характерные для режима перенасыщения вертикальные полосы белого цвета.
Рис.5. Подтверждение выбора оптимального времени накопления, изображение на уровне шумов (засветка)
4. Как уже отмечалось, калибровка ФПУ производится с использованием тест-объекта, в качестве которого выступает абсолютно черное тело с постоянной температурой. Исходя из этого, следует, что каждый пиксель изображения должен воспроизводиться с одинаковой яркостью (иметь одинаковую амплитуду). На самом же деле это не так, что связано с качеством изготовления компонентов электрической схемы (АЦП) и качеством изготовления кристалла фоточувствительного элемента ФПУ. Поэтому в процессе калибровки необходимо рассчитать поправочный коэффициент k, который будет выравнивать амплитуду пикселей при обработке. Этот коэффициент рассчитывается по следующей формуле:
—(гор) _—(хол)
k =-1_у
ЛV 7 _ 7 ' ^ гор ^хол
где -утор) и —/хол) — значения откликов пикселя при температурах 7гор и 7хол соответственно.
На рис.6 представлена матрица выравнивающих коэффициентов, при наложении которой на ИК изображение происходит выравнивание пикселей по отклику МФПУ.
Рис.6. Матрица выравнивающих коэффициентов
На рис.6 видно затемнение выравнивающих коэффициентов от центра к углам изображения. Это связано с тем, что фотоприемное устройство построено таким образом, что на входе ФПУ стоит диафрагма и прямой поток попадает только на центральную часть изображения, остальные области подсвечиваются более слабым непрямым потоком. Это приводит к необходимости увеличения выравнивающих коэффициентов от центра к углам изображения.
5. В конце калибровки выполняется проверка на наличие кластеров дефектных пикселей, приводящих к появлению больших нечувствительных областей. На рис.7 приведено изображение со всеми отбракованными в процессе калибровки пикселями. Видно, что на нем отсутствуют кластеры отбракованных пикселей, следовательно, нечувствительные области отсутствуют.
Рис.7. Пиксели, отбракованные в процессе калибровки
Вывод
Предложенный в работе алгоритм позволяет выполнять калибровку ИК ФПУ с нахождением всего спектра дефектных пикселей: по шумам, амплитуде и чувствительности с максимальной точностью.
Улучшен метод отбраковки пикселей с большим шумом с помощью построения гистограмм распределения пикселей.
Предложен алгоритм трехточечной коррекции по чувствительности, позволяющий дополнительно выявить дефектные пиксели.
В результате калибровки удается добиться высокого качества и равномерной однородности пикселей тепловизионного изображения.
1. Солина Н.И. Выравнивание чувствительности и исправление геометрического шума в тепловизионных изображениях методом двухточечной коррекции // Информационные технологии моделирования и управления: между-нар. сб. науч. тр. Вып.15 / Под ред. О.Я.Кравца. Воронеж: Научная книга, 2004. 140 с.
2. Budzier H, Gerlach G. Calibration of Infrared Cameras with Microbolometers // AMA Conferences 2015 — SENSOR 2015 and IRS2. 2015. P.889-894.
3. Tempelhahn A., Budzier H., Krause V. and Gerlach G. Development of a shutterless calibration process for microbolometer-based infrared measurement systems. SolidState Electronics Laboratory, Technische Universität Dresden. Germany: Dresden, 2014. 10 р.
4. Борзов С.М., Козик В.И., Потатуркин О.И. Коррекция тепловизионных изображений на основе статистической обработки реальных данных // Изв. вузов. Приборостроение. 2009. Т.52. №6. С.11-17.
References
1. Solina N.I., Kravets O.Ia., ed. Vyravnivanie chuvstvitel'nosti i ispravlenie geometricheskogo shuma v teplovizionnykh izobrazheniiakh metodom dvukhtochechnoi korrektsii [Sensitivity calibration and correction of geometric noise in thermal imaging by the method of two-point correction]. Informatsionnye tekhnologii modelirovaniia i upravleniia [Information technologies of modeling and management]. International collected works. Issue 15. Voronezh, "Nauchnaia kniga" Publ., 2004. 140 p.
2. Budzier H., Gerlach G. Calibration of infrared cameras with microbolometers. Proc. Int. AMA Conferences 2015 -SENSOR 2015 and IRS2 2015. Nuremberg, pp. 889-894.
3. Tempelhahn A., Budzier H., Krause V., Gerlach G. Development of a shutterless calibration process for microbolometer-based infrared measurement systems. SolidState Electronics Laboratory, Technische Universität Dresden, Dresden, Germany, 2014. 10 p.
4. Borzov S.M., Kozik V.I., Potaturkin O.I. Korrektsiia teplovizionnykh izobrazhenii na osnove statisticheskoi obrabotki real'nykh dannykh. [Correction of infrared images on the base of real-time statistical data processing]. Izvestiia vysshikh uchebnykh zavedenii. Priborostroenie -Journal of Instrument Engineering, 2009, vol. 52, no. 6, pp. 11-17.
