CC BY
23
Вычислительные технологии Том 21, № 1, 2016
Особенности процесса сканирования с использованием матричного фотоприемника в режиме ВЗН
Г. И. Громилин1, В. А. Иванов1 , В. П. Косых1'2'*, С. А. Попов1
1Институт автоматики и электрометрии СО РАН, Новосибирск, Россия 2 Новосибирский государственный университет, Россия *Контактный e-mail: kosych@iae.nsk.su
С помощью программной модели исследуются особенности функционирования сканирующего устройства на базе матричного фотоприемника, работающего в режиме временной задержки и накопления (ВЗН). Аналитически и посредством моделирования получены оценки искажений, обусловленные характеристиками оптического тракта, топологией фотоприемника, режимом сканирования. Показано, что увеличение количества ВЗН-линеек, обеспечивающее повышение частоты отсчетов в направлении, перпендикулярном направлению сканирования, может стать дополнительным источником погрешностей формирования изображений малоразмерных объектов.
Ключевые слова: сканирование, матричный фотоприемник, режим временной задержки и накопления, функция рассеяния точки, амплитудные и геометрические искажения.
Введение
Несмотря на непрерывное улучшение характеристик матричных фотоприемников (увеличение числа фоточувствительных элементов (ФЧЭ) матрицы, уменьшение пространственной неоднородности, снижение количества дефектных элементов), обеспечивающих "одномоментную" регистрацию изображений наблюдаемой сцены, сканирующие приборы на основе фотоприемных линеек остаются конкурентоспособной альтернативой при решении задач, связанных с наблюдением сравнительно медленно изменяющихся сцен. Неизбежное уменьшение в сканирующем приборе времени накопления сигнала текущего отсчета, приводящее к снижению потенциально достижимого отношения сигнал/шум, частично компенсируется применением многорядных фотоприемных линеек, работающих в режиме временной задержки и накопления (ВЗН) [1]. Принципиально важным преимуществом сканирующих приборов перед приборами "смотрящего" типа является возможность получения отсчетов вдоль направления сканирования с шагом, меньшим шага размещения фоточувствительных элементов, что оказывается существенным обстоятельством при регистрации "точечных" объектов, размер изображения которых в плоскости приемника сравним с размером ФЧЭ. Устранение неравноценности отсчетов вдоль и поперек направления сканирования достигается использованием в фотоприемнике нескольких линеек, взаимно смещенных в направлении, перпендикулярном направлению сканирования, за счет чего увеличивается частота отсчетов
© ИВТ СО РАН, 2016
в этом направлении [2, 3]. Однако это приводит к значительному пространственному разнесению в направлении сканирования фоточувствительных элементов, ответственных за регистрацию соседних отсчетов изображения, что может повлечь за собой появление артефактов в формируемом изображении. Детальное аналитическое представление искажений, вносимых в формирование изображения сканирующим устройством на основе такого фотоприемника, представляется весьма громоздким. В связи с этим становится целесообразным создание имитационной программной модели устройства, позволяющей проследить прохождение сигнала через его компоненты и формирование выходного потока данных. При создании модели следует иметь в виду две цели: первая заключается в обеспечении возможности исследовать критические параметры устройства до его изготовления "в железе", вторая — в использовании модели для генерации реалистичных данных, востребованных при разработке средств анализа изображений, формируемых подобными устройствами. Настоящая работа посвящена созданию такой модели.
Модель состоит из трех частей: оптического тракта, фотоприемника и сканера. Модель оптического тракта имитирует формирование изображения бесконечно удаленной сцены в фокальной плоскости объектива, учитывая его функцию рассеяния точки (ФРТ), а также пространственное интегрирование сформированного объективом изображения площадками ФЧЭ с учетом их топологии и скорости движения относительно изображения в направлении сканирования. Модель фотоприемника по функциональным возможностям в основном повторяет описанную в [3-5] с существенным, на наш взгляд, дополнением, учитывающим взаимное влияние сигналов, формируемых различными линейками фотоприемника, и присутствие нелинейности в амплитудных характеристиках ВЗН-каналов. Модель сканера допускает отклонение скорости ска-
Рис. 1. Система координат модели и топология фотоприемника
нирования от номинала, возможность несовпадения направления ВЗН-каналов фотоприемника с направлением сканирования и влияние дисторсии оптической системы на формирование выходного изображения.
Оптический тракт, сканирующая система и фотоприемник объединены в модели общей системой координат, приведенной на рис. 1. Система координат совмещена с плоскостью, в которой лежат ФЧЭ, оптическая ось объектива проходит через начало координат, а ось ОУ совпадает с направлением сканирования. Положение фотоприемника определяется координатами (х0,у0) его левого верхнего угла, величиной угла между направлением его ВЗН-каналов (ось О'У) и направлением сканирования (это отклонение может быть обусловлено как неправильной установкой фотоприемника, так и наличием дисторсии объектива). За основу взята топология фотоприемника, описанного в [2, 3]. В модели можно изменять количество и взаимное расположение линеек, количество ВЗН-каналов в линейках и расстояние между каналами, размер и взаимное размещение фоточувствительных элементов в канале.
1. Модель оптического тракта
В качестве функции, аппроксимирующей ФРТ объектива, в модели используется функция
к0(х, у) = тИ^х, у) + (1 - т)И2(х, у), (1)
где
. ( ) 1 (
, , ч хтК-1х /-хтК-1х\
Ых,у) = 4^АГ\ ехЧ
Здесь хт = (х,у) — двумерный вектор координат (в единицах плоскости изображения объектива); (х,у),к2(х,у) — функции, определяющие распределение энергии в центральной части и на периферии пятна рассеяния; К — матрица, определяющая форму функции рассеяния точки; р — отношение размеров центральной и периферической зон ФРТ; — соотношение энергии в центральной и периферической зонах пятна. Такая аппроксимация позволяет имитировать присутствие в ФРТ объектива сферической аберрации и астигматизма.
Функция рассеяния точки фоточувствительных элементов определяется их размером ах х ау ив модели аппроксимируется функцией
К(х,у)
1, N < у, \у\< у,
| |
0, и> -у, \у\ > у
Сканирование с постоянной скоростью V и накопление сигнала в ФЧЭ в течение времени т вызывает одномерный "смаз" изображения в направлении сканирования, который учитывается включением в модель звена, интегрирующего изображение вдоль направления сканирования в пределах окна длиной ту. Это звено в пространственных
координатах представляется одномерным импульсным откликом
, , тV
1, \у\ <—
ш = < , \у\< (3)
о, \у\ > у.
Полная ФРТ оптико-фотоприемного тракта устройства представляется сверткой функций (1)-(3):
те оо
1г(х, у) = А])' / / ¿х'йу'к0(х1, у1 )Нр(у" - у',х - х')Н3(у - у").
— оо —оо
2. Модель фотоприемника
Сформированное оптическим трактом непрерывное изображение подвергается дискретизации в соответствии с топологией и временной диаграммой опросов фотоприемника и режимом сканирования. За основу модели электронного тракта фотоприемника взята модель многорядного фотоприемника с режимом ВЗН, описанная в работах [4, 5]. Накопленный в ВЗН-каналах сигнал проходит через дифференцирующее звено первого порядка с частотной характеристикой вида
НА/)- 11/11
1 + гЦК
Здесь /г — нижняя граничная частота. В реальный прибор такое звено вводится для коррекции постоянного смещения в процессе эксплуатации [2].
В дополнение к этому в данной модели предусмотрена возможность имитировать индивидуальные свет-сигнальные характеристики ВЗН-каналов, в том числе нелинейные, которые представляются полиномами до третьей степени. Свет-сигнальная характеристика г-го ВЗН-канала имеет вид
Щ = ам + ац Р + а,г2Р2 + а*з Р3,
где Р — мощность потока излучения, регистрируемого каналом; а^0 — а*гз — коэффициенты аппроксимирующего полинома. Эта возможность приближает модель к реальному прибору в условиях регистрации сигналов с большим динамическим диапазоном.
Из-за того, что в многорядном приборе разными линейками одновременно считы-ваются значительно смещенные друг относительно друга участки изображения, взаимное влияние сигналов от разных линеек может приводить к дефектам в формируемом изображении. Механизм возникновения этого влияния в представленной модели не конкретизируется (например, он может быть обусловлен подключением линеек к одному выходному каналу) и описывается рекуррентным соотношением
и(о, ¿) = й(о, ¿) + еи(о, Ь — 1),
где £ — номер текущего такта формирования выходного сигнала; о — номер выходного канала фотоприемника; й(о,1) — сигнал, поступивший из ВЗН-канала, подключенного
к этому выходному каналу в такте ¿; е — коэффициент, определяющий степень взаимного влияния сигналов. В отличие от фотоприемника с единственной линейкой, где это просто приводит к некоторому "смазу" изображения, в фотоприемнике с несколькими существенно разнесенными в направлении сканирования линейками наряду с основным изображением на расстоянии, кратном шагу между линейками, появляются его ослабленные копии.
Кроме того, в модели реализована возможность внесения в выходной сигнал аддитивной периодической структурной помехи, обусловленной способом организации режима ВЗН, и случайного некоррелированного шума, индивидуальных для каждого канала.
3. Модель сканера
Сканер характеризуется единственным параметром — отклонением текущей скорости от номинального значения, определяемого частотой опроса ФЧЭ. Как показано в [6], для того чтобы из-за отклонения скорости от номинала сигнал от точечного источника излучения не ослабевал более чем на 10%, при использовании приемника необходимо, чтобы отклонение не превышало 1 % [3]. Однако при регистрации протяженных объектов этого недостаточно. Действительно, в этом приемнике расстояние между первой и четвертой линейками составляет 3(Ь + /), т. е. более 50 размеров ФЧЭ. Следовательно, смещение границы протяженного объекта в соседних столбцах при отклонении скорости на 1 % превысит половину размера ФЧЭ, что может отрицательно сказаться на подавлении фоновой составляющей при межкадровой обработке изображений [7]. Для детального исследования этого эффекта в модели учитывается не только постоянное отклонение скорости сканирования от номинала, но и ее изменение в процессе сканирования. Кроме того, при реализации сканирования учитываются топология фотоприемника, его положение и ориентация в системе координат, задаваемой объективом и сканером. Отклонение направления ВЗН-каналов от направления сканирования может привести к существенным нарушениям в структуре формируемого изображения.
На рис. 1 схематично показано размещение линеек, ВЗН-каналов и фоточувствительных элементов приемника, содержащего четыре 10-рядных линейки с квадратными фоточувствительными элементами, межканальными промежутками, равными размеру ФЧЭ, и с расстоянием между рядами, равным половине размера ФЧЭ [3]. Нетрудно убедиться, что для этого приемника критический угол между направлением сканирования и направлением ВЗН-каналов составляет
5(1
а = , -тт" рад,
2(41 + 31у '
где й — шаг между центрами ФЧЭ вдоль линейки; Ь — длина ВЗН-канала (ширина линейки); I — размер промежутка между линейками. В этой ситуации точечный источник излучения, размер изображения которого сравним с размером ФЧЭ, может при сканировании пройти между каналами всех линеек, практически не попав ни на один фоточувствительный элемент, а следовательно, не будет зарегистрирован (трасса источника показана на рис. 1 мелкими штрихами).
К аналогичному эффекту приводит и наличие дисторсии объектива, входящего в состав сканирующего устройства. В частности, радиальная дисторсия третьего порядка
приводит к смещению координат фоточувствительных элементов относительно их идеального положения, которое можно представить в виде
△x = 7~^xy ЛУ = уу 22
max max
2 2 2
где x,y — идеальные координаты элемента; г = x2 + у2; rmax — радиус поля зрения объектива; 7 — коэффициент радиальной дисторсии. Тогда, если содержащий четыре линейки фотоприемник, аналогичный представленному в [3], находится вблизи края поля зрения, идеальные координаты первой линейки равны
Х1 = V2 Г max, У\ = V2r max,
а четвертой —
Х4 = V2rmax + 2.5d, уА = V2r max + 3(L + I). Соответственно, их смещения, обусловленные дисторсией, будут равны
8x1 = 7V/2rmax, = 7^2rmax,
8x4 = 7^V/2rmax + 2.5 d), 8У4 = 7(^Г max + 3(L + I)).
При этом расстояние между первым и четвертым столбцами сформированного изображения изменится на Лж4-ж1 = 2.57d, а смещение столбцов вдоль направления сканирования — на Лу4-у1 = З7(L + I).
Если коэффициент радиальной дисторсии составит 1 %, то изменение расстояния между столбцами будет незначительным, тогда как взаимные сдвиги вдоль направления сканирования достигнут примерно половины от размера ФЧЭ, что уже существенно скажется на формировании изображений точечных объектов. Поэтому в модели при реализации сканирования координаты каждого ФЧЭ вычисляются не только с учетом топологии приемника, но и дополнительно рассчитывается и вводится смещение каждого элемента относительно его идеального положения, обусловленное отклонением направления ВЗН-каналов от направления сканирования и дисторсией объектива на выбранном участке поля зрения. Это позволяет имитировать нарушение структуры формируемых изображений.
4. Результаты моделирования
На рис. 2 слева приведено сформированное моделью изображение точечных объектов, размещенных в различных участках поля зрения оптического тракта, полученное при идеальных условиях — полном соответствии скорости сканирования номинальному значению, параллельности направлений сканирования и ВЗН-каналов, в отсутствие дисторсии и взаимного влияния сигналов разных линеек. Здесь и далее соотношение размеров ФРТ объектива и ФЧЭ близко к значению, обеспечивающему согласно приведенным в [6] оценкам максимальное отношение сигнал/шум. Индивидуальные различия объектов объясняются сравнимыми размерами ФРТ объектива и фоточувствительных элементов, в связи с этим форма выходного сигнала зависит от положения объекта относительно сетки опросов.
На рис. 3 показано появление ложных копий в изображениях точечного и линейного (освещенной щели) источников излучения, формируемых фотоприемником, у которого
существует взаимное влияние сигналов первой и второй линеек, объединенных одним выходным каналом, и сигналов третьей и четвертой линеек, объединенных другим каналом.
На рис. 4 приведен результат моделирования изображений точечного и щелевого источников излучения сканирующим устройством при отклонении скорости сканирования от номинального значения на1%(а)ина0.2%(б).В последнем случае неравномерность сигнала вдоль щели составляет примерно 10 %, тогда как при отклонении скорости в 1 % неравномерность превышает 30 %. Периодичность неравномерности определяется количеством линеек в фотоприемнике.
б
Рис. 2. Формирование изображений точечного объекта: а — направление сканирования совпадает с направлением ВЗН-каналов, б — направления различаются на 2°
а
Рис. 4. Влияние отклонения скорости сканирования на структуру изображения
Рис. 5. Модель изображения объектов на пространственно-нестационарном фоне
Наконец, на рис. 5 приведено изображение точечных объектов различной интенсивности на пространственно-нестационарном фоне, сформированное с помощью предлагаемой модели в условиях нелинейности свет-сигнальных характеристик, присутствия структурной помехи и некоррелированного шума. Подобные изображения предполагается использовать при создании алгоритмов обработки изображений, формируемых сканирующим устройством.
Заключение
Решение задачи обнаружения малоразмерных объектов в изображениях со сложным пространственно-нестационарным фоном в значительной мере зависит от возможностей, предоставляемых средствами регистрации изображений. Предложенная имитационная модель позволяет моделировать процесс регистрации сигналов сканирующим устройством на основе матричного фотоприемника с режимом ВЗН, изменяя параметры его оптического и электронного трактов, топологию фотоприемника и режим сканирования. Первые эксперименты с моделью показывают, в частности, что за повышение частоты отсчетов в направлении, перпендикулярном направлению сканирования, посредством увеличения количества линеек в приемнике приходится расплачиваться ужесточением требований к стабильности скорости сканирования и точности согласования геометрических параметров сканера и фотоприемника.
С помощью модели получены количественные оценки и наглядные результаты влияния на качество формируемых изображений таких параметров, как дисторсия объектива, согласованность ориентации фотоприемника с направлением сканирования, скорость сканирования, пространственная неоднородность свет-сигнальных характеристик элементов фотоприемника. В дальнейшем модель предполагается использовать при разработке аппаратных и алгоритмических средств обнаружения малоразмерных объектов в условиях их наблюдения на мощном пространственно-нестационарном фоне.
Список литературы / References
[1] Martin, R.J., Riley, G.E. Time division multiplexed time delay integration // Proc. SPIE 0930, Infrared Detectors and Arrays, 26 (August 15, 1988). doi:10.1117/12.946625
[2] Бочков В.Д., Дражников Б.Н., Кузнецов П.А., Козлов К.В., Соляков В.Н.
Особенности ФПУ с режимом ВЗН формата 1024 х 10 на основе КРТ // Прикладная физика. 2014. № 1. С. 58-61.
Bochkov, V.D., Drazhnikov, B.N., Kyznetsov, P.A., Kozlov, K.V., Solyakov, V.N.
Temporal and dimensional data conversion of TDI infrared photodetector // Applied Physics. 2014. No. 1. P. 58-61. (In Russ.)
[3] Кузнецов П.А., Мощев И.С., Сало В.В., Кощанцев Н.Ф. Фотоприемные модули с режимом ВЗН для мониторинга земной поверхности в ИК-диапазоне // Успехи прикл. физики. 2014. Т. 2, № 6. C. 635-638.
Kuznetsov, P.A., Moshchev, I.S., Salo, V.V., Koshantsev, N.F. Photodetecting TDI modules for Earth surface monitoring in IR range // Advances in Applied Physics. 2014. Vol. 2, No. 2. P. 635-638. (In Russ.)
[4] Соляков В.Н., Козлов К.В., Кузнецов П.А. Компьютерная модель регистрации точечных источников излучения многорядными ФПУ с режимом ВЗН // Прикладная физика. 2014. № 2. C. 54-57.
Solyakov, V.N., Kozlov, K.V., Kyznetsov, P.A. Computer model of point target detection by FPA with time delay integration // Applied Physics. 2014. No. 2. P. 54-57. (In Russ.)
[5] Козлов К.В., Соляков В.Н., Кузнецов П.А., Полесский А.В., Хамидуллин К.А., Семенченко Н.А., Бедарева Е.А. Исследование частотных характеристик многорядного МФПУ с режимом ВЗН // Успехи прикл. физики. 2014. Т. 2, № 5. C. 528-538. Kozlov, K.V., Solyakov, V.N., Kyznetsov, P.A., Polessky, A.V., Khamidullin, K.A., Semenchenko, N.A., Bedareva, E.A. Mathematical model of TDI FPA // Advances in Applied Physics. 2014. Vol. 2, No. 5. P. 528-538. (In Russ.)
[6] Соляков В.Н., Дражников Б.Н., Хамидуллин К.А., Лазарев П.С. Особенности регистрации точечных источников излучения фотоприемными устройствами с режимом ВЗН // Успехи прикл. физики. 2013. Т. 1, № 4. C. 506-509.
Solyakov, V.N., Drazhnikov, B.N., Khamidullin, K.A., Lazarev, P.S. Point sources registration by TDI FPA // Advances in Applied Physics. 2013. Vol. 1, No. 4. P. 506-509. (In Russ.)
[7] Киричук В.С., Косых В.П., Попов С.А., Синельщиков В.В. Подавление квазистационарного фона посредством межкадровой обработки в последовательности изображений // Автометрия. 2014. Т. 50, № 2. C. 3-13.
Kirichuk, V.S., Kosykh, V.P., Popov, S.A., Sinel'shchikov, V.V. Suppression of a quasi-stationary background in a sequence of images // Optoelectronics, Instrumentation and Data Processing. 2014. Vol. 50, No. 2. P. 109-117. (In Russ.)
Поступила в 'редакцию 6 ноября 2015 г., с доработки — 7 декабря 2015 г.
Specific features of scanning with FPA in time delay integration mode
Gromilin, Gennadiy I.1, Ivanov, Vladimir A. Kosykh, Valeriy P.1,2'*, Popov, Sergei A.1
institute of Automation and Electrometry SB RAS, Novosibirsk, 630090, Russia 2Novosibirsk State University, Novosibirsk, 630090, Russia * Corresponding author: Kosykh, Valeriy P., e-mail: kosych@iae.nsk.su
Sampling frequency of images formed by scanners based on 1-D focal plane arrays (FPA) of photosensitive elements is bounded by step between elements in direction,
© ICT SB RAS, 2016
orthogonal to the direction of scanning. Use of several parallel arrays, shifted across scanning direction, removes this disadvantage, but it could lead to the appearance of new artefacts in the sampled images formed by such scanner. It is important to study these artefacts and ways of their elimination before implementation of the scanner hardware.
A simulation model of the scanner on the basis of multi-row photodetector (PD), applied to the operational mode with time delay and integration (TDI) has been developed. Its components (optical channel model, multiple-row FPA model and scanning unit model) provide the fundamental properties of device components dealing with optical PSF and radial distortion, frequency response and nonlinearity of electronic channel, position, size and photosensitive elements interaction, FPA orientation and scanning direction, sampling rate and scanning velocity.
Developed model allows investigating impact of these properties on the quality of formed images. Critical values of distortion, angle between scanning and TDI directions, and scanning velocity deviation from nominal are estimated analytically and by modelling in the paper. It is shown, that multiple-row FPA produces stronger requirements to optical distortion, consistency of scanning velocity and sampling rate, alignment directions of scanning TDI channels. Special attention is addressed to forming of "point" and "line" objects images.
Keywords: scanner, simulation model, focal plane array, time delay integration, point spread function.
Received 6 November 2015 Received in revised form 7 December 2015
