CC BY
54
ОПТИЧЕСКИЕ И ОПТИКО-ЭЛЕКТРОННЫЕ ПРИБОРЫ И СИСТЕМЫ
УДК 621.383.5
DOI: 10.17586/0021-3454-2017-60-11-1040-1047
АКТИВНО-ИМПУЛЬСНЫЙ МЕТОД НАБЛЮДЕНИЯ С ИСПОЛЬЗОВАНИЕМ ПЗС-ФОТОПРИЕМНИКА СО СТРОЧНЫМ ПЕРЕНОСОМ
А. А. Голицын, Н. А. Сейфи
Филиал Института физики полупроводников им. А. В. Ржанова СО РАН „Конструкторско-технологический институт прикладной микроэлектроники ",
630090, Новосибирск, Россия E-mail: [email protected]
Предложен способ управления ПЗС-фотоприемником, позволяющий реализовать активно-импульсный метод наблюдения без использования электронно-оптического преобразователя в конструкции прибора наблюдения. Показано, что положительный эффект достигается при использовании особенностей конструкции ПЗС-фотоприемников со строчным переносом. Работоспособность предложенного метода подтверждена экспериментально.
Ключевые слова: активно-импульсный прибор, ПЗС-матрица, быстродействующий затвор, лазерный излучатель
Введение. Активно-импульсными называются приборы наблюдения, принцип действия которых основан на методе, предложенном акад. А. А. Лебедевым в 1936 г. [1]. Такие приборы имеют в своей конструкции синхронизированные друг с другом фотоприемник и импульсный излучатель, используемый для подсветки сцены. Суть метода заключается в том, что фотоприемник начинает получать изображение с некоторой задержкой относительно срабатывания излучателя, благодаря чему воспринимает свет излучателя, отраженный только от интересующих оператора объектов, отсекая свет, отраженный от объектов, находящихся ближе заданного расстояния, например от частиц пыли или тумана, расположенных между наблюдателем и интересующим наблюдателя объектом. При этом подсветка местности излучателем осуществляется короткими импульсами, длительность которых значительно меньше времени распространения света от прибора наблюдения до наблюдаемых объектов и обратно [2]. Активно-импульсные приборы могут применяться для наблюдения в условиях ограниченной видимости (например, при задымлении, в тумане, при встречной засветке) [3]. За рубежом такой способ наблюдения, получивший название „Gated Viewing" или „метод строби-рования по дальности", изучается в 1960-х гг. [4].
Одним из основных элементов конструкции подобных приборов наблюдения является быстродействующий затвор, установленный перед фотоприемником, точность срабатывания затвора — до десятков наносекунд. Время срабатывания обусловлено длительностью импульсов подсветки и временем распространения света от наблюдателя до наблюдаемых предметов. Традиционно в качестве быстродействующего затвора используется электронно-оптический преобразователь (ЭОП) [5—8], одновременно являющийся усилителем яркости.
Цель настоящего исследования — выяснить, можно ли (и если можно, то каким способом) управлять обычным ПЗС- или КМОП-фотоприемником таким образом, чтобы с его помощью получать изображение синхронно с лазерным излучателем, подсвечивающим сцену, и реализовать активно-импульсный метод наблюдения без использования ЭОП в конструкции прибора наблюдения.
Существует несколько причин, по которым следует отказаться от использования быстродействующего затвора, реализованного на ЭОП. Основной является необходимость уменьшения массогабаритных параметров прибора наблюдения, что может быть достигнуто исключением из его конструкции как самого ЭОП, так и проекционной оптической системы, необходимой для согласования прибора с фотоприемником. Другие причины — необходимость увеличения разрешения наблюдаемого изображения и необходимость наблюдения цветного изображения.
Управление фотоприемником традиционными способами. Используемый в конструкции активно-импульсных приборов ЭОП предназначен для решения двух задач — синхронизации фотоприемника с излучателем и увеличения яркости наблюдаемого изображения. Таким образом, для исключения ЭОП необходимо, чтобы эти функции выполнялись самим фотоприемником.
Многие современные ПЗС- и КМОП-фотоприемники обладают функцией „электронного затвора", которая используется для управления временем экспозиции. Как таковой затвор в конструкции фотоприемников отсутствует — используя управляющие сигналы фотоприемника, можно лишь изменять время от принудительного „стирания" накопленных зарядов до момента считывания их оцифровывающей системой, но не перекрывать фотоприемник от поступающего на него потока излучения. Однако, используя функцию электронного затвора, можно синхронизировать фотоприемник и импульсный излучатель и тем самым отсечь свет, отраженный от предметов, находящихся ближе заданного расстояния. Схема синхронизации фотоприемника с излучателем представлена на рис. 1, где Emitter — сигнал, управляющий излучателем; Noise — импульсы подсветки, отраженные от объектов, находящихся ближе заданного расстояния (пыль, туман, снег), и представляющие собой помеху; Pulse — импульс подсветки, отраженный от объекта, интересующего наблюдателя; Erase — сигнал „стирание"; Readout — сигнал „считывание"; интервал от t1 до t2 — время прохождения светом расстояния от прибора наблюдения до наблюдаемого объекта и обратно, интервал от t2 до t3 — время экспозиции фотоприемника.
Emitter Noise Pulse Erase Readout
t1 t2 t3
Рис. 1
Вторая задача — увеличение яркости наблюдаемого изображения — при синхронизации фотоприемника с излучателем указанным способом оказалась нерешенной. Экспериментально была выявлена проблема, заключающаяся в недостаточности мощности единичного импульса подсветки. Электронный затвор фотоприемника, при управлении им в соответствии с рис. 1, позволяет синхронизировать фотоприемник с излучателем, но не позволяет наблюдать отклики нескольких импульсов подсветки в одном кадре. При наблюдении нескольких
А
Я
Л
откликов между сигналами „считывание" и „стирание" синхронизированным оказывается только первый импульс, а вместе со вторым, третьим и остальными откликами на фотоприемник поступает свет, отраженный от всех объектов, находящихся на всем расстоянии от наблюдателя до объекта, что неприемлемо. Многократное использование сигнала „стирание", синхронизированного с каждым импульсом подсветки, тоже не дает положительных результатов, так как сигнал „стирание" удаляет всю информацию, полученную до него, в том числе полезную информацию, полученную в момент наблюдения отклика предыдущего импульса излучателя, если она не была считана.
Альтернативой является наблюдение нескольких откликов отдельными кадрами с последующим их суммированием. Был проведен ряд экспериментов, которые также не привели к положительному результату даже в ущерб итоговой кадровой частоте прибора. Дело в том, что длительность импульса подсветки (около 100.. .150 нс) мала по сравнению с необходимым временем экспозиции для получения изображения удовлетворительного качества. При таком времени экспозиции уровни полезного сигнала каждого пиксела изображения на выходе фотоприемника не превышают уровни квантования АЦП и собственных шумов фотоприемника. Время экспозиции каждого кадра может быть увеличено путем увеличения времени t3 между наблюдением отклика импульса излучателя и сигналом „считывание" (см. рис. 1), и этом случае можно добиться фиксации относительно качественного изображения фона, но за счет соотношения времени экспозиции к длительности импульса подсветки освещенность фона маскирует импульс. В свою очередь, длительность импульса подсветки не может быть увеличена, так как она должна быть существенно меньше времени распространения света от наблюдателя до наблюдаемых объектов и обратно.
Общий вывод из проведенных экспериментов — синхронизировать фотоприемник с импульсным излучателем технически возможно, но необходимо получать несколько откликов импульсной подсветки в одном кадре. Для этой цели был спроектирован лабораторный стенд [9], позволяющий подавать на управляющие входы фотоприемника сигналы произвольной формы. Дальнейшие эксперименты показали, что для реализации задуманной идеи КМОП-фотоприемники непригодны, так как их конструкция изначально не предполагает использования нескольких сигналов „считывание" в одном кадре, и каждый последующий сигнал „считывание" формирует отдельный новый кадр.
ПЗС-фотоприемники, напротив, допускают многократное „считывание" в пределах одного кадра, так как „считывание" не запускает оцифровывающую схему, а лишь осуществляет перенос зарядов из секции накопления (image area) в секцию переноса, также называемую буферной секцией (storage area). В секции накопления благодаря фотоэлектрическому эффекту при попадании света на поверхность фотоприемника накапливаются заряды пропорционально интенсивности светового потока. Накопленные заряды могут быть обнулены с помощью управляющего сигнала „стереть" (Erase) либо перемещены в буферную секцию с помощью управляющего сигнала „переместить" (Shift). Буферная секция изолирована от поверхности фотоприемника, и величины зарядов в ее ячейках во время экспозиции не изменяются. Буферная секция используется для безопасной последовательной передачи зарядов на выходы фотоприемника. В ПЗС-фотоприемнике перенос зарядов из секции накопления в буферную секцию осуществляется путем подачи положительных потенциалов на те же выводы, на которые в определенной последовательности (заданной производителем конкретного ПЗС-фотоприемника) подаются отрицательные потенциалы для вертикального переноса зарядов внутри буферной секции. Следует иметь в виду, что данные утверждения справедливы только для ПЗС-фотоприемников со строчным переносом (Interline Transfer CCD) и неприменимы для ПЗС-фотоприемников с кадровым переносом (Frame Transfer CCD) и полнокадровых ПЗС-фотоприемников (Full-Frame CCD) из-за особенностей их конструкций. В дальнейшем,
для краткости, будем писать ПЗС-фотоприемник, подразумевая под ним ПЗС-фотоприемник со строчным переносом.
Управление ПЗС-фотоприемником (предлагаемый способ). Документацией на ПЗС-фотоприемник (независимо от его конкретной модели и производителя) предписывается осуществлять перенос зарядов из секции накопления в буферную секцию единожды для каждого кадра изображения. Затем в буферной секции осуществляется последовательное перемещение зарядов к выходным цепям фотоприемника, а в секции накопления в этот момент — накопление новых зарядов, несущих информацию о новом изображении. В произвольный момент времени эти заряды могут быть обнулены, чтобы избежать перенасыщения при наблюдении ярких сцен, и в этом случае время экспозиции нового кадра будет соответствовать времени от последнего обнуления зарядов в секции накопления до переноса зарядов в буферную секцию. Так как обнуление зарядов в секции накопления не влияет на состояние зарядов, находящихся в буферной секции, а перемещение зарядов в буферную секцию добавляет вновь полученные заряды к уже имеющимся, возникла идея осуществить многократное повторение процедуры обнуления и переноса зарядов в буферную секцию без перемещения зарядов внутри буферной секции.
Суть предложенного способа управления ПЗС-фотоприемником заключается в следующем. После получения предыдущего кадра изображения внешними по отношению к фотоприемнику устройствами производится подсветка сцены короткими импульсами, а на фотоприемник синхронно с этими импульсами с заданной задержкой, определяемой дальностью наблюдения, подаются импульсы управляющего сигнала „стирание". Сразу же после наблюдения первого отраженного импульса происходит перенос полученных в секции накопления зарядов в буферную секцию. Затем, вместо того чтобы начать вертикальный перенос зарядов внутри буферной секции, как этого требует документация на фотоприемник, осуществляется наблюдение второго отраженного импульса подсветки и перемещение вновь полученных зарядов из секции накопления в буферную секцию, где они суммируются с уже имеющимися зарядами, полученными при наблюдении первого импульса. Схематично процесс изображен на рис. 2, здесь Shift — условный сигнал, по которому осуществляется перенос зарядов из секции накопления в буферную секцию; VTransfer — условный сигнал, по которому осуществляется вертикальный перенос зарядов в буферной секции (обозначения остальных сигналов соответствуют принятым для рис. 1).
Emitter -Noise -Pulse -Erase Shift -VTransfer -
п
л л п
п П 1
п п п
Рис. 2
Процедура повторяется несколько раз. После наблюдения последнего импульса отраженной подсветки начинается вертикальный перенос зарядов в буферной секции фотоприемника способом, указанным в документации на него.
На рис. 2 показана процедура наблюдения N импульсов отраженной подсветки. Общее время экспозиции кадра составляет сумму времен наблюдения каждого отраженного импульса по отдельности. Количество импульсов может быть произвольным и зависит от того, какое
2
время экспозиции в конкретных условиях наблюдения является достаточным для получения кадра изображения приемлемого качества.
Управление ПЗС-фотоприемником указанным способом за счет подаваемого в нужные моменты времени сигнала „стирание" позволяет наблюдать свет, отраженный только от интересующих наблюдателя объектов, и отсечь подсветку, отраженную от объектов, находящихся на расстоянии ближе заданного. А за счет того, что буферная секция фотоприемника используется не только для вертикального переноса зарядов, но и для накапливания зарядов при получении одного кадра изображения, становится возможным увеличить время экспозиции кадра до значения, существенно превышающего длительность единичного импульса подсветки. Общая кадровая частота видеоизображения при этом остается в допустимых значениях (25 кадров/с, 50 кадров/с и аналогичная), так как основное время в процессе получения кадра изображения внешними по отношению к фотоприемнику устройствами занимает вертикальный перенос зарядов.
Практическая реализация. Работоспособность предложенного метода проверялась на экспериментальном стенде [9], представляющем собой бескорпусной оптико-электронный прибор, в состав которого входят комплект электронных плат (платы управления, платы фотоприемника и платы лазерного излучателя), объектив для фотоприемника и фокусирующая оптическая система лазерного излучателя. Названные части прибора закреплены на металлическом основании. В качестве устройства отображения использовался монитор персонального компьютера, с которого также осуществлялось управление стендом. Были использованы ПЗС-фотоприемники производства Sony ICX445ALA и ICX618ALA с прогрессивной разверткой, а также ICX659ALA и ICX279AL с чересстрочной разверткой. Так как указанные ПЗС-фотоприемники имеют разные корпуса и системы управления ими различны, для каждого из фотоприемников были разработаны отдельные аппаратно-зависимые платы, на которых они располагались. Также потребовались незначительные изменения программы, управляющей фотоприемниками, касающиеся изменений форм и количества управляющих сигналов при переходе от одного фотоприемника к другому. В качестве импульсного излучателя был использован полупроводниковый лазер QPGAS2S09H со специально сконструированной для него платой питания и управления. Импульсная мощность излучателя 200 Вт, длительность каждого импульса 150 нс, частота импульсов, не приводившая к потере мощности, 15 кГц.
При управлении стендом вручную устанавливалось время задержки отраженного импульса подсветки, при этом проводилась проверка, перестанут ли давать блик наблюдаемые объекты, если задать время задержки, превышающее время, необходимое на прохождение светом расстояния до объектов и обратно. В качестве наблюдаемых объектов использовались катафоты, расположенные на разном расстоянии. Эксперименты показали, что для устойчивого наблюдения бликов в условиях освещенности „солнечный день" на расстоянии 300 м достаточно 10...20 импульсов лазерного излучателя, а для наблюдения на расстоянии 800 м необходимо 70.90 импульсов. При этом кадровая частота для всех ПЗС-фотоприемников (ICX445 с целью увеличения кадровой частоты был включен в режиме „центрального окна" с разрешением 1280*600 пкс) составила не менее 25 кадров/с.
Помимо наблюдения бликующих объектов с помощью прибора-стенда [9] были проведены эксперименты, показывающие возможность наблюдения в условиях задымления. Наблюдаемым объектом служила мира, представляющая собой вертикальные полосы, напечатанные на двух листах формата А4. Источником дыма служила дымовая шашка, предназначенная для игры в пейнтбол. Мира располагалась на расстоянии 20 м от наблюдателя в закрытом помещении. Примеры полученных изображений приведены на рис. 3: а — наблюдение в пассивном режиме; б, в, г — наблюдение в активно-импульсном режиме с установленной дальностью наблюдения 10, 15 и 20 м соответственно.
а)
б)
в)
Рис. 3
В каждом случае, кроме наблюдения в пассивном режиме, сцена подсвечивалась 25 импульсами лазерного излучателя. Площадь пятна подсветки на расстоянии 20 м не покрывает всего поля зрения, что связано с использовавшимся в экспериментах объективом, установленным перед лазерным излучателем. Эксперимент демонстрирует, что при постепенном увеличении дальности наблюдения помеха в виде изображения дыма пропадает. Данный эксперимент с промежуточными дальностями показывает, что действительно реализован способ наблюдения на конкретное расстояние.
Таким образом, подтверждена возможность отсечения света, приходящего от объектов, которые находятся ближе заданного расстояния, при использовании ПЗС-фотоприемника со строчным переносом. Также подтверждена возможность наблюдения в одном кадре нескольких отраженных импульсов подсветки.
По сравнению с классическим способом реализации активно-импульсного метода наблюдения, основанным на применении электронно-оптического преобразователя, предложенный метод имеет недостаток, заключающийся в необходимости подсветки местности большим числом импульсов лазерного излучателя. Но как показали эксперименты, при достаточном числе импульсов излучателя качество изображения становится приемлемым для наблюдения оператором. При этом увеличение числа импульсов до необходимого количества на итоговой кадровой частоте не сказывается.
Заключение. Предложенный способ управления ПЗС-фотоприемником со строчным переносом позволяет реализовать активно-импульсный метод наблюдения без использования ЭОП в конструкции прибора наблюдения. Положительный эффект достигается благодаря особенностям конструкции ПЗС-фотоприемника со строчным переносом, а именно возможности накапливания зарядов в буферной секции и возможности многократного переноса зарядов из секции накопления в буферную секцию в одном кадре. Это позволяет наблюдать несколько отраженных импульсов подсветки, тем самым увеличить время экспозиции кадра изображения и избежать необходимости использования в конструкции прибора усилителя яркости. За счет исключения из конструкции прибора электронно-оптического преобразователя и необходимой для его согласования с фотоприемником оптической проекционной системы уменьшаются габариты, масса и себестоимость прибора и, кроме того, появляется возможность наблюдения цветного изображения.
СПИСОК ЛИТЕРАТУРЫ
1. Балаков В. В., Вафиади В. Г. Очерк научной деятельности академика А. А. Лебедева // Академик А. А. Лебедев. Избранные труды / Отв. ред. П. П. Феофилов. Л.: Наука, 1974. С. 3—16.
2. Голицын А. А., Сейфи Н. А. Активно-импульсные приборы обнаружения потенциальных угроз // Материалы 23-й Всерос. науч. конф. студентов-физиков и молодых ученых (ВНКСФ-23), Екатеринбург, 1—8 апр. 2017. Екатеринбург: Уральск. изд-во АСФ России, 2017. С. 263.
3. Горобец В. А., Кабанов В. В., Кабашников В. П., Кунцевич Б. Ф., Метельская Н. С., Шабров Д. В. Активно-импульсные системы видения и алгоритмы определения расстояний до объектов // Журнал прикладной спектроскопии. 2014. Т. 81, № 2. С. 283—291.
4. Gillespie L. F. Apparent illuminance as a function of range in gated, laser night-viewing systems // J. of the Opt. Soc. of America. 1966. N 56(7). P. 883—887.
5. Дирочка А. И., Корнеева М. Д., Филачев А. М., Направления развития современной фотоэлектроники (обзор по материалам XXIII Международной конференции по фотоэлектронике и приборам ночного видения) // Успехи прикладной физики. 2014. Т. 2, № 4. С. 353—366.
6. Голицын А. В., Журавлев П. В., Журов Г. Е., Корякин А. В., Чихонадский А. П., Шлишевский В. Б., Яшина Т. В. Псевдобинокулярный многоканальный прибор обнаружения потенциальных угроз // Изв. вузов. Приборостроение. 2009. T. 52, № 6. С. 27—34.
7. Мищенко Н. И., Пустынский И. Н., Капустин В. В. Методы и средства повышения эффективности активно-импульсных телевизионно-вычислительных систем мониторинга и обеспечения безопасности объектов // Докл. Томского гос. ун-та систем управления и радиоэлектроники. 2016. Т. 19, № 3. С. 42—46.
8. Xinweil W., Youfu L., Yan Z. Multi-pulse time delay integration method for flexible 3D super-resolution range-gated imaging // Opt. Express. 2015. N 23(6). P. 7820—7831.
9. Голицын А. А., Сейфи Н. А., Лабораторный стенд для исследования возможностей ПЗС-фотоприемника по использованию в составе активно-импульсных приборов // XII Междунар. конф. „Прикладная оптика 2016": Сб. трудов. СПб: Изд-во ГОИ, 2016. Т. 2. С. 201—202.
Сведения об авторах
Александр Андреевич Голицын — Филиал Института физики полупроводников им. А. В. Ржанова
СО РАН „Конструкторско-технологический институт прикладной микроэлектроники", отдел электронных систем; ст. инженер-электро-ник; E-mail: [email protected] Наталья Андреевна Сейфи — Филиал Института физики полупроводников им. А. В. Ржанова
СО РАН „Конструкторско-технологический институт прикладной микроэлектроники", отдел электронных систем; инженер; E-mail: [email protected]
Рекомендована Институтом Поступила в редакцию
30.05.17 г.
Ссылка для цитирования: Голицын А. А., Сейфи Н. А. Активно--импульсный метод наблюдения с использованием ПЗС-фотоприемника со строчным переносом // Изв. вузов. Приборостроение. 2017. Т. 60, № 11. С. 1040—1047.
ACTIVE-PULSE OBSERVATION METHOD USING CCD PHOTODETECTOR WITH INTERLINE TRANSFER
A. A. Golitsyn, N. A. Seyfi
Novosibirsk Division of Rzhanov Institute of Semiconductor Physics of the Siberian Branch of the RAS "Technological Design Institute of Applied Microelectronics", 630090, Novosibirsk, Russia E-mail: [email protected]
A way to control of CCD image sensor is proposed which allows active-pulse method of surveillance without using an image intensifier in the device. A positive effect is achieved by using the structural features of interline transfer CCD image sensor. The efficiency of the proposed approach is confirmed experimentally.
Keywords: active-pulse device, CCD matrix, quick shutter, laser emitter Alexander A. Golitsyn
Natalia A. Seyfi
For citation: Golitsyn A. A., Seyfi N. A. Active-pulse observation method using CCD photodetector with interline transfer. Journal of Instrument Engineering. 2017. Vol. 60, N 11. P. 1040—1047 (in Russian).
DOI: 10.17586/0021-3454-2017-60-11-1040-1047
Data on authors
Novosibirsk Division of Rzhanov Institute of Semiconductor Physics of the Siberian Branch of the RAS "Technological Design Institute of Applied Microelectronics", Department of Electronic Systems; Senior Electronics Engineer; E-mail: [email protected]
Novosibirsk Division of Rzhanov Institute of Semiconductor Physics of the Siberian Branch of the RAS "Technological Design Institute of Applied Microelectronics", Department of Electronic Systems; Engineer; E-mail: [email protected]
