CC BY
21
УДК 621.382.049
DOI 10.21685/ 2307-4205-2018-2-12
В. М. Строев, И. Н. Комбарова
ДИСКРЕТНО-АНАЛОГОВЫЙ СПЕЦПРОЦЕССОР НА ОСНОВЕ ФОТОЧУВСТВИТЕЛЬНЫХ КМОП-МАТРИЦ
V. M. Stroev, I. N. Kombarova
DISCRETE ANALOG SPECIAL PROCESSOR ON THE BASIS OF PHOTOSENSITIVE CMOS-MATRIXES
Аннотация. Основное преимущество дискретно-аналоговых спецпроцессоров (ДАС) на фоточувствительных приборах с зарядовой связью заключается в осуществлении пространственно-временной обработки одновременно с формированием изображения. Применение ДАС позволяет производить выделение неподвижных и движущихся малоконтрастных объектов на нестационарном фоне. Недостатком известных способов реализации ДАС является низкое быстродействие пространственно-временной обработки обусловленное тем, что обработка осуществляется последовательно и число дискретных накоплений всегда максимально независимо от условий наблюдения. Цель работы расширить функциональный диапазон ДАС и уменьшить время обработки. Достижение данной цели предполагается за счет использования фоточувствительных КМОП-матриц, основное преимущество которых заключается в наличии режима неразрушающего считывания. Предложена реализация дискретно-аналогового спецпроцессора (ДАС) на основе фоточувствительных КМОП-матриц, произведено сравнение с существующими реализациями ДАС на ФПЗС, уточнены условия реализации, исключающие фазовые искажения, получено выражение для частотной характеристики. В статье показано, что исключение фазовых искажений позволит повысить частоту кадров ДАС на основе высокоскоростных телекамер более, чем в 8 раз. Также применение фоточувствительных КМОП-матриц позволило реализовать обработку с применением нерекурсивной и рекурсивной фильтрации, адаптивную к условиям наблюдения.
Ключевые слова: дискретно-аналоговые спецпроцессоры, ФПЗС, КМОП-матрицы, режим дискретного накопления со сдвигом.
Abstract. The main advantage of discrete-analog special processors (DAS) on FPZS is the implementation of spatiotemporal processing simultaneously with the formation of the image. The use of DAS makes it possible to select stationary and moving low-contrast objects on a non-stationary background. The disadvantage of the known methods for implementing DAS is the low speed of spatiotemporal processing due to the fact that the processing is carried out sequentially and the number of discrete accumulations is always the maximum regardless of the observation conditions. The aim of this work is to extend the functionality of the DAS and reduce the processing time. This aim is expected to be achieved through the use of photosensitive CMOS-matrixes. Their main advantage is the nondestructive reading mode. A realization of the discrete analog special processor (DAS) based on photosensitive CMOS-matrixes was proposed; comparison with existing implementations of DAS on the FPZS was made; the conditions of sale, eliminating the phase distortion, were clarified; an expression for the frequency response was obtained. The article shows that the elimination of phase distortions increases the frame rate of DAS based on high-speed cameras for more than 8 times. Also, the use of photosensitive CMOS-matrixes has allowed the implementation the processing with the use of non-recursive and recursive filtering, adaptive to the observation conditions.
Key words: discrete analog special purpose processors, CCD, CMOS matrix, the discrete mode of accumulation with a shift.
Анализу вопросов построения дискретно-аналоговых спецпроцессоров (ДАС) на фоточувствительных приборах с зарядовой связью (ФПЗС) посвящено большое количество работ, основные результаты которых представлены и обобщены в работах [1-3].
Для широкого класса ДАС характерно применение режима дискретного накопления со сдвигом и его модификаций [3, 4]. Он основан на том, что пространственно-временную обработку выполняют путем дискретного накопления зарядов, фотогенерированных под воздействием проециру-
емого изображения в потенциальных ямах ФПЗС, и перемещают в пространстве изображение относительно матрицы ФПЗС. Время накопления в каждой точке пространства изменяют пропорционально величине отсчетов импульсной характеристики реализуемого пространственно-временного фильтра в зависимости от вида фильтрации, в цикле накопления осуществляется пауза на время, необходимое для обеспечения постоянства временного интервала между циклами накопления.
Такого типа ДАС ориентированы на реализацию нерекурсивных фильтров. Режим дискретного накопления реализует операцию умножения каждой точки изображения на отсчеты импульсной характеристики, задаваемые временем накопления. Взаимный сдвиг сцены наблюдения и матрицы ФПЗС реализует задержку по пространству. Время накопления плюс регулируемая временная пауза задают период дискретизации по времени. Сочетание данных операций позволяет реализовать дискретные нерекурсивные фильтры с разлизными характеристиками. Определение значений отсчетов импульсной характеристики выполняют на основе хорошо разработанных методов синтеза дискретных фильтров.
Недостатком известных способов реализации ДАС является низкое быстродействие пространственно-временной обработки, обусловленное тем, что обработка осуществляется последовательно и число дискретных накоплений всегда максимально независимо от условий наблюдения.
Цель работы расширить функциональный диапазон ДАС и уменьшить время обработки. Достижение данной цели предполагается за счет использования фоточувствительных КМОП-матриц, основное преимущество которых заключается в наличии режима неразрушающего считывания.
Способ пространственно-временной обработки изображений на основе фоточувствительных КМОП-матриц отличается тем, что в определенные моменты времени в течение паузы производится неразрушающее считывание сформированного изображения для определения достаточного количества циклов «накопление - пространственный сдвиг - пауза», также измеряется освещенность проецируемого изображения и в зависимости от величины освещенности формируется сигнал, который управляет длительностью стадий дискретного накопления зарядов.
Докажем возможность построения ДАС на основе КМОП-матриц.
Режим дискретного накопления. В КМОП-матрице или ФПЗС фотоны света, прошедшие через объектив и попавшие на светочувствительную область фотодиода, благодаря внутреннему фотоэффекту генерируют электроны, которые скапливаются в потенциальной яме каждого фотодиода. Чем интенсивнее световой поток и больше время его накопления (экспозиция), тем больший заряд скапливается [5]. Так же, как ФПЗС, КМОП-матрица состоит из фотодиодов, но роль «хранителя» заряда выполняет конденсатор. Рядом с фотодиодом располагаются транзисторы. Первый в качестве электронного ключа, открывающего цепь «фотодиод - конденсатор», второй - для установки конденсатора в «начальное» состояние. Как правило, «начальным» состоянием у конденсатора КМОП-матрицы будет заряженное состояние, а фотодиод будет разряжать его. Сначала конденсатор заряжается до определенного значения. Затем транзистор цепи заряда закрывается, и конденсатор начинает разряжаться через цепь фотодиода. Чем больше света попадает на фотодиод, тем больше он разряжает конденсатор. Затем измеряется оставшееся напряжение, и по полученному значению падения напряжения определяется количество света, попавшего на определенную ячейку. Время между прекращением заряда конденсатора и измерением напряжения на нем будет временем экспозиции [5]. Таким образом, для режима дискретного накопления не существует разницы, что использовать КМОП-матрицу или ФПЗС.
Хранение накопленных зарядовых пакетов до начала следующего этапа дискретного накопления организуют путем экранирования фоточувствительной поверхности КМОП-матрицы на время хранения с помощью обтюратора на основе электрооптических эффектов Керра, Поккельса, позволяющих переключать световой поток с частотой до 1013 Гц [6].
Взаимное перемещение КМОП-матрицы и оптического изображения реализуется путем применения электрооптического эффекта Керра: непрерывное отклонение луча, имеющее высокую точность перемещения, можно получить, используя призму из электрооптического материала с нанесенными на ее торцовых гранях металлическими электродами, к которым прикладывается управляющее напряжение [6].
Неразрушающее считывание заряда. Режим работы матрицы, при котором сигнал с пикселей снимается, а заряд в них продолжает копиться, может быть полезен при необходимости проведения траекторных измерений. В кадре строится траектория объекта, а по кадрам, считанным без разрушения заряда пикселей, определяется текущая скорость объекта [7]. Кроме проведения траекторных измерений, неразрушающее считывание используется для измерения освещенности проецируемого
изображения и в зависимости от величины освещенности формируется сигнал, который управляет длительностью стадий дискретного накопления зарядов с целью исключения случаев полного разряда накапливающих конденсаторов до момента окончания обработки.
При реализации способа можно использовать две КМОП-матрицы, выходы которых подключены к входам вычитающего устройства, что позволяет реализовать обработку, в которой используются отрицательные отсчеты импульсной характеристики.
Уточним условия реализации ДАС, производящего обработку изображения за I этапов, состоящих из K циклов (s = iK + k ) при выполнении следующих требований:
- длительность каждого цикла должна быть постоянной;
- каждый цикл должен включать стадию накопления длительностью Tik и стадию хранения длительностью TXi k =Á-Tik, во время которой осуществляется сдвиг по пространству;
- длительность стадии накопления T k пропорциональна величине соответствующего отсчета
импульсной характеристики.
Можно показать, что полное выражение для частотной характеристики ДАС, реализованной на двух ФПЗС, объединенных вычитающим устройством, будет иметь вид
I-1 к-1 - J L xX(k)+ф yY(k)+ф, (Ki+кk)
h(,Фу,ф,)=l Áx Áy 'j, (i)
i=0 k=0
где фx, фy, ф, - нормированные пространственные и временная частоты; aik - коэффициенты, определяемые отсчетами импульсной характеристики, равные
Ai . ,
a i ,k = — (Ti + - T -k), (2)
max
X (i, k), Y (i, k) - функции, описывающие сдвиг изображения по координатам, необходимый для осуществления пространственной обработки; Áx, Á - пространственный интервал между ячейками
T Tma laik|
ФПЗС соответственно по осям x и у; bik = = "^Á = bmax |aik\ - дополнительный фазовый коэффициент; i, k - целочисленные переменные; ^ 1 - постоянный коэффициент; T +к - длительность стадии накопления в первом ФПЗС, соответствующая положительному отсчету импульсной характеристики; T- - длительность стадии накопления во втором ФПЗС, соответствующая отрицатель-
T
ному отсчету импульсной характеристики; bmax = - максимальное значение коэффициента b k.
Из уравнения (1) следует, что наличие фазового коэффициента, определяемого значением bik,
будет приводить к искажениям частотной характеристики ДАС, что в свою очередь будет вызывать искажения изображения, формируемого в процессе обработки.
Для уменьшения вносимых искажений необходимо уменьшать максимальное значение коэффициента b k. Однако уменьшение bmax при постоянном Tmx возможно лишь путем увеличения длительности цикла и, как следствие, уменьшения частоты кадров ДАС. Покажем это для простейшего случая, когда ДАС с коэффициентами ai k = sin(ф,оk) производит узкополосную временную фильтрацию на центральных частотах ±ф,о за один этап (I = 1) из К циклов.
Для этого случая посредством моделирования был получен ряд изображений, формируемых при различных значениях bmax из исходного (bmax = 0) путем применения фильтра с частотной характеристикой следующего вида:
H(Ф,0 ) = gsinKk)^""^«]. (3)
k=0
Результаты моделирования показали, что искажения изображения, формируемого ДАС, из-за влияния дополнительного фазового коэффициента малы, если Ътах < 0,1. Определим граничную частоту кадров ДАС, реализующего трехмерный нерекурсивный пространственно-временной фильтр 11-го порядка при Ьтах не более 0,1. При таких условиях, с одной стороны, Ттахх = МТтп, где М- число уровней квантования сигнала изображения, ТЫп - минимальное время накопления, а с другой - дли-
1
тельность цикла должна быть не менее А =
что справедливо соотношение bmax = =
FK - I - K MT- FK -1 - K
, где ГК - частота кадров. Отсюда следует,
< 0,1.
Это соотношение для телекамеры с Ттп = 10 нс при числе уровней квантования сигнала изображения не менее 64 трансформируется в следующее ограничение ГК < 235 Гц, т.е. уменьшение Ътах с целью снижения искажений частотной характеристики ДАС одновременно вызывает уменьшение частоты кадров обрабатываемых ДАС изображений.
Чтобы устранить это противоречие, необходимо исключить коэффициент к из выражения
для частотной характеристики ДАС, что позволит одновременно устранить искажения частотной характеристики и увеличить коэффициент Ътах до его предельного значения 0,9, что в свою очередь позволит построить ДАС на основе высокоскоростных телекамер с частотой кадров до 2000 Гц.
Можно показать, что данная задача решается, если обеспечить постоянство не длительности цикла, а временного интервала между центрами соседних стадий накопления, как показано на рис. 1.
Рис. 1. Временные диаграммы цикла работы ДАС
При этом временные параметры ДАС в модифицированном режиме дискретного накопления со сдвигом должны быть следующими:
- интервал Ах между центрами соседних стадий накопления должен быть постоянным;
- каждый цикл должен состоять из стадии накопления длительностью Т1к и стадии хранения
Т Т
гт^ЛГ К г к+1 ¡к
длительностью 1Х1 к =А1--2---, во время которой осуществляется сдвиг по пространству.
При этом длительность последней стадии хранения в цикле должна быть равна Т Т _
ТХ1К _1 =А1 ——Если принять, что время накопления в (к+1) и к-м циклах равно максимальному значению Ттх, то значение А1 должно быть > Ттах;
- длительность стадии накопления Т к пропорциональна величине соответствующего отсчета
импульсной характеристики;
- временной интервал между центрами стадий накопления соответствующих циклов для соседних этапов должен быть равен КАх, т.е. длительность этапа равна Т = КАх;
- длительность этапа может быть искусственно увеличена путем введения циклов без стадии накопления.
То обстоятельство, что длительность Т этапа и временной интервал Ах между центрами стадий накопления жестко связаны между собой, ограничивает возможности ДАС. Для развязки этих
величин необходимо после последней стадии хранения в цикле каждого этапа ввести паузу длительностью ТР1 = Т _ КАХ. При этом длительность последней стадии хранения в цикле рассчитывается так же, как и в случае без паузы между этапами.
С учетом вышеуказанных условий частотная характеристика (1) ДАС в модифицированном режиме дискретного накопления со сдвигом приводится к виду
н (Фх, Ф,, Ф,)
I-1 к-1 i=0 k=0
+Ф ш+Ф, г L,+k
x A х A y I Ai
(4)
в котором отсутствует дополнительный фазовый коэффициент, определяемый значением Ъ1 к.
Полученные в работе результаты позволяют сделать следующие выводы:
- при существующих требованиях к временным параметрам ДАС (постоянство длительности цикла) его реализация возможна на основе телекамер с частотой кадров не более 235 Гц;
- обеспечение постоянства временного интервала между центрами стадий накоплений позволит построить ДАС на основе высокоскоростных телекамер с частотой кадров до 2000 Гц.
Оценим преимущества, получаемые за счет использования неразрушающего считывания. В ДАС без неразрушающего считывания для достижения необходимого результата значения I и К должны быть максимальны из-за ориентации на самые сложные условия наблюдения.
В предлагаемом способе можно сначала осуществить только четыре накопления со сдвигами при г = 0...1 и к = 0...1, после этого вывести обработанное изображение и оценить полученный результат с использованием специальных программ. Если результат устраивает, то закончить обработку. Если нет, то произвести дополнительные накопления со сдвигами так, чтобы образовался набор накоплений со сдвигами при г = 0...2 и к = 0...2. Снова производятся считывание изображения и оценка результата, и так до получения необходимого результата. Таким образом, в предлагаемом способе обработка может закончиться быстрее, чем в прототипе.
Для примера возьмем простейший случай - подавление высокочастотных шумов в изображении неподвижной сцены, при этом шум за время обработки неизменен, также выполняются следующие условия ^ ,к = р. ук, X (г, к) = ¡А х, У (, к) = к А у. Так как сцена и шум неизменны, то временных частот фt в спектре изображения нет. Поэтому исключим их из рассмотрения.
Тогда получим
H(Фх,Фу) = iSeУ^ = ЁР,е"'[Фх,]1Уке-'[Фу'к] = H 1(фх)н2(фу).
i=0 к=0 i=0 к=0
(3)
На рис. 2 приведены результаты моделирования амплитудно-частотной характеристики (АЧХ) Н 1(фх) при рг. = ук = 1 для трех случаев: I = 2; I = 3; I = 4. Аналогично с изменением значения К будет изменяться Н 2 (ф у).
Как видно из рис. 2, полоса пропускания АЧХ сужается при увеличении значений I и К. Таким образом, каждый раз после неразрушающего считывания и оценки результатов фильтрации, последовательно увеличивая значения I и К, можно точно определить момент окончания обработки. Например, если в момент наблюдения для достижения требуемого уровня подавления ВЧ шумов достаточно, чтобы I = К = 2, а предельное значение I = К = 4, то предлагаемая реализация ДАС будет в 4 раза быстрее.
Рис. 2. АЧХ ДАС при I = 2, 3, 4 Неразрушающее считывание также позволяет реализовать дискретные рекурсивные фильтры. Это будет направлением дальнейших исследований.
Таким образом, переход на КМОП-матрицы позволил расширить функциональный диапазон ДАС и уменьшить время обработки.
Библиографический список
1. Пахомов, А. Н. Состояние и перспективы систем активного зрения / А. Н. Пахомов // Зарубежная радиоэлектроника. Успехи современной радиоэлектроники. - 1999. - № 2. - С. 57-65.
2. Перспективные методы обработки информации : монография / под ред. проф. П. Г. Горева. - Тамбов ; М. ; СПб. ; Баку ; Вена : Нобелистика, 2004. - 478 с.
3. Пат. 2313189 Российская Федерация, МПК H04N5/14. Способ пространственно-временной обработки изображений на основе матриц фоточувствительных приборов с зарядовой связью и устройство для его реализации / Богословский А. В., Строев В. М., Пахомов А. Н., Жигулина И. В. ; заявитель и патентообладатель Тамбовское высшее военное авиационное инженерное училище радиоэлектроники (военный институт). - № 2006101359/09 ; заявл. 17.01.2006 ; опубл. 10.08.2007, Бюл. № 31.
4. Пат. 2569811 Российская Федерация, МПК H04N 5/335, H01L 27/148, G06T 1/00. Способ пространственно-временной обработки изображений на основе матриц фоточувствительных приборов с зарядовой связью / Строев В. М., Фесенко А. И., Федюнин П. А., Куликов А. Ю. ; заявитель и патентообладатель Российская Федерация, от имени которой выступает Министерство обороны Российской Федерации, Федеральное государственное казенное военное образовательное учреждение высшего профессионального образования «Военный учебно-научный центр Военно-воздушных сил «Военно-воздушная академия имени профессора Н. Е. Жуковского и Ю. А. Гагарина» (г. Воронеж) Министерства обороны Российской Федерации. -№ 2014120026/08 ; заявл. 19.05.2014 ; опубл. 27.11.2015, Бюл. № 33.
5. Шевердин, А. Технологические инновации КМОП камер Omnivision - оптимальный выбор для высокообъемных применений / А. Шевердин // Компоненты и технологии. - 2008. - № 1. - С. 71-78.
6. Верещагин, И. К. Введение в оптоэлектронику : учеб. пособие для втузов / И. К. Верещагин, Л. А. Косячен-ко, С. М. Конин. - М. : Высш. шк., 1991. - 191 с.
7. Телевизионная камера со сверхвысокой разрешающей способностью ФРАЕ.468425.023. Особое конструк-торско-технологическое бюро «Омега». - URL: http://www.oktb-omega.ru/index.php?go = Content&id = 6
Строев Владимир Михайлович
кандидат технических наук, доцент, кафедра биомедицинской техники, Тамбовский государственный технический университет (392000, Россия, г. Тамбов, ул. Советская, 106) E-mail: stroev2006@yandex.ru
Комбарова Ирина Николаевна
аспирант,
Тамбовский государственный технический университет (392000, Россия, г. Тамбов, ул. Советская, 106) E-mail: candy26-05@yandex.ru
Stroev Vladimir Mikhaylovich
candidate of technical sciences, associate professor, sub-department of biomedical engineering, Tambov State Technical University (392000, 106 Sovetskaya street, Tambov, Russia)
Kombarova Irina Nikolaevna
postgraduate student,
Tambov State Technical University
(392000, 106 Sovetskaya street, Tambov, Russia)
УДК 621.382.049 Строев, В. М.
Дискретно-аналоговый спецпроцессор на основе фоточувствительных КМОП-матриц /
B. М. Строев, И. Н. Комбарова // Надежность и качество сложных систем. — 2018. — № 2 (22). —
C. 89-94. - БО! 10.21685/ 2307-4205-2018-2-12.
