CC BY
106
4. Мельников В.Г., Иванов С.Е., Мельников Г.И. Компьютерные технологии в механике приборных систем. - СПб: СПбГУ ИТМО, 2006.
СТАТИСТИКА ПОМЕХ ИЗОБРАЖЕНИЯ, ПОЛУЧЕННОГО ПРИ ПОМОЩИ МАТРИЦЫ ПЗС-ЭЛЕМЕНТОВ
В.А. Таюрский Научный руководитель - к.т.н., доцент В.И. Бойков
Рассматриваются типы помех, присутствующих в изображении, полученном при помощи ПЗС-матрицы. Обсуждаются физические и аналитические способы их погашения. В ходе статьи проводится анализ типов помех, обозначается задача помехоподавления и испытывается механизм гауссового размытия на тестовом изображении.
Введение
Во многих технологических и научных процессах требуется средство визуального контроля. В современных условиях использование видиконов или пленочных фотоприставок становится неэффективным. Изображение, формируемое аналоговой видеокамерой, не дает необходимого разрешения для целого спектра задач, а пленочные формирователи изображения привносят большие временные задержки между точкой съемки и получением готовой картинки после проявки. Поэтому для задач микроскопии, а также для исследования других физических процессов, требующих оперативной компьютерной обработки, необходимо использовать цифровые формирователи изображений. Одним из вариантов светочувствительного датчика такого устройства является матрица ПЗС-элементов, состоящая из миллионов пикселей. В данной статье рассматривается классификация ПЗС-матриц, принципы их работы, разбираются проблемы появления помех (шумов) в полученном изображении, а также проводится анализ монохромной интерференционной картины.
Принцип формирования изображения в матрице ПЗС-элементов
В приборах с зарядовой связью преобразование фотона в электрон производится в результате внутреннего фотоэффекта: поглощения светового кванта кристаллической решеткой полупроводника с выделением носителей заряда. Это может быть либо пара «электрон + дырка», либо единичный носитель заряда (последнее происходит при использовании донорных либо акцепторных примесей в полупроводнике).
Основной материал ПЗС-матрицы - кремниевая подложка р-типа - оснащается каналами из полупроводника п-типа, над которыми из поликристаллического кремния изготавливаются прозрачные для фотонов электроды. После подачи на такой электрод электрического потенциала в обедненной зоне под каналом п-типа создается потенциальная яма, назначение которой - хранить заряд, «добываемый» посредством внутреннего фотоэффекта. Количество фотонов, упавших на ПЗС-элемент (пиксель), пропорционально заряду, накопленному ямой.
Считывание заряда (фототока) производится последовательным регистром сдвига, подключенным к самой крайней строке матрицы. Данный регистр представляет собой строку из ПЗС-элементов, заряды которой считываются поочередно. Для этого используются электроды переноса, расположенные в промежутке между ПЗС-элементами. На эти электроды подаются потенциалы, «выманивающие» заряд из одной потенциальной ямы и передающие его в другую.
При синхронной подаче потенциала на электроды переноса обеспечивается одновременный перенос всех зарядов строки справа налево (или слева направо) за один рабочий цикл. Оказавшийся «лишним» заряд поступает на выход ПЗС-матрицы. Последовательный регистр сдвига преобразует заряды, поступающие на его вход в виде параллельных «цепочек», в последовательность электрических импульсов разной величи-
ны на выходе. Чтобы подать эти параллельные «цепочки» на вход последовательного регистра, опять-таки используется регистр сдвига, но на этот раз параллельный.
Рис. 1. Пиксель матрицы в разрезе
Рис. 2. Принцип формирования изображения в полнокадровой матрице
Матрица представляет собой множество последовательных регистров, называемых столбцами и синхронизированных между собой. В результате за рабочий цикл происходит синхронное «сползание» фототоков вниз, а оказавшиеся «лишними» заряды нижней строки матрицы поступают на вход последовательного регистра.
Указанная выше схема справедлива для полнокадровой ПЗС-матрицы, ее режим работы накладывает ограничение на конструкцию: если в процессе считывания фототоков экспонирование не прекращается, «лишний» заряд «размазывается» по кадру. Необходим в механический затвор, который перекрывает поступление света к сенсору на время, необходимое для считывания зарядов всех пикселей. Такая схема считывания фототоков не позволяет формировать видеопоток на выходе с матрицы, поэтому применяется она только в устройствах, допускающих длительное экспонирование и не требующих вывод видеопотока.
ПЗС-матрицы, используемые для формирования видеозаписи, обеспечивают непрерывный поток импульсов на своем выходе, при этом перекрытие оптического тракта не происходит. Чтобы при этом не происходило «смазывание» изображения, исполь-
зуются ПЗС-матрицы с буферизацией столбцов. В таких сенсорах рядом с каждым столбцом располагается буферный столбец, состоящий из ПЗС-элементов, покрытых непрозрачными полосками (чаще металлическими). Совокупность буферных столбцов составляет буферный параллельный регистр, причем столбцы данного регистра «перемешаны» с регистрирующими свет столбцами.
Рис. 3. Принцип формирования изображения в буферизированной матрице
За один рабочий цикл светочувствительный параллельный регистр сдвига отдает все свои фототоки буферному параллельному регистру посредством «сдвига по горизонтали» зарядов, после чего светочувствительная часть снова готова к экспонированию. Затем идет построчный «сдвиг по вертикали» зарядов буферного параллельного регистра, нижняя строка которого является входом последовательного регистра сдвига матрицы.
Очевидно, что перенос заряда матрицы в буферный параллельный регистр сдвига занимает малый интервал времени и перекрывать световой поток механическим затвором нет необходимости - ямы не успеют переполниться. С другой стороны, необходимое время экспонирования, как правило, сравнимо со временем считывания всего буферного параллельного регистра. За счет этого интервал между экспонированием можно довести до минимума - в результате видеосигнал в современных видеокамерах формируется с частотой от 30 кадров в секунду и выше. К примеру, видеокамера фирмы Casio способна записывать видео с частотой 1200 к/с.
Основной минус такой схемы заключается в том, что буферные регистры перекрывают светочувствительную часть площади матрицы, в результате каждому пикселю достается лишь 30% от его общей поверхности. У пикселя полнокадровой матрицы эта область составляет 70%. Для компенсации этого недостатка производители используют микролинзы, располагающиеся над каждым элементом матрицы и фокусирующие весь достающийся пикселю световой поток на сравнительно малую светочувствительную область.
Чувствительность собственно ПЗС-элемента можно разделить на две составляющие. Первая - интегральная чувствительность, представляющая собой отношение величины фототока (в миллиамперах) к световому потоку (в люменах), обеспечиваемому источником излучения. При этом спектральный состав излучения, используемого при измерении интегральной чувствительности, такой же, как и у вольфрамовой лампы накаливания, а сам параметр служит для оценки суммарной (по всему спектру видимого
света) чувствительности пикселя. Второй характеристикой способности ПЗС-элемента реагировать на свет является монохроматическая чувствительность, представляющая собой отношение величины фототока (в миллиамперах) к величине световой энергии излучения (в миллиэлектронвольтах), имеющего строго определенную длину волны. Функция, описывающая зависимость чувствительности от длины волны, то есть способность пикселя фиксировать различные цветовые оттенки, именуется спектральной чувствительностью и представляет собой совокупность всех значений монохроматической чувствительности для данной области спектра.
Таким образом, как интегральная, так и спектральная чувствительность определяется фототоком ПЗС-элемента. Характеристика, описывающая емкость ямы, называется глубиной потенциальной ямы, и именно ею определяется динамический диапазон ПЗС-матрицы. Чем больше площадь светочувствительной области ПЗС-элемента, тем выше доля фотонов, которые могут быть поглощены с созданием носителей заряда. Для этого размеры обвязки (электродов переноса, дренажа и буферных столбцов) должны уменьшаться пропорционально росту числа пикселей.
Параметр, определяющий эффективность регистрации светового излучения ПЗС-элементом, называется квантовой эффективностью и характеризует отношение количества зарегистрированных носителей заряда к количеству попавших на поверхность светочувствительной области фотонов. Поскольку далеко не все носители заряда попадают в потенциальную яму, квантовая эффективность более точно характеризует чувствительность пикселя.
Классификация шумов, возникающих при формировании цифрового изображения
На отношение сигнал-шум влияют шумы аналоговой электроники («обвязка», усилители, АЦП), но основным источником цифрового шума является фотосенсор. Цифровой шум в фотосенсоре классифицируется следующим образом:
- блюминг,
- теневой ток,
- тепловой шум,
- черный дефект,
- стохастический шум,
- шум от «битых» пикселей,
- помехи от гамма-коррекции.
Блюминг проявляется при больших выдержках. Избыточный заряд накопливается в потенциальной яме и стремится «растечься» по соседним пикселям, что на снимке отображается в виде белых пятен, размер которых связан с величиной переполнения. Борьба с блюмингом осуществляется посредством электронного дренажа - отвода из потенциальной ямы избыточного заряда. Существует два основных вида дренажа: вертикальный и боковой. Для реализации вертикального дренажа на подложку ЭОП подается потенциал, который при переполнении глубины потенциальной ямы обеспечивает истечение избыточных электронов сквозь подложку. Минус такой схемы - уменьшение глубины потенциальной ямы, в результате чего сужается динамический диапазон.
Боковой дренаж (рис. 4) осуществляется при помощи специальных «дренажных канавок», в которые «стекают» избыточные электроны. Для формирования этих канавок прокладываются специальные электроды, на которые подается потенциал, формирующий дренажную систему. Другие электроды создают барьер, препятствующий преждевременному «бегству» электронов из потенциальной ямы. При боковом дренаже глубина потенциальной ямы не уменьшается, однако при этом урезается площадь светочувствительной области пикселя. Тем не менее, без дренажа обойтись нельзя, так как блюминг искажает снимок больше, чем все остальные виды помех.
ПОТЕНЦИАЛ
ПОЛИСИЛИКОНОВОГО
ЭЛЕКТРОДА
Р 9
о
Рис. 4. Антиблюминговый боковой дренаж
Теневой ток оказывает негативное влияние на порог чувствительности оказывает, возникающий в ПЗС-элементе в момент подачи потенциала на электрод, под которым создается потенциальная яма. Название «теневой» или «темновой» обусловлено тем, что данный паразитный заряд образуется «просочившимися» в яму электронами, созданными не внутренним фотоэффектом, а термоэлектронной эмиссией, и при его накоплении световые лучи не падали на поверхность сенсора. Если же интенсивность светового потока низка, то генерируемый им фототок может оказаться слабее темнового тока. При этом уровень темнового тока сильно зависит от температуры и возрастает вдвое при нагревании на 9°С. Чтобы определить уровень темнового тока и исключить его величину при считывании фототоков пикселей, расположенные по краям столбцы и строки матрицы покрываются непрозрачным материалом. Составляющие их пиксели называются пикселями темнового тока, и, поскольку генерируемый ими заряд создан термоэлектронной эмиссией, он используется в качестве «отметки черного цвета» для остальных пикселей матрицы.
Тепловой шум также оказывает влияние на порог чувствительности. Данное явление обусловлено хаотичным движением носителей заряда в толще полупроводника, которое не прекращается и при отключении потенциала, подаваемого на электрод. Блуждая в материале матрицы, электроны либо дырки в конце концов притягиваются потенциальной ямой и оседают в ней. Поскольку перед началом экспонирования потенциальная яма «опустошается», количество захваченных ею в процессе съемки «паразитов» тем больше, чем продолжительнее выдержка.
Дефекты (примеси и др.) потенциального барьера вызывают утечку заряда сгенерированного за время экспозиции - так называемый черный дефект. Такие дефекты видны на светлом фоне в виде темных точек.
Из-за шума, возникающего вследствие стохастической природы взаимодействия фотонов света с атомами материала фотодиодов сенсора, при движении фотона внутри кристаллической решетки кремния вероятно, что фотон, «попав» в атом кремния, выбьет из него электрон, родив пару электрон-дырка, но сказать точно, сколько фотонов родит пары, а сколько пропадет с какими-то другими эффектами, нельзя. Электрический сигнал, снимаемый с сенсора, будет соответствовать количеству рожденных пар. Снимаемый сигнал с сенсора при заданных выдержке и диафрагме (интенсивности света) будет определять квантовая эффективность - среднее число рождаемых пар электрон-дырка. Подавление цифрового стохастического шума проводится усреднением (интегрированием по множеству или апертуре для каждого пикселя). Например, одной из распространенных апертурных методик подавления шума является так называемая свертка.
Из-за несовершенства технологии при производстве фотосенсоров возникают дефектные пиксели, которые всегда находятся в одном и том же месте. Для устранения их негативного влияния используются математические методы интерполяции, когда вместо дефектного «подставляется» либо просто соседний элемент, либо среднее по прилегающим элементам, либо значение, вычисленное более сложным способом. Естественно, что вычисленное значение отличается от фактического и ухудшает резкость конечного изображения. Этот же дефект вносит интерполяция, корректирующая конечное изображение, при использовании фильтра Байера.
Гамма-коррекция может осуществляться в электронном тракте или в процессоре. Человеческий глаз имеет логарифмическую чувствительность к свету, а фотосенсоры -линейную, поэтому слабые сигналы усиливаются больше, чем сильные, чтобы изображение имело привычный для человека вид. Часто для этого (и для некоторых других целей) используют таблицы перекодировки, определяющие соответствие входного и выходного сигналов.
При подавлении шума усреднением несколько ухудшается резкость на конечном цифровом изображении.
В дальнейшем сосредоточим внимание на работе с стохастическим шумом, а также различными типами дефектов, так как остальные типы шумов с успехом гасятся известными методами [4].
Подавление шума на интерференционной монохромной картине методом гауссового размытия
В качестве образца возьмем интерференционную картину, полученную при помощи веб-камеры с ПЗС матрицей. Для упрощения будем работать с монохроматизи-рованной картиной (см. рис. 5).
Рис. 5. Образец изображения
Интерференционная картина, возникающая при отражении света от двух поверхностей воздушного зазора между плоской стеклянной пластинкой и наложенной на нее плоско-выпуклой линзой большого радиуса кривизны, называется кольцами Ньютона. Радиусы колец Ньютона зависят от длины волны X падающего света и радиуса кривизны Я выпуклой поверхности линзы. В центре картины всегда наблюдается темное пятно. Радиус гт т-го темного кольца равен
гт = V т'кИ = гх4т, (1)
где г1 - радиус первого темного кольца. Измеряя на опыте радиусы темных колец, можно определить радиус кривизны Я поверхности линзы по известному значению длины волны X. Спроецируем левую часть рис. 5 на плоскую поверхность и, в зависимости от освещенности, присвоим к каждой точке поверхности соответствующее значение высо-
ты. Получим трехмерную картину, где по осям Х и У располагается изображение образца, а по Ъ - значения освещенности (см. рис. 7).
Рис. 6. Теоретическая интерференционная картина
Рис. 7. Распределение точек поверхности по яркости изображения
В отличие от идеальной картины колец, на реальном полученном изображении видны неровности каждого из колец, и мелкие «резкие» всплески. Это стохастические помехи. Избавиться от них можно при помощи алгоритма Гаусса. Применение размытия Гаусса к изображению - то же, что и свертка изображения с гауссовым или нормальным распределением. Так как фурье-преобразование гауссиана есть другой гаусси-ан, то применение размытия Гаусса дает эффект отсечения высокочастотных компонент изображения, т.е. помех. Размытие по Гауссу - это характерный процесс размытия изображения, который использует нормальное распределение (также называемое Гауссовым распределением, отсюда название) для вычисления преобразования, применяемого к каждому пикселю изображения. Уравнение распределения Гаусса в N измерениях имеет вид:
°С)-Т-Я* е " (2)
—г2 )
или, в частном случае, для двух измерений:
1
„2 , ,,2
с (г»--т)^.....^ (3)
где г - это радиус размытия (вычисляется как г2 = и2 + у2), а - стандартное отклонение распределения Гаусса. В случае двух измерений эта формула задает поверхность,
