CC BY
273
УДК 535.4
Увеличение отношения сигнал/шум за счёт пространственного усреднения при регистрации
изображений
Н. Н. Евтихиев, В. В. Краснов, В. Г. Родин, И. В. Солякин, С. Н. Стариков, П. А. Черёмхин, Е. А. Шапкарина
Кафедра лазерной физики Национальный исследовательский ядерный университет «МИФИ» Каширское шоссе, д. 31, Москва, Россия, 115409
Для метода однократной экспозиции с пространственным усреднением получены расчётные оценки временных и пространственных шумов и отношений сигнал/шум. Определены два необходимых условия для достижения максимального увеличения отношения сигнал/шум. Полученные экспериментальные результаты подтверждают расчётные оценки изменения пространственного разрешения изображения и достижимого увеличения отношения сигнал/шум. Совместное применение для повышения отношения сигнал/шум рассмотренного метода однократной экспозиции с пространственным усреднением и метода многократной экспозиции позволит гибко сочетать требования к скорости регистрации изображений и количеству разрешимых элементов в изображениях.
Ключевые слова: регистрация изображений, отношение сигнал/шум, пространственное усреднение, временные и пространственные шумы, однократная экспозиция, многократная экспозиция.
1. Введение
Наиболее распространённым методом повышения отношения сигнал/шум при регистрации световых распределений (изображений) является метод многократной экспозиции. При его использовании последовательно во времени выполняется регистрация нескольких кадров одной и той же сцены и вычисляется среднее по кадрам изображение. Это конечное изображение имеет пространственное разрешение, равное разрешению используемого матричного фотоприёмника. В результате усреднения по кадрам величина шумов для каждого из пикселей изображения может уменьшиться, что и приведёт к увеличению отношения сигнал/шум по сравнению с одиночным кадром. Основным недостатком метода является увеличение времени получения изображения. Это может ограничивать количество регистрируемых кадров, особенно в случае быстропротекающих процессов, и, как следствие, достижимое увеличение отношения сигнал/шум. Гораздо реже в настоящее время используется приём, использующий не временное, а пространственное усреднение. В этом случае необходимо фиксировать только один кадр изображения. Однако пространственный масштаб регистрируемого изображения на фотоприёмнике следует выбирать наибольшим из возможных, так чтобы последующая замена областей соседних пикселей на один, равный их среднему значению, не привела к падению пространственного разрешения ниже требуемого. Количество пикселей в области, используемой для пространственного усреднения, является аналогом количества регистрируемых кадров в методе многократной экспозиции. Недостатком этого метода является снижение общего количества пикселей в получаемом изображении. Так как число пикселей в современных фотоприёмниках достигает десятков миллионов и продолжает расти, то этот недостаток для многих практических применений уже некритичен. Это позволяет рассчитывать на существенное увеличение отношения сигнал/шум в изображениях, получаемых однократной экспозицией, при сохранении требуемого пространственного разрешения.
Статья поступила в редакцию 19 июня 2012 г.
2. Анализ метода повышения отношения сигнал/шум при однократной экспозиции за счёт пространственного
усреднения
2.1. Отношения сигнал/шум при однократной и многократной
экспозициях
Количественный анализ метода однократной экспозиции с последующим пространственным усреднением для повышения отношения сигнал/шум проводился в сравнении с методом многократной экспозиции. При анализе рассматривались временные и пространственные шумы цифровых матричных фотосенсоров [1—3]. Шумы электронного канала обработки сигналов с фоточувствительных пикселей сенсора (шумы усилителя, шумы квантования АЦП и др.) не учитывались, так как их вклад в общий шум обычно незначителен [4,5].
Временные шумы Nt делятся на темновые Ndt (имеющие место, как в отсутствии регистрируемого света, так и в его присутствии) и световые Nn (обусловленные только присутствием регистрируемого света) [3]. Временной темновой шум обусловлен случайным рождением темновых носителей. Он оценивается величиной Gdt — среднеквадратическим отклонением значений цифрового сигнала от среднего по серии темновых кадров. Эта величина для всех пикселей одинакова:
Ndt = adt (1)
и составляет обычно от одной до нескольких цифровых единиц. Темновой временной шум для различных пикселей независим.
Временной световой шум Nit является дробовым шумом, вызванным случайным характером процесса регистрации фотонов и пропорционален корню квадратному из величины среднего значения цифрового сигнала S в пикселе при постоянном освещении [4]:
Nlt = (к ■ S)1/2 , (2)
где к — константа пересчёта количества электронов в величину цифрового сигнала (1/к — количество электронов на цифровую единицу сигнала), её типичное значение составляет около 0,1 ц.е./электрон [6]. Временной световой шум также независим для различных пикселей.
Так как темновой и световой шумы независимы, то полный временной шум для каждого пикселя при регистрации одиночного кадра описывается выражением
Nlt = ((Ndt)2 + (Nlt)2)1/2 = ((adt)2 + (к ■ S))1/2. (3)
Тогда выражение для отношения сигнал/(временной шум) при регистрации одиночного кадра имеет вид:
(S/Nt)i = S/{(Ndt)2 + (Nlt)2)1/2 = S/{(adt)2 + к ■ S)1/2. (4)
Пространственные шумы представляют собой фиксированную во времени пространственную псевдослучайную картину (fixed pattern noise, FPN), обусловленную различием свойств отдельных пикселей из-за несовершенства технологического процесса изготовления матричного фотосенсора [1,2,4]. Пространственные шумы Ns также делятся на темновые Nds (имеющие место, как в отсутствии регистрируемого света, так и в его присутствии) и световые Nis (обусловленные только присутствием регистрируемого света). Пространственный темновой шум (dark signal non-uniformity, DSNU) Nds обусловлен различием величины темнового заряда между пикселями. Его величина принимается равной ads — среднеквад-ратическому отклонению значений цифрового сигнала в пикселях от среднего по
всем пикселям на темновом кадре:
Nds = Ods. (5)
Значения пространственного темнового шума для соседних пикселей могут быть коррелированными.
Пространственный световой шум Nis обусловлен неоднородностью фоточувствительности от пикселя к пикселю. Он оценивается как отношение среднеквад-ратического отклонения сигналов отдельных пикселей к средней величине сигнала при освещении всех пикселей одинаковым световым потоком [7]. Это отношение (photo response non-uniformity, PRNU) не зависит от величины светового сигнала, поэтому пространственный световой шум прямо пропорционален величине регистрируемого сигнала.
Nls = р • S, (6)
где р — величина PRNU, значения которой обычно находятся в диапазоне от 0,005 до 0,01 [4,6]. Значения пространственного светового шума для соседних пикселей также могут быть коррелированными.
Так как темновой и световой шумы независимы, то полный пространственный шум для каждого пикселя при регистрации одиночного кадра описывается выражением
Ns = ((Nds)2 + (Nla)2)1/2 = {(ads)2 + (P • S)2)1/2. (7)
Тогда выражение для отношения сигнал/(пространственный шум) при регистрации одиночного кадра имеет вид:
(S/Ns)l = S/((Nds)2 + (Nis)2)1/2 = S/{(ads)2 + (p • S)2)1/2. (8)
Следовательно, выражение для полного шума в силу независимости временных и пространственных шумов для случая регистрации одиночного кадра принимает вид:
N = {(Nt)2 + (Ns)2)1/2, (9)
а выражение для отношения сигнал/(полный шум) при регистрации одиночного кадра будет иметь вид:
(S/N)i = S/{(Nt)2 + (Ns)2)1/2, (10)
где Nt и Ns определяются из выражений (3) и (8) соответственно. Рассмотрим случай применения метода многократной экспозиции с количеством усредняемых кадров, равным К. При получении конечного изображения усреднение выполняется только внутри отдельных пикселей по различным кадрам, то есть только по различным реализациям временного шума. Следовательно, для каждого из пикселей в конечном изображении временной шум уменьшится в К1/2 раз, а пространственный шум останется прежним. Полный шум (N)к для изображения, полученного методом многократной экспозиции с количеством усредняемых кадров К, равен
(N )к = {(Nt)2/К + (NS)2)1/2. (11)
Следовательно, отношения сигнал/(временной шум), сигнал/ (пространственный шум) и сигнал/(полный шум) для метода многократной экспозиции составят соответственно:
(S/Nt )к = S/(Nt)K = (S/Nt)1 • К1/2, (12)
(S/Ns)K = S/(Ns)K = (S/Ns)1,
(13)
(S/N )к = S/{(Nt)2/K + (Ns)2)1/2 =
= (S/N)! ■ К1/2 ■ (1 + (Ns/Nt))1/2/(l + К ■ (Ns/Nt))l/2. (14)
Из приведённых выражений следует, что при применении метода многократной экспозиции отношение сигнал/(временной шум) увеличивается в К1/2 раз, а отношение сигнал/(пространственный шум) остаётся прежним. Отношение сиг-нал/(полный шум) при пространственном шуме, много меньшем временного, увеличивается не более чем в К1/2 раз. При пространственном шуме, много большем временного, повышения отношения сигнал/(полный шум) не происходит.
2.2. Отношения сигнал/шум при однократной экспозиции с пространственным усреднением и условия его максимального
увеличения
Оценим отношения сигнал/шум при применении анализируемого метода однократной экспозиции с последующим пространственным усреднением. Пусть количество усредняемых соседних пикселей на зарегистрированном кадре равно М. Например, усреднение производится по квадрату из т х т пикселей, тогда М = т2. При получении результирующего изображения усреднения выполняются только внутри этих областей. Затем область усреднения заменяется одним пикселем с сигналом, равным среднему. Количество отсчётов и пространственное разрешение в результирующем изображении падают по каждому направлению в М1/2 раз. Усредняемые сигналы получены из различных пикселей, поэтому они соответствуют различным реализациям временного и пространственного шумов. Пусть размер наиболее мелких деталей на исходном изображении в два раза больше размера области усреднения (условие 1). В этом случае можно считать, что большинство пикселей внутри области усреднения имеют одинаковые не только темновые, но и световые шумы. В этом случае для каждого из пикселей в результирующем изображении временной и пространственный шумы уменьшатся в М1/2 раз. Утверждение для пространственного шума будет тем более верным, чем меньше радиус его корреляции по сравнению с размером области усреднения (условие 2). По имеющимся литературным данным радиус корреляции составляет 1-2 пикселя [8]. При выполнении двух указанных условий можно считать, что и полный шум уменьшится в М1/2 раз по сравнению со случаем однократной экспозиции
(N)M = {(Nt)2 + (Ns)2)1/2/M 1/2 = N/M1/2. (15)
Соответственно, для метода с пространственным усреднением все три отношения: сигнал/(временной шум), сигнал/(пространственный шум) и сигнал/(полный шум) увеличатся в М1/2 раз по сравнению со случаем однократной экспозиции:
(S/Nt)M = S/(Nt)M = (S/Nt)1 ■ М1/2, (16)
(S/NS)M = S/(NS)M = (S/Na)1 ■ M1/2, (17)
(S/N)M = S/(N)M = (S/N )1 ■ M1/2. (18)
Полученные оценки увеличения отношений сигнал/шум для метода многократной экспозиции (выражения (12), (13), (14)) и метода с пространственным усреднением (выражения (16), (17), (18)) являются предельными. Реальные значения могут быть ниже, например, из-за изменения светового потока в процессе съёмки серии кадров для метода многократной экспозиции; нарушения условия 1 или условия 2 при применении метода с пространственным усреднением.
2.3. Расчётные оценки отношений сигнал/шум для различных методов регистрации изображений
Для конкретизации полученных расчётных оценок и их сопоставления с результатами последующей экспериментальной проверки метода однократной экспозиции с пространственным усреднением, использованы шумовые характеристики измерительной монохромной цифровой камеры MegaPlus II ES11000. Камера имеет фотосенсор с 4008 х 2672 пикселями и АЦП с разрядностью 12 бит. Её характеристики были измерены с использованием установки и методик, описанных в [9,10]. Полученные значения характеристик камеры, использовавшиеся для оценки шумов и отношений сигнал/шум, составляют:
1) линейный участок цифрового сигнала S: 0-3800 ц.е.;
2) временной темновой шум N^t = 2,0 ± 0,4 ц.е.;
3) пространственный темновой шум Nds = 0,56 ± 0,03 ц.е.;
4) константа пересчёта количества электронов в сигнал к = 0,085 ± 0,001 ц.е./ электрон;
5) величина PRNU р = 0,0053 ± 0,0008.
Расчётные зависимости временного шума (выражение (3)), пространственного шума (выражение (7)) и полного шума (выражение (9)) от сигнала для данной камеры получены с использованием этих измеренных параметров. Эти зависимости, соответствующие случаю однократной экспозиции, показаны на рис. 1.
Сигнал, ц.е.
Рис. 1. Расчётные зависимости величин шумов от сигнала для цифровой камеры MegaPlus II ES11000. Получены с использованием измеренных
параметров камеры
На рисунке, в частности, видно, что при сигнале около 3000 ц.е. пространственный шум сравнивается с временным и для больших сигналов будет его превышать.
Расчётные зависимости отношений сигнал/ (временной шум), сигнал/ (пространственный шум) и сигнал/ (полный шум) от сигнала (см. выражения (4), (8) и (10)) при одиночной экспозиции для данной камеры приведены на рис. 2.
На рис. 3 показаны полученные для камеры MegaPlus II ES11000 зависимости отношений сигнал/(временной шум) от сигнала для случаев: однократной экспозиции, многократной экспозиции, усреднённой по К = 9 кадрам, и однократной экспозиции с последующим пространственным усреднением по М = 9 пикселям. Зависимости для многократной и однократной с пространственным усреднением экспозиций, как и следует из выражений (12) и (16), совпадают и превышают значения зависимости для однократной экспозиции в 3 раза.
Расчётные зависимости отношений сигнал/(пространственный шум) от сигнала для случаев однократной экспозиции, многократной экспозиции (К = 9) и
Рис. 2. Расчётные зависимости отношений сигнал/шум от сигнала для цифровой камеры MegaPlus II ES11000. Получены с использованием измеренных параметров камеры
600-
°0 500 1000 1500 2000 2500 3000
Сигнал, ц.е.
Рис. 3. Расчётные зависимости отношений сигнал/(временной шум) от сигнала для случаев однократной, многократной (усреднение по 9 кадрам)
и однократной с пространственным усреднением (усреднение по 9 пикселям) экспозиций. Зависимости для многократной и однократной с пространственным усреднением экспозиций совпадают
однократной экспозиции с последующим пространственным усреднением (М = 9) приведены на рис. 4. Зависимости для случаев однократной и многократной экспозиций совпадают. Метод с пространственным усреднением даёт увеличение отношения сигнал/(пространственный шум) в 3 раза при всех значениях цифрового сигнала (см. выражение (17)).
На рис. 5 показаны полученные для камеры MegaPlus II Е811000 зависимости отношений сигнал/(полный шум) от сигнала для случаев однократной экспозиции, многократной экспозиции (усреднение по 9 кадрам) и однократной экспозиции с последующим пространственным усреднением (усреднение по 9 пикселям). Из графиков видно, что метод однократной экспозиции с последующим пространственным усреднением обеспечивает увеличение отношения сигнал/(полный шум) в 3 раза при всех значениях цифрового сигнала (см. выражение (18)). Метод многократной экспозиции (см. выражение (14)) даёт увеличение, близкое к трёхкратному, лишь при величинах сигнала, меньших 100 ц.е., т.е. примерно, на 1/40-й линейного диапазона камеры.
Рис. 4. Расчётные зависимости отношений сигнал/(пространственный шум)
от сигнала для случаев однократной, многократной (усреднение по 9 кадрам) и однократной с пространственным усреднением (усреднение по 9 пикселям) экспозиций. Зависимости для однократной и многократной
экспозиций совпадают
Рис. 5. Расчётные зависимости отношений сигнал/(полный шум) от сигнала
для случаев однократной, многократной (усреднение по 9 кадрам) и однократной с пространственным усреднением (усреднение по 9 пикселям)
экспозиций
При значении сигнала, равного 3000 ц.е., увеличение отношения сигнал/(полный шум) составляет только 1,35. Как уже отмечалось, это является следствием того, что в этом методе не обеспечивается уменьшение пространственных шумов. Поэтому при увеличении отношения (пространственный шум)/(временной шум) — — с ростом величины сигнала (см. рис. 1) падает эффект от приме-
нения метода многократной экспозиции. Количественно это поясняет показанный на рис. 6 график относительного увеличения отношения сигнал/(полный шум) при однократной экспозиции с пространственным усреднением по сравнению с многократной экспозицией в зависимости от отношения (пространственный шум)/(временной шум).
Количество усредняемых пикселей М при однократной экспозиции принято равным количеству усредняемых кадров К при многократной экспозиции. Зависимости показаны для трёх случаев М = К = 4, 9 и 16. Из кривых на графике следует, что метод многократной экспозиции имеет эффективность, близкую к
—4 пикселя 4_ —9 пикселей —16 пиксе
3.5
Относительное увеличение отношения сигнал/(полный шум)
2.5
2
1.5
10"
-1
10
10'
Отношение (пространственный шум)/(временной шум)
Рис. 6. Относительное увеличение отношения сигнал/(полный шум) при однократной с пространственным усреднением экспозиции по сравнению с многократной экспозицией в зависимости от отношения (пространственный
шум)/(временной шум)
методу однократной экспозиции с пространственным усреднением, только в случаях, когда отношение (пространственный шум)/(временной шум) не превышает 0,2 ^ 0,3. Если это отношение становится большим 2 ^ 3, то применение метода многократной экспозиции становится неэффективным.
Из проведённого анализа метода однократной экспозиции с пространственным усреднением следует, что:
— метод может увеличивать отношение сигнал/шум в число раз, равное корню квадратному из количества пикселей в области усреднения;
— по сравнению с традиционным методом многократной экспозиции данный метод обеспечивает уменьшение не только временных, но и пространственных шумов;
— метод может применяться для увеличения отношения сигнал/шум совместно с методом многократной экспозиции.
3. Экспериментальная проверка увеличения отношения сигнал/шум при однократной экспозиции с пространственным усреднением
Целью экспериментов по регистрации изображений методом однократной экспозиции с последующим пространственным усреднением являлось получение:
1) экспериментальной оценки изменения пространственного разрешения изображения при использовании метода;
2) экспериментальных оценок увеличения отношения сигнал/шум за счёт применения метода и сравнение их с расчётными оценками;
3) экспериментальной оценки влияния резкости регистрируемого изображения на увеличение отношения сигнал/шум при использовании метода.
В экспериментах использовалась монохромная цифровая камера М^аР1и8 II Е811000. Измеренные шумовые характеристики камеры приведены в предыдущем параграфе, где они были использованы для построения расчётных зависимостей отношений сигнал/шум. Изображение тестового объекта, использовавшегося для регистрации изображений методом однократной экспозиции с пространственным усреднением, приведено на рис. 7.
Рис. 7. Изображение тестового объекта, использовавшегося для экспериментальной апробации метода однократной экспозиции с пространственным усреднением
Тестовый объект представляет собой тёмный фон с шестью группами вертикальных и горизонтальных штрихов различного периода, возрастающего от группы «1x1» к группе «6 х 6» в шесть раз с шагом равным единице, а также с полутоновыми полосами с различным числом градаций серого (от 4 до 64). Изображения регистрировались при освещении лампами накаливания. Размер регистрируемых и обрабатываемых изображений объекта составлял примерно 3200 х 2600 пикселей. Времена экспозиции варьировались в диапазоне 40^ 160 мс. При этом определялось время экспозиции, обеспечивающее перекрытие большей части линейного участка сигналов камеры (от 0 до 3800 ц.е.).
Для оценки величины шумов в регистрируемом исходном изображении и получаемом из него методом пространственного усреднения съёмка производилась серией из 16 кадров с одинаковым временем экспозиции. Из каждого кадра этой серии были программно получено по три изображения, соответствующих применению к данному кадру метода пространственного усреднения с тремя различными значениями параметра М — количества усредняемых соседних пикселей, заменяемых одним пикселем со значением сигнала, равным полученному среднему. Величины параметра М составляли: 4 (усреднение по областям «2 х 2» пикселя), 9 (усреднение по областям «3 х 3» пикселя) и 16 (усреднение по областям «4 х 4» пикселя). Полученные таким образом изображения имеют количество пикселей меньше в 4, 9 и 16 раз соответственно, чем исходное изображение. Такое сокращение эквивалентно для этих изображений падению пространственного разрешения (увеличению линейного размера пикселя) в 2, 3 и 4 раза соответственно.
На рис. 8 приведены одни и те же фрагменты, содержащие самые мелкие детали тестового объекта, для исходного изображения (а) и изображений, соответствующих применению метода с пространственным усреднением по 4 (б), 9 (в) и 16 (г) соседним пикселям. Для согласования масштабов на данном рисунке фрагменты (б), (в) и (г) увеличены с использованием интерполяции в 2, 3 и 4 раза, соответственно. На рис. 8 приведены фрагменты, содержащие самые мелкие детали тестового объекта — штрихи группы «1 х 1» (см. рис. 8), для исходного изображения (а) и изображений, соответствующих применению метода с пространственным усреднением по 4 (б), 9 (в) и 16 (г) соседним пикселям. Для согласования масштабов на данном рисунке фрагменты (б), (в) и (г) увеличены с использованием интерполяции в 2, 3 и 4 раза, соответственно. Были измерены периоды штрихов на изображениях группы со значком «2 х 2» (её период превышает период группы «1 х 1» в два раза). Таким способом было получено, что периоды штрихов группы «1 х 1» составляют: на исходном изображении (а) — 8,8±0,3 пикс., на изображении (б) — 4,4 ± 0,3 пикс., на изображении (в) — 2,9 ± 0,2 пикс. и на изображении (г) — 2,2 ± 0,2 пикс. Изображения штрихов группы «1 х 1», приведённые на рис. 8,а-г, визуально неудовлетворительно разрешаются только на изображении рис. 8,г — плохо разрешаются и горизонтальные и вертикальные
штрихи. Это является следствием того, что в случае усреднения по областям 4 х 4 пикселя пространственная частота штрихов в пределах погрешности измерения близка или совпадает с частотой Найквиста. Таким образом, полученная экспериментальная оценка изменения пространственного разрешения изображения при использовании метода однократной экспозиции с пространственным усреднением для повышения отношения сигнал/шум согласуется с теоретической.
вг
Рис. 8. Фрагменты изображения (рис. 7) с группой штрихов наименьшего периода 1 х 1: а) — исходного; полученных заменой на один пиксель областей размером 2 х 2 пикселя (б), 3 х 3 пикселя (в) и 4 х 4 пикселя (г). На рисунке фрагменты б), в) и г) увеличены в 2, 3 и 4 раза соответственно
Затем были получены экспериментальные зависимости временных (суммы тем-новых и световых) шумов от величины цифрового сигнала камеры для исходного изображения тестового объекта (см. рис. 7) и изображений, зарегистрированных методом однократной экспозиции с пространственным усреднением с тремя различными значениями параметра М, равными 4, 9 и 16. Каждая из четырёх зависимостей была определена в результате обработки серии из 16 кадров по методике, описанной в [10]. Измеренные зависимости временного шума от сигнала камеры для исходного изображения (обозначено как «1 х 1») и изображения, полученного из него в результате применения метода с пространственным усреднением при М = 16 (обозначено как «4 х 4»), приведены на рис. 9.
На графиках приведены величины шумов, полученные дополнительным усреднением по 20 ближайшим значениям сигнала камеры. Зависимость для исходного изображения, полученного однократной экспозицией, хорошо согласуется с тео-
( 2 \1/2
ретической корневой зависимостью ^ = ( (о^) + к ■ 5) (см. выражение (3))
при подстановке в неё ранее измеренных [9,10] для камеры MegaPlus II Е811000 значений ааь = 2,0 ± 0,4 ц.е. и к = 0,085 ± 0,001 ц.е./электрон. Зависимость для изображения, полученного в результате применения метода с пространственным усреднением при М = 16 теоретически должна отличаться от зависимости для
1 /2
исходного изображения лишь постоянным множителем 1/(М)1/2 = 0,25 ( см. выражение (15)). Однако на графике это выполняется лишь для значений сигналов камеры, не превышающих примерно 700 ц.е. Для больших сигналов величины шумов несколько превышают расчётные значения и не следуют корневой зависимости. Аналогичный характер отклонений от расчётной зависимости наблюдается и для изображений, полученных методом с пространственным усреднением со значениями М, равными 4 и 9. Эти отклонения наиболее отчётливо проявляются на графиках, показанных на рис. 10.
16,0 14,0
Э 12,0
о. в
"1Г
^ Врем энной шум для 1x1
с1 Врем 5ННОЙ шум ДЛЯ 4x4
1450 1950
Сигнал, ц.е.
Рис. 9. Зависимости временного шума от сигнала для исходного изображения («1 х 1») и изображения, полученного из него пространственным усреднением при М =16 («4 х 4»). Получено для изображения тестового объекта (см. рис. 7)
Ш у.
■■■'■"■■-............ ^ % О ачръ. о 0сР0
"¿хъ^Ь. -е-1 о
- к к зменение отно зменение отно шения сигнал/ шения сигнал/ иум для 2x2 и ум для 3x3
о к —с .....с —с зменение отно редний уровен редний уровен редний уровен шения сигнал/ > изменения д; ь изменения д; а изменения д; иум для 4x4 1Я 2x2 1Я 3x3 1Я 4x4
450 950 1450 1950 2450 2950
Сигнал, ц.е.
Рис. 10. Относительное изменение отношения сигнал/(временной шум), за счёт применения пространственным усреднением при М = 4 («2 х 2»), М = 9 («3 х 3») и М = 16 («4 х 4»). Получено для изображения тестового объекта
(см. рис. 7)
На рис. 10 приведены зависимости от величины сигнала камеры для относительного изменения отношения сигнал/(временной шум), получаемого за счёт применения метода однократной экспозиции с пространственным усреднением. Относительное изменение отношения сигнал/(временной шум) равно результату деления отношения сигнал/(временной шум), получаемого при использовании метода с пространственным усреднением, на отношение сигнал/(временной шум), получаемое при однократной экспозиции. При каждом значении сигнала камеры относительное изменение отношения сигнал/(временной шум) совпадает с отношением величины временного шума при однократной экспозиции к величине временного шума при использовании метода с пространственным усреднением. На рис. 10 показаны зависимости относительного изменения отношения сигнал/(временной шум) для случаев применения метода однократной экспозиции с пространственным усреднением при трёх значениях параметра М: М = 4 («2 х 2»), М = 9 («3 х 3») и М = 16 («4 х 4»). Как и ранее, на графиках приведены
величины, полученные дополнительным усреднением по 20 ближайшим значениям сигнала камеры. Для каждого значения параметра М на графиках в виде горизонтальных линий также показаны величины относительного изменения отношения сигнал/(временной шум), полученные усреднением по всем значениям сигнала камеры.
Из полученных расчётных оценок (см. выражение (18)) следует, что относительное изменение отношения сигнал/(временной шум) должно равняться М1/2 и не зависеть от величины сигнала камеры. На графиках видно, что средние значения меньше расчётных и имеются отклонения от средних значений при различных значениях сигнала камеры. Причём, чем больше размер области усредняемых пикселей, тем больше отличие экспериментальных средних значений от расчётных в сторону уменьшения и тем сильнее разброс относительно средних. Так, например, для М = 16 экспериментальное среднее значение равно 3,0 при расчётном значении 4, а относительное среднеквадратическое отклонение (СКО) достигает 0,17.
Как указывалось при выводе расчётных оценок увеличения отношений сигнал/шум для метода однократной экспозиции с пространственным усреднением (см. выражения (16)-(18)), они являются предельными (максимальными). Отмечалось, что реальные значения могут быть ниже, например, при нарушении сформулированного условия 1. Данное условие предполагает, что размер наиболее мелких деталей на исходном изображении в два раза больше размера области усреднения. В этом случае можно считать, что большинство пикселей внутри области усреднения имеют одинаковые не только темновые, но и световые шумы. Для использованного в экспериментах резкого изображения тестового объекта (см. рис. 7) размер наиболее мелких деталей (ширина штрихов группы «1 х 1») составлял примерно 4,4 пикс, т.е. условие 1 было выполнено только для случая М = 4 («2 х 2»). Поэтому для этого случая экспериментальное среднее значение относительного увеличения отношения сигнал/(временной шум) 1,8 ± 0,1 наиболее близко к расчётному максимальному, равному 2.
С целью проверки необходимости выполнения условия 1 для достижения максимального увеличения отношения сигнал/шум методом однократной экспозиции с пространственным усреднением были выполнены контрольные эксперименты. В этих экспериментах вместо резкого изображения тестового объекта (рис. 7) использовалось его нерезкое изображение. Радиус размытия точки для него составляет примерно 28 пикселей, что, как показывает сравнение изображений штрихов группы «1 х 1» на этих снимках, привело к увеличению размеров самых мелких деталей примерно в 3 раза. Таким образом, можно считать, что на нерезком изображении условие 1 выполнено для всех используемых в экспериментах значений параметра М, равных 4, 9 и 16.
Полученные зависимости временного шума от сигнала камеры для исходного нерезкого изображения (обозначено как «1 х 1») и изображения, полученного из него в результате применения метода однократной экспозиции с пространственным усреднением при М =16 (обозначено как «4 х 4»), приведены на рис. 11. На графиках, как и ранее, приведены величины шумов, полученные дополнительным усреднением по 20 ближайшим значениям сигнала камеры. Сравнение зависимостей временных шумов для исходных нерезкого и резкого (см. рис. 9) изображений показывает, что они, как и следовало ожидать, практически совпадают. Зависимость для изображения, полученного из нерезкого методом однократной экспозиции с пространственным усреднением при М = 16, существенно отличается от случая исходного резкого изображения (см. рис. 9). Теперь она близка к теоретически ожидаемой — имеет характер корневой зависимости и примерно в четыре раза меньшие шумы, чем исходное изображение.
На рис. 12 показаны зависимости относительного изменения отношения сиг-нал/(временной шум) от величины сигнала камеры для случаев применения метода однократной экспозиции с пространственным усреднением к нерезкому изображению тестового объекта. Значения параметра М и обозначения на графиках
Рис. 11. Зависимости временного шума от сигнала для исходного изображения («1 х 1») и изображения, полученного из него пространственным усреднением при М =16 («4 х 4»). Получено для нерезкого изображения тестового объекта
те же, что и на графиках рис. 10, полученных для резкого изображения тестового объекта.
Я 4,5
2,5 2,0
........ ..........................
Л Из Из С Из —Ср .....Ср -Ср ленение отнош ленение отнош иенение отнош ?дний уровень гдний уровень здний уровень ения сигнал/ш ения сигнал/ш ения сигнал/ш изменения для изменения для изменения для гм для 2x2 гм для 3x3 гм для 4x4 2x2 3x3 4x4
1450 1950
Сигнал, ц.е.
Рис. 12. Относительное изменение отношения сигнал/(временной шум), за счёт применения пространственного усреднения при М = 4 («2 х 2»), М = 9 («3 х 3») и М = 16 («4 х 4»). Получено для нерезкого изображения тестового
объекта
Из вида зависимостей на рис. 12 следует, что относительное изменение отношения сигнал/(временной шум) практически не зависит от величины сигнала камеры (наибольшее относительное СКО составило 0,013 при М = 16). Это согласуется с теоретическими предпосылками. Все полученные экспериментально значения увеличения отношений сигнал/(временной шум) методом однократной экспозиции с пространственным усреднением отличаются от расчётных оценок максимального увеличения не более, чем на 4%. В то же время для резкого изображения, когда условие 1 не выполнялось, отличие достигало 25% в сторону уменьшения. Это экспериментально подтверждает состоятельность данного условия и необходимость его выполнения для наибольшего увеличения отношения сигнал/шум методом однократной экспозиции с последующим пространственным усреднением.
4. Заключение
Проведён анализ метода однократной экспозиции с последующим пространственным усреднением для повышения отношения сигнал/шум при регистрации изображений. Достоинством метода с пространственным усреднением является возможность увеличения отношения сигнал/шум при однократной регистрации изображения, что важно для быстропротекающих процессов. Недостатком метода является снижение общего количества пикселей в получаемом изображении, что может быть преодолено использованием фотоприёмников с большим количеством пикселей.
Метод с пространственным усреднением позволяет увеличивать отношение сигнал/шум в число раз, равное корню квадратному из количества пикселей в области усреднения. Показано, что данный метод снижает, в отличие от метода многократной экспозиции, не только временные, но и пространственные шумы. Оценено, что метод с пространственным усреднением даёт большее увеличение отношения сигнал/шум при отношениях (пространственный шум)/(временной шум), превышающих 0,2 ^ 0,3.
Полученные экспериментальные результаты согласуются с расчётными оценками изменения пространственного разрешения изображения и достижимого увеличения отношения сигнал/шум. Экспериментально подтверждено сформулированное условие на соотношение между размерами деталей изображения и областей усреднения пикселей, необходимое для получения максимального увеличения отношения сигнал/шум. Методом с пространственным усреднением экспериментально получены увеличения отношений сигнал/(временной шум), отличающиеся от максимальных расчётных значений не более, чем на 4%.
Совместное применение методов пространственного усреднения и многократной экспозиции для повышения отношения сигнал/шум может позволить гибко сочетать требования к скорости регистрации изображений и количеству пикселей в изображениях.
Работа выполнена при поддержке ФЦП «Научные и научно-педагогические кадры инновационной России» на 2009-2013 гг.
Работа выполнена при поддержке Федеральной целевой программы «Научные и научно-педагогические кадры инновационной России» на 2009-2013 гг.
Литература
1. Janesick J. Scientific Charge-Coupled Devices. — Washington: SPIE Press, Bellingham, 2000.
2. El Gamal A., Eltoukhy H. CMOS Image Sensors // IEEE Circuits and Devices Magazine. — 2005. — Vol. 21, No 3. — Pp. 6-20.
3. Nakamura J. Image Sensors and Signal Processing for Digital Still Cameras. — Boca Raton, FL: CRC Press, 2006.
4. Fukuda M. Optical Semiconductor Devices. — New York: John Wiley & Sons Inc., 2003.
5. Hytti H. T. Characterization of Digital Image Noise Properties Based on Raw Data // Proc. SPIE. — Vol. 6059. — 2006. — P. 60590A.
6. A Model for Measurement of Noise in CCD Digital-Video Cameras / K. Irie, A. E. McKinnon, K. Unsworth, I. M. Woodhead // Meas. Sci. Technol. — 2008. — Vol. 19. — P. 045207.
7. EMVA Standard 1288, Standard for Characterization of Image Sensors and Cameras. — 2010. — http://www.emva.org/cms/upload/Standards/Stadard\ _1288/EMVA1288-3.0.pdf.
8. Fridrich J. Digital Image Forensic Using Sensor Noise // IEEE Signal Processing Magazine. — 2009. — Vol. 26, No 2. — Pp. 26-37.
9. Исследование характеристик матричных фоторегистраторов для записи цифровых голограмм / Э. А. Маныкин, С. Н. Стариков, В. Г. Родин и др. // Сборник трудов 7 Международной конференции «ГОЛОЭКСПО — 2010». — М.,
2010. — C. 306-310. [Issledovanie kharakteristik matrichnihkh fotoregistratorov dlya zapisi cifrovihkh gologramm / Eh. A. Manihkin, S. N. Starikov, V. G. Rodin u gp. // Sbornik trudov 7 Mezhdunarodnoyj konferencii «GOLOEhKSPO — 2010». — M., 2010. — S. 306-310. ] 10. Measurement of Noises and Modulation Transfer Function of Cameras Used in Optical-Digital Correlators / N. N. Evtikhiev, S. N. Starikov, P. A. Cheryomkhin, V. V. Krasnov // Proc. SPIE. — Vol. 8301. — 2012. — P. 830113.
UDC 535.4
Signal-to-Noise Ratio Enhancement by Spatial Averaging at
Image Registration
N. N. Evtikhiev, V. V. Krasnov, V. G. Rodin, I. V. Solyakin, S. N. Starikov, P. A. Cheryomkhin, E. A. Shapkarina
Department of Laser Physics National Research Nuclear University "MEPhI" 31, Kashirskoe Shosse, Moscow, Russia, 115409
Estimations of temporal and spatial noises and signal-to-noise ratios for image registration method of single exposure with spatial averaging were performed. Two necessary conditions for achievement of the maximum increase of signal-to-noise ratio were defined. The obtained experimental results confirm theoretical estimations of changing spatial resolution and achievable increase of signal-to-noise ratio in registered images. Joint usage for increase of signal-to-noise ratio of the considered method of single exposure with spatial averaging and the method of multiple exposure will allow to flexibly combine requirements to the speed of image registration and to the quantity of resolvable elements in image.
Key words and phrases: image registration, signal-to-noise ratio, spatial averaging, temporal and spatial noises, single exposure, multiple exposure.
