CC BY
19
АНАЛИЗ ВОЗДЕЙСТВИЯ ОПТИЧЕСКОГО ТРАКТА СИСТЕМЫ НА ХАРАКТЕРИСТИКИ СИГНАЛОВ ИЗОБРАЖЕНИЙ, ФОРМИРУЕМЫХ С ПОМОЩЬЮ ОДНОМАТРИЧНЫХ ПРЕОБРДЗОВАТЕЛЕЙ СВЕТ-СИГНАЛ
Романов Сергей Геннадьевич,
н.с. НИО-11 НИЧ , Московский технический университет связи и информатики, Москва, Россия, safit87@inbox.ru
Поташников Алексей Михайлович,
н.с. НИО-11 НИЧ , Московский технический университет связи и информатики, Москва, Россия, nickmikh@gmail.com
На сегодняшний день наиболее распространенными и наряду с тем наиболее дешевыми, достаточно качественными, простыми в использовании и эффективными устройствами формирования сигналов изображений, являются устройства, построенные с использованием одноматричных преобразователей свет-сигнал. Для таких устройств создаются все новые и более совершенные алгоритмы демозаикизации, коррекции, и постобработки, учитывающие многие технические и физические особенности структуры используемых в них преобразователей. Однако такие алгоритмы и методы не могут быть совершенными, пока помимо специфики обработки цифровых сигналов в них не будут учитываться так же особенности преобразований светового потока, проводимые в оптическом тракте системы, находящемся непосредственно между экспонируемым изображением и считывающим элементом устройства. Такой тракт можно в общем случае представить трех последовательно воздействующих на сигнал элементов: оптической системы, антиалайсингового фильтра, структуры дискретизации и считывающего элемента. Данная статья посвящена анализу специфики изменений пространственного спектра светового потока, проходящего через оптический тракт, состоящий из объектива и антиалайсингового фильтра. После этого рассматриваются основные методы построения антиалай-синговых фильтров, а, так же, выводится формула их расчета. Приводится методика расчета и подбора объектива, в зависимости от характеристик датчиков сигналов изображений, а, так же, методика построения антиалайсинговых фильтров, оптимально сочетающихся с выбранным объективом. Исследуется воздействие формы считывающего элемента матрицы на параметры регистрируемых ими изображений. После отдельного анализа каждого элемента системы приводится формула итогового совокупного воздействия их на сигнал изображения и его спектральные характеристики. Приведенные в данной статье математические модели воздействия данных элементов на сигналы изображений, позволят синтезировать более точные и устойчивые алгоритмы и методы обработки и коррекции сигналов изображений, а, так же, проводить более приближенное к реальным условиям моделирование работы систем на стадии их проектирования и прототипирования.
Для цитирования:
Романов С.Г., Поташников А.М. Анализ воздействия оптического тракта системы на характеристики сигналов изображений,
формируемых с помощью одноматричных преобразователей свет-сигнал // T-Comm: Телекоммуникации и транспорт. 2016. Том 10. №12. С. 37-42.
For citation:
Romanov S.G., Potashnikov A.M. Analysis of optical system influence on digital images characteristics recieved by single-matrix sensors. T-Comm. 2016. Vol. 10. No.12, pр. 37-42. (in Russian)
Ключевые слова: моделирование, оптический тракт, анти-алайсинговый фильтр, матрица, считывающий элемент.
Наибольшее влияние на качество цифрового изображения систем формирования сигналов изображений, построе-им с использованием одноматричных преобразователей свет-сигнал, оказывают используемые в них датчики сигналов изображений (ДСИ) []]. От характеристик ДСИ зависят основные технические параметры системы, такие как: разрешение изображения, чувствительность, цветовой охват, разрешающая способность и размер элемента считывания. Возможность использования всего потенциала ДСИ зависит от используемых в оптическом тракте {ОТ) системы компонентов. Поскольку в любой современной системе наряду с обычной оцифровкой производятся также коррекция [10], шумоподавление и восстановление сигнала полученного изображения, становится абсолютно необходимым производить точный анализ воздействий ОТ на результирующий сигнал. Во-первых, это позволит улучшить цифровую постобработку изображений, а во-вторых найти недочеты в этих самых звеньях ОТ и впоследствии, устранив их, улучшить общие характеристики системы. Рассмотрим более подробно воздействие ОТ на пространственные спектры детектируемых сигналов.
В современных ОТ применяются объективы, состоящие из мпоголипзовых сборок, содержащих до нескольких десятков линз и обеспечивающие высокую точность передачи цвета и фокусировки изображений, а также малое ослабление светового потока. Наряду с объективами все чаще производители внедряют в свои устройства антиалайсипговые фильтры (ААФ), обеспечивающие подавление верхних пространственных частот, что позволяет избежать такого негативного эффекта, как муаровые искажения. Третьим аспектом, не имеющим отношения к ОТ, рассматриваемым в данной работе, и так же оказывающим воздействие на пространственный спектр сигнала, является размер считывающего элемента. Схематическое отображение каждого из звеньев, а также их влияние на регистрируемый сигнал, представлено на рис. 1.
В общем случае построение устройства регистрации сигналов изображений начинается с создания матрицы считывающих элементов. Возьмем за основу для расчета наиболее распространенный вид матриц с физическими размерами 2/3 дюйма, что составляет 8,8 мм в ширину и 6,6 мм в высоту. Поскольку число элементов по горизонтали в ТВЧ составляет 1920, то пространственная частота дискретизации сигнала будет составлять 960/8,8/2 = 54 периодов/мм.
Ввиду квадратной формы каждого отдельного считывающего элемента матрицы, воздействие па спектр сигнала будет происходить даже без применения ОС или ААФ. Вследствие интегрирования оптического воздействия в пространстве элемента [9], и определенного распределения чувствительности по его поверхности, которое в современных ПЗС и КМОП-матрицах является практически равномерным |6], воздействие считывающего элемента можно записать с помощью функции гес1(х) (1), которая в двумерном пространстве будет иметь вид:
Г Л
2х
d (х, У) = rect I —— I А
rect
В
= rect
2х
rect
by\
(1)
| /
где А = ахь В = Ьхг, а а и Ь - относительные размеры светочувствительного элемента по горизонтали и вертикали, а X] и у2| — периоды повторения элементов в пространстве.
Спектральная плотность в области пространственных частот такого элемента может быть выражена следующим выражением (2):
' (2)
D fw .wj = a-b- х. у. ■ sine
у' I -I
Данная формула описывает влияние размера и формы каждого светочувствительного элемента на спектр пространственных частот регистрируемого сигнала. В современных матрицах для экспонирования светового потока, используется практически вся поверхность кристалла [6], таким образом, значения а и Ь принимаются равными I. График нормированной для описанной выше матрицы и частоты следования элементов в сигнале высокой четкости функции спектральной плотности представлен па рис. 3.
Для неискаженного отображения снимаемых объектов и устранения эффекта наложения спектра из-за дискретизации, необходимо, чтобы ослабление сигнала, при частоте равной или большей половине частоты дискретизации (54 периода/мм) было не меньше 10 дБ (10% от максимального уровня). Но функция спектральной плотности считывающего элемента на нормированной частоте 0,5 имеет значение 0,405. Это означает, что довольно большая энергетика высоких частот будет переходить при проведении дискретизации в НЧ область. Помимо основного лепестка, в его частотной характеристике имеются выбросы побочных лепестков на частотах кратных частоте дискретизации сигнала, что так же будет негативно сказываться на точности детектируемого сигнала. Таким образом, очевидна необходимость проведения коррекции спектральных характеристик устройства. В некоторых малобюджетных устройствах среднего и низкого качества, производители довольствуются фильтрующими свойствами ОС, но для достижения действительно высоких показателей сигнал-шум и достоверности изображения, необходимо использовать и ААФ.
ОС
А
ААФ МСФ Матрица
м
«О 2Lb<t-af)
1ЩЩ-
Рис. 1. воздействие ОС, ААФ и структуры дискретизации на формируемый сигнал
150
ж 1UU
л ь о т 41
I J3 ^ 30
CD X 20
10
>■ zr 7
5
1 5 10 20 50 100 200
Пространственная частота (периодов/мм)
Рис. 2. ЧКХ объектива FUJ1COLOR PRO 160С PROFESSIONAL [PRO 160CJ
T-Comm Том 10. #12-2016
7Тл
У
T■Comm Vol.l0. #12-2016
В примере, приведенном в [3], линзы имеют форму равнобедренного треугольника или усеченной пирамиды. В зависимости от того, какая доля сигнала с соседних в пространстве пикселей будет попадать па обрабатываемый пиксель, будут меняться фильтрующие свойства ААФ. В простейшем случаем можно распределить пропускную способность всех элементов ААФ поровну. Но независимо от распределения пропускной способности, спектральная плотность в области пространственных частот такого фильтра будет описывается уравнением 4, для случая фильтра, выполненного в форме усеченной пирамиды:
К (w ) = ап + 2а, cosfw ) (4)
íiaf 1 X 0 1 v ч '
где а(1 - коэффициент ослабления светового потока при прохождении через центр призмы, a a¡- коэффициент ослабления светового потока двух при прохождении через грани призмы. В случае добавлении в фильтр дополнительной идентичной ортогональной структуры, уравнение (5) примет вид:
i(wx'wr) = К +2и] cos(wч>)' ("о + la\ cosíwу)) <5) При этом возможно использовать не один, а несколько слоев дифракционных решеток или призм. Так, например, для двух идентичных слоев, ЧКХ будет иметь вид:
K«ffi (,vv >wv) = ( «(i + of+ 4a(,«i ™s( wr) + 2a; cos( 2 w )) x x{í7¡; +a¡ +4c/„cit oos(vf1,) + 2e^ cos(2iv,))
(6)
KagÁwx > Wy) = (ao + + 4aoai cos( wv) + 2a,2 cos(2wj) x ' % )' K„,(k>vI , wrl) ■ De(wxX, ) - Aai/
(7)
(^(0.5,2) KJ0.5,0) Д(0.5,1) = 0.1 [a„ + 2a, = 1
f ü^ (0,0,5) K№ (0,0.5) ед 0.5) = 0.1
U+2q,=l
(8)
В результате решения данных уравнений мы получим значения а„= 0,802 и а| = 0,099. Построенная по формуле (6), с полученными в результате решения систем уравнений (8) значениями а| и а0, функция распределения спектральной плотности ААФ будет иметь вид, показанный на рисунке 6, а, также, на рис. 7 представлен график разности распределения спектральной плотности сигнала до прохождения ААФ, и после. Можно отметить, что использование такого фильтра приводит к уменьшению передающей способности системы не только на частотах выше частоты дискретизации, но н меньших, что негативно сказывается на характеристиках результирующего сигнала. Для коррекции искажений вносимых ОС и ААФ в области полезных частот, применяется апертуриая коррекция [5], которая восстанавливает спектральную характеристику в области полезных частот, что позволяет уменьшить негативное влияние применения ААФ.
. AAF
\ AAF А
а) двумерная
-1 о i wijwy) г б) одномерная
С учетом характеристики ОС, считывающего элемента, полученной для ААФ формулы и указанного условия, при известных других параметрах системы, с помощью изменения коэффициентов пропускания a(J и Э| ААФ, можно корректировать спектральные характеристики исследуемой системы, оптимизируя их для отдельного случая совокупности матрицы и ОС. Можно рассчитать параметры необходимого нам ААФ для предложенного выше IICC, решив уравнение
Рис. 6. ЧКХ АА-фильтра при заданием значении ослабления сигнала
Итоговое распределение спектральной плотности для матрицы с приведенными выше характеристиками, а также для подобранной ОС и рассчитанного ААФ, можно вычислить по выражению, включающему в себя вес три вышеописанных воздействия (ИП8крр)];Г„(;)): воздействие оптической системы, воздействие ААФ и воздействие формы пикселя. Это выражение будет иметь вид:
Для современных материалов, суммарный коэффициент пропускания светового потока центральной и двумя боковыми гранями призмы стремится к a(J+2ai=l. Характеристики Dl. и Кос нам заранее известны. Таким образом, уравнение необходимо будет решить относительно только одной переменной - либо а<], либо aj. Определяющим условием для решения этого уравнения является то, что ослабление должно быть -10 дБ (или 0.1 от нормированного уровня) в ортогональных направлениях, а это значит, что /4ичД0,0.5) = - Л,м/(0.5,0) = 0,1. Ввиду вышесказанного, для нахождения значений ослабления секторов нризм в ААФ необходимо решить одну из следующих, равнозначных в случае изотропного фильтра, систем уравнений:
Двумерный и одномерный графики итогового пространственного спектра воздействия ОС, ААФ и считывающего элемента, представлены па рис. 8. В результирующем графике нет преобладания какого-либо из звеньев ОТ, по удалось исключить выбросы, присутствовавшие в спектральной плотности считывающего элемента, и добиться необходимого ослабления для ВЧ составляющих сигнала.
Кд - К:, * К : _
Кос-Кос* К aaf2
• / \ ниащ»-
а) двумерная
б)одномерная
Рис. 7. Разности распределения спектральной плотности сигнала без использования ААФ и с использованием
T-Comm Том 10. #12-2016
RES,ppF
RESsppf
C.J Wp,<W*J J
Рис. 8. Итоговым пространственный спектр воздействии ОС, ААФ н считывающего элемента
Для любого типа ДСИ и существующих объективов можно построить п рассчитать свою модель воздействия па итоговый спектр сигнала. Затем, используя полученную модель воздействия совокупности ОТ и ДТИ на пространственный спектр сигнала, можно применяя различные методы коррекции сигнала изображения, добиваться оптимальных параметров работы системы для поставленных перед ней задач, или же добиваться необходимой стабильности работы всей системы при различных условиях. Можно дополнить предложенный метод анализа характеристик сигналов, внесением в него дополнительного звена - структуры массивов светофильтров 17, И], что позволит рассчитывать характеристики устройства не только монохромного сигнала, но и для сигнала, разложенного па определенное число цветовых составляющих.
Литература
I. Берез и и В. В.. Умой m ал пев A.A., Фахми III.С.. Цыцулин Л. К.. Ш нпилов H.H.; Под ред. A.A. Умбиталиева и А. К. Цыцулин а «Твердотельная революция в телевидении: Телевизионные системы на основе приборов с зарядовой связью, систем на кри-
сталле и видеосистем на кристалле». М.: Радио и связь, 2006. 300 с. ISBN 5-256-01814-0
2. Michael Schoberl, Wolfgang Shrarret: Alexander Oberdorster, "Dimensioning of optical birefringent anti-alias filters for digital cameras'7, Proceedings of 2010 IEEE 17th International Confcrcnce on Image Processing, September 2010. Pp. 4305-4308.
3. Hiroaki Okayama, Hirakata; Sy us like О no. Takatsuki. U.S. Pat. № 5,373,322 "Wavelength selective phase grating optical low-pass filter" Appl. № 690,696 Apr. 24, 1991.
4. Fuji film Imaging Information «Professional Data guide» Fuji Photo Film Co. LTD, Tokyo 106-8620, Japan.
5. Самойлов В.Ф.. Хромой Б.П. Основы цветного телевидения. М,: Радио и связь, 1982. 160 с.
6. S. Jwabuchi, et al."A back-illuminated high-sensitivity small-pixel color CMOS image sensor with flexible layout of metal wiring," 1SSCC Dig. Tech, pp. 302-303, February 2006.
7. Lukac. R.. K.N. Plataniotis, "Color Flter arrays: design and performance analysis," IEEE Trans, on Consumer Electronics, vol. 51, no. 4, pp. 1260-1267,2005.
8. Brian W. Keelan, Handbook of Image Quality Characterization and Prediction, Marcel Dekker, 2002.
9. Власюк И.В.. Балобанов А.В., Басекеев А.А. Анализ иространственно-частогных характеристик распределения светочувствительных элементов в пределах растра матрицы ПЗС // Метрология и измерительная техника в связи. 2006. № 3. С.36-40.
10. Власюк И.В., Балобанов А.В., Комаров П.Ю. Коррекция пространственных искажений сигнала изображения в системах цифрового телевидения // Инфокоммуникационные технологии, 2006. №4. С. 69-73.
11. Романов С. Г., Роташников A.M. Анализ структур дискретизации массивов светофильтров в современных одноматричных преобразователях свет-сигнал. Перспективные технологии в средствах передачи информации: Материалы 11-оЙ международной научно-технической конференции. Влади м. Гос. Университет; редкол.: А.Г. Самойлов (и др). Владимир: ВлЕУ. 2015. С. 133-136. ISBN 978-5-905527-10-4,
T-Comm Vol.10. #12-2016
7Тл
ANALYSIS OF OPTICAL SYSTEM INFLUENCE ON DIGITAL IMAGES CHARACTERISTICS
RECIEVED BY SINGLE-MATRIX SENSORS
Sergey G. Romanov, researcher, MTUCI, Moscow, Russia, afit87@inbox.ru Alexey M. Potashnikov, researcher, MTUCI, Moscow, Russia, nickmikh@gmail.com
Abstract
Devices with single-sensor light-signal convertors are most wide spread being cheaper, high quality, simple in use and effective signal formation devices at the moment. New more and more effective demosaicing, correction and afterpro-cessing algirithms considering many technical and physical features of used convertors are designed for such devices. Still these methids and algorithms can't be perfect while as well as digital signal processing parameters they do not consider transforms of light flux, held in optical system located right between projected image and image sensor element. The article focuses on light flux spatial spectrum transforms in optical system consisting of lens and anti aliasing filter. A method of lens design and choise depending on image signal sensors parameters and method of anti aliasing filter design optimized for these lens are provides for this purpose. Resulting mathematical models of these elements' impact on image signal can be used for synthesis more accurate and stable algoorithms and methods of image signal processing as well as to model system operation with more close to real conditions on the design and prototype stages.
Keywords: single-matrix, optical system, model, anti-allias filters, sensors. References
1. Berezin V.V., Umbitaliev A.A., Fahmi Sh.S., Ciculin A.K., Shipilov N.N. Pod red. A.A. Umbitalieva i A.K. Ciculina "Tverdotelnaya revolyu-ciya v televidenii - Televizionnie sistemi na osnove priborov s zaryadovoi svyazyu - sistem na kristalle i videosistem na kristalle". M.: Radio i svyaz, 2006. 300 p. (in Russian)
2. Michael Schoberl, Wolfgang Shrurrer, Alexander Oberdorster, "Dimensioning of optical birefringent anti-alias filters for digital cameras". Proceedings of 2010 IEEE 17th International Conference on Image Processing, September 2010. Pp. 4305-4308.
3. Hiroaki Okayama, Hirakata; Syusuke Ono, Takatsuki. U.S. Pat. № 5,373,322 "Wavelength selective phase grating optical low-pass filter" Appl. No. 690,696 Apr. 24, 1991.
4. Fujifilm Imaging Information "Professional Data guide" Fuji Photo Film Co. LTD. Tokyo 106-8620, Japan.
5. Samoilov V.F., Hromoi B.P. Osnovi cvetnogo televideniya.M. Radio i svyaz, 1982. 160 p. (in Russian)
6. S. Iwabuchi, et al. "A back-illuminated high-sensitivity small-pixel color CMOS image sensor with flexible layout of metal wiring," ISSCC Dig. Tech, pp. 302-303, February 2006.
7. Lukac, R., K.N. Plataniotis, "Color Flter arrays: design and performance analysis," IEEE Trans. on Consumer Electronics. Vol. 51. No. 4. Pp. 1260-1267, 2005.
8. Brian W. Keelan, Handbook of Image Quality Characterization and Prediction, Marcel Dekker, 2002.
9. Vlasyuk I.V., Balobanov A.V., Basekeev A.A. Analiz prostranstvenno-chastotnih harakteristik raspredeleniya svetochuvstvitelnih elemen-tov v predelah rastra matrici PZS / Metrologiya i izmeritelnaya tehnika v svyazi. 2006. No. 3. Pp. 36-40. (in Russian)
10. Vlasyuk I.V., Balobanov A.V., Komarov P.Yu. Korrekciya prostranstvennih iskajenii signala izobrajeniya v sistemah cifrovogo televideniya. / Infokommunikacionnie tehnologii. 2006. No. 4. Pp. 69-73. (in Russian)
11. Romanov S.G., Rotashnikov A.M. Analiz struktur diskretizacii massivov svetofiltrov v sovremennih odnomatrichnih preobrazovatelyah svet-signal. Perspektivnie tehnologii v sredstvah peredachi informacii. Materiali 11 mejdunarodnoi nauchno-tehnicheskoi konferencii. Vladim. Gos. Universitet; redkol.: A.G. Samoilov i dr,. Vladimir VlGU. 2015. ISBN 978-5-905527-10-4. Pp. 133-136. (in Russian)
