CC BY
22
Системы управления,связи и безопасности №1. 2018
Systems of Control, Communication and Security sccs.intelgr.com
УДК 621.396.96
Метод уточнения погрешностей взаимных смещений матриц фоточувствительных элементов
Артюшкин А. Б., Дуников А. С., Куксенко М. А.
Постановка задачи: стремление повысить разрешающую способность электронных фото и видеосистем наталкивается на ограничения, связанные со значительным усложнением процесса их производства, а, следовательно, - ростом затрат. Метод субпиксельного сканирования позволяет увеличивать разрешающую способность таких систем за счет наращивания количества используемых матриц фоточувствительных элементов стандартного разрешения Недостатком метода является чувствительность к погрешностям величины взаимного смещения матриц, приводящая к искажению синтезируемых изображений. Целью работы является снижение влияния ошибок смещения на качество работы аппаратуры. Предлагается выполнять предварительное определение таких ошибок, для того, чтобы учитывать их в дальнейших расчетах, выполняемых по методу субпиксельного сканирования. Используемые методы: решение задачи уточнения взаимного попарного расположения матриц электронно-оптической системы, основанное на формированием с помощью маски на их поверхности освещенных и затененных областей, с дальнейшим решением систем уравнений, описывающих взаимное смещение чувствительных элементов и использующих в качестве коэффициентов величины их выходных сигналов. Новизна: элементами новизны представленной работы являются использование маски для формирования величин выходных сигналов чувствительных элементов, пропорциональных уровню их освещенности, уравнения, связывающие взаимное положение маски и чувствительных элементов, а также алгоритм выбора варианта системы уравнений для конкретной группы чувствительных элементов. Результат: использование представленного метода позволит учитывать наличие ошибок взаимного смещения матриц чувствительных элементов и, тем самым, значительно снижать их влияние на качество изображения, синтезируемого с помощью метода субпиксельного сканирования. Практическая значимость: использование представленного решения при производстве фото и видеосистем позволит значительно повысить их разрешающую способность, что позволит боле полно реализовать возможности таких систем, а также значительно расширит круг выполняемых ими задач.
Ключевые слова: фоточувствительный элемент, субпиксельное сканирование, разрешение изображения, электронно-оптическая система.
Актуальность
На каждом очередном этапе развития фото- и видеоустройств возникает ситуация, когда разрешающая способность аппаратуры ограничивается недостаточно развитыми технологиями изготовления матриц фоточувствительных элементов (МФЧМ), не позволяющими производить изделия с требуемыми
Библиографическая ссылка на статью:
Артюшкин А. Б., Дуников А. С., Куксенко М. А. Метод уточнения погрешностей взаимных смещений матриц фоточувствительных элементов // Системы управления, связи и безопасности. 2018. № 1. С. 156-167. URL: http://sccs.intelgr.com/archive/2018-01/08-Artjushkin.pdf Reference for citation:
Artjushkin A. B., Dunikov S. D., Kuksenko M. A. Method of reducing impact of errors of mutual photomatrix displacement on image quality. Systems of Control, Communication and Security, 2018, no. 1, pp. 156-167. Available at: http://sccs.intelgr.com/archive/2018-01/08-Artjushkin.pdf (in Russian).
Системы управления,связи и безопасности №1. 2018
Systems of Control, Communication and Security sccs.intelgr.com
размерами фоточувствительных элементов (ФЧЭ) либо требующих затрат, несоразмерных с получаемым выигрышем. В таком случае задача увеличения разрешающей способности таких систем может решаться с применением метода субпиксельного сканирования (МСС). В данном методе задача увеличения качества изображения решается увеличением количества используемых фотоматриц без изменения их разрешающих характеристик.
Принцип реализации МСС описан в [1, 2, 3]. Авторы приводят алгоритмы реализации метода, а некоторые из них - и результаты компьютерного моделирования, подтверждающие его работоспособность. Однако, никто не рассматривает случая, когда условия реализации алгоритма не выполняются.
Одним из существенных недостатков метода, снижающих качество получаемых изображений, является возможное наличие неучтенных смещений или погрешностей взаимного положения фотоматриц при выполнении измерений, когда синтез вторичного изображения выполняется по алгоритму, не учитывающему существование таких ошибок. Данная проблема может быть решена в два этапа. На первом этапе необходимо предложить метод, позволяющий обнаруживать наличие и определять величину погрешности смещения. Второй этап предполагает модернизацию используемых алгоритмов МСС, с тем, чтобы они позволяли использовать информацию об обнаруженных ошибках.
В данной статье предлагается вариант решения первой из перечисленных задач. Назовем его методом уточнения погрешностей взаимных смещений МФЧМ или, для краткости, - методом уточнения смещений (МУС).
Основные принципы метода уточнения погрешностей взаимных смещений
Метод основан на реализации возможности определить взаимное положение двух объектов посредством определения их частных связей с третьим объектом.
Объектами, для которых определяется взаимное смещение, являются МФЧЭ, а в качестве третьего объекта предлагается использовать ровную грань (назовем ее разделяющей гранью (РГ) специально сформированного изображения, делящего матрицы на освещенную и затемненную части, как показано на рис. 1. Назовем такие части - вторичными фоточувствительными элементами. Рассмотрение вторичных фоточувствительных элементов удобно с точки зрения геометрических построений и облегчает выстраивание логики рассуждение. При расчетах каждому ФЧЭ матрицы в каждом конкретном случае сопоставляется только один из двух таких элементов, наиболее подходящий по геометрическим свойствам. Чаще всего это - элементы в форме прямоугольных треугольников, геометрические связи в которых легко описываются.
Для увеличения наглядности рис. 1, чувствительные элементы каждой изображенной на нем матрицы пронумерованы. Элементы с одинаковыми порядковыми номерами, принадлежащие разным матрицам и лежащие на РГ, заполнены одинаковой штриховкой. Назовем такие элементы связанными, т.к. при расчетах именно между этими матрицами и определяется относительное смещение.
Systems of Control, Communication and Security
sccs.intelgr.com
Рис. 1. Наложение маски на систему смещенных МФЧЭ
Из рис. 1 видно, что РГ разбивает связанные ячейки, деля их на части, имеющие разную геометрическую форму. При этом формируются разные пространственные конфигураций образовавшихся «осколков» - вторичных элементов. В зависимости от угла наклона РГ и ее смещения относительно сторон матриц, форма конфигураций меняется, соответственно, изменяются и описывающие их зависимости. На рис. 2 показана часть возможных траектории прохождения РГ относительно двух связанных ячеек.
Рис. 2. Пример возможных траекторий разделительной грани маски
Systems of Control, Communication and Security
sccs.intelgr.com
Нахождение величин относительных смещений двух ячеек подразумевает составление соотношений, связывающих эти смещения с геометрическими характеристиками вторичных элементов, принадлежащих данным ячейкам, а также, в большинстве случаев, и некоторыми вторичными элементами прилегающих ячеек.
В общем случае, для построения электронно-оптической системы должны использоваться матрицы с одинаковыми размерами чувствительных элементов.
Установим связь величины площади 5 ячейки и значения сигнала U на ее выходе.
Если ЧЭ имеет размер Z1xZ2, а проецируемое на него изображение описывается плотностью монохроматического светового потока ф(Х), постоянного во времени I, то величина выходного сигнала составит [4]
и_к'0 ) (1)
Сош
где К, Т и Соиг - коэффициенты, связанные с особенностями построения МФЧМ, '(Х0) - спектральная чувствительность МФЧМ на длине волны Х0, 5 -
площадь фоточувствительного элемента, Ф0 - спектральная плотность светового потока.
Выражение (1) можно переписать в виде
ис
Б _—исо^—, (2)
К' (Х0 )Тф0 к '
т.е. выразить значение площади ячейки 5.
Все входящие в (2) величины, кроме 5 и и, для конкретного вида МФЧМ, постоянны и, соответственно, могут быть заменены одним общим коэффициентом /
с
] К'(Хо )Тфо , и, соответственно, (2) можно записать как Б _ /и.
Таким образом, в выражениях, описывающих геометрическую связь элементов МФЧЭ, значения площадей ФЧЭ и вторичных ФЧЭ можно заменять значениями их выходных сигналов.
Определение взаимных смещений связанных фоточувствительных элементов
Рассмотрим один из наиболее сложных случаев конфигурации разделяемых полей, когда РГ «отсекает» от каждого, участвующего в расчетах, ФЧЭ фигуру треугольной формы и, при этом, имеются взаимные наложения получающихся треугольников (рис. 3).
На рисунке прямоугольная ячейка М_1/ размера Z1xZ2, относящаяся к МФЧЭ М_1, смещена относительно аналогичной ячейки М_2 у, относящейся к МФЧЭ М_2 на неизвестные, требующие определения, величины X и У по горизонтальной (/) и вертикальной (/) осям соответственно. РГ АО, рассекает каждую из МФЧЭ и входящие в них рассматриваемые ячейки на два вторичных
Systems of Control, Communication and Security
sccs.intelgr.com
элемента. Пусть пространство слева от РГ освещено, а справа - затенено маской. Тогда для М_1 затененной является область, ограниченная треугольником АС/Л, а для М_2 - треугольником АОМЬ, выделенные на рисунке штриховкой. Для решения поставленной задачи удобно в качестве рабочих вторичных элементов выбрать именно элементы треугольной формы.
Рис. 3. К расчету взаимного смещения фоточувствительных элементов (вариант 1)
Для устранения неопределенностей при решении задачи рассматриваются также треугольники AABC и AMNO, - вторичные элементы, принадлежащие соседним ячейкам (для М_1 - AABC, М_2 - AMNO). Все треугольники являются прямоугольными. При этом AGID и ACML лежат в неосвещенной области, а AABC и AMNO - в освещенной.
Сигналы на выходах ячеек соотносятся с площадями рассматриваемых треугольников следующим образом:
51 = fUМ_2 j+1, j ,
52 = f ( Umax _ U М 2 г,, ),
_ \ (3)
53 _ f (Umax UМ_1 ¡, j ),
54 = fU М _1 t, j+i,
где U - величина выходного сигнала полностью освещенной ячейки, Uм 1 j+l - величина выходного сигнала ячейки М _1 иj+1, Uм 1 . - величина выходного сигнала ячейки М 1 ■ ,, U 0 - величина выходного
— i,j м _2 i+1, j
сигнала ячейки М_2 -+1 ., Uм 2. - величина выходного сигнала ячейки
— 1' J
М_2 i j, f - коэффициент, учитывающий все остальные, кроме Sg , элементы
Systems of Control, Communication and Security
sccs.intelgr.com
выражения (2), Бв - площадь соответствующего треугольника, в - условный порядковый номер треугольника.
Необходимо, имея набор измерений выходных сигналов, данные о геометрических размерах ячеек и значение угла наклона РГ к оси I - а, выразить через эти данные значения X и У.
Из рис. 3 видно, что справедливо следующее равенство:
Б2 + Б3 + Х7 - Б5 _ {2" + + 7}, (4)
где 55 - площадь треугольника ДОЖ
Выразим все члены (4) через известные величины.
Значение 2' можно записать как 2\ _ 22 - т2, где т2 - сторона ДМЫО.
^ 0 т2 т! т2
Пользуясь зависимостями Б _ —1 и tg а = —2, найдем т2:
2 т1
т2 _ -\l2Sjg а . (5)
Тогда длину стороны МЬ треугольника ДОШ можно выразить как
г22 _ -у[2Б^а, (6)
а длину стороны ОЬ, соответственно, как
2' _ 2Б2 _ 2Б2 ^ 22 22
Аналогично сторонам треугольника ДМЫО, находим необходимую для дальнейших расчетов длину стороны п1 треугольника ДАВС. Площадь данного треугольника обозначена на рис. 3 как 54:
2 S4 2 S4 nx = —4 =-—, tg a = —, откуда nx =
n n tg « n
2S4
tg «
ii
Зная n1 находим сторону CD ACID, которую обозначим как Zj
9 С
Zf1 = Zj -nj = Zj-. (8)
nx tga
Зная площадь треугольника S3, найдем вторую его сторону, обозначив ее
Z2 : Z4 = (9)
Z1
В треугольнике AGIE катет GE обозначим как k1 и выразим его длину через длину второго катета k2:
kj = А-. (10)
tg a
Соответственно, выражение, обратное (10):
k2 = kx tg a. (11)
Z\
Для AGML можно записать выражение tg a = —2—. Тогда
k ^ X
Systems of Control, Communication and Security
sccs.intelgr.com
z1
k = z— X. (12)
tg a
Подставляя (12) в (11), получаем выражение для k2:
k2 = Zl - Xtg a. (13)
Точно также, для ACID получаем k2 = ZI tg a - Y, откуда можно выра-
зить Y:
Y = ZlI tg а-к2. (14)
Заменяем к2 в (14) на (13):
Y = (ZII + X) tg а- Z2I. (15)
Теперь, используя полученные зависимости, можно выразить величины X
и Y.
Для этого запишем (4) как
^ + 53 + XX - Щ2 = (^ + Х)^2 + Y). (16)
После подстановки в (16) выражений (6), (8), (12) и (13), и последующего упрощения равенства, получим уравнение для X:
X % а + X (zIItgа - Z2I) - ^ = 0. (17)
Член F уравнения включает элементы, значения которых можно посчитать предварительно, зная набор измерений выходных сигналов, данные о геометрических размерах ячеек и значение угла а.
Корень данного уравнения, удовлетворяющий условиям задачи, и будет величиной смещения X.
Подстановка X в (15) позволит найти значение Y.
Значение величины tg а определяется как отношение количества ФЧЭ в
столбце, верхний элемент которого совпадает с точкой пересечения РЛ верхнего края любой из матриц, к количеству ФЧЭ, лежащих между точкой пересечения РЛ и нижнего края этой же матрицы и ее правым краем (рис. 3). Данная величина определяется заранее и используется в вычислениях как готовый коэффициент.
Один из наиболее простых примеров конфигурации разделяемых полей, это случай, когда РГ «отсекает» от каждого, участвующего в расчетах, ФЧЭ фигуру треугольной формы и, при этом взаимные наложения получающихся треугольников отсутствуют, приведен на (рис. 4). Затененные части связанных элементов М_1 и М_2 выделены штриховкой и так же, как и в предыдущем случае, являются прямоугольными треугольниками. При этом их площади связаны с величинами выходных сигналов и м 1 и и м 2 чувствительных элементов следующими зависимостями:
= I(итах - иМ 1 ), , ч
_ (18)
^2 = 1 (итах - иМ _2 ).
Учитывая, что для прямоугольных треугольников ААВС и АВОЕ верны следующие соотношения:
Systems of Control, Communication and Security
sccs.intelgr.com
S =
YZ[
a
tg a = , S, =
Zl
2 У
выражения для X и У будут иметь вид
, tg a = 2 X
X =
а с учетом (18):
X =
Y =
2S.
tg a
Y =
2SX 7g a
2 f (Um
max U M 2
tg a
V
2 f (Um
max U M 1 )
tg a
После определения величин взаимного смещения МФЧЭ, полученные значения сравниваются со значениями, требуемыми по стандарту, и делается вывод о наличии и величине ошибок смещения.
Рис. 4. К расчету взаимного смещения чувствительных элементов (вариант 2)
Остальные виды конфигураций по сложности вычислений находятся между приведенными выше. Нет смысла в данной статье рассматривать все варианты, т. к. количество их достигает нескольких десятков, а для иллюстрации общего принципа достаточно двух рассмотренных.
Алгоритм определения вида выбранной конфигурации вторичных фоточувствительных элементов
Как уже говорилось, количество возможных конфигураций вторичных элементов в общем, достигает нескольких десятков. То, какие из них, и с какой периодичностью будут появляться в каждом конкретном случае, зависит от размеров матриц, размеров их ФЧЭ, угла и точки пересечения РГ с границей элемента, относительно которой этот угол отложен.
Для определения величины относительного смещения для каждой конкретной пары ФЧЭ необходимо иметь информацию о величине выходного сигнала. Каждая матрица состоит из однообразных, одинаково расположенных
Системы управления,связи и безопасности №1. 2018
Systems of Control, Communication and Security sccs.intelgr.com
ячеек. Для определения взаимного смещения таких матриц достаточно знать смещение между двумя их связанными элементами, или, с учетом периодичности, свойственной последовательности повторяющихся элементов с одинаковыми размерами, - смещение между двумя их любыми элементами. Однако, для минимизации влияния различных дестабилизирующих факторов, шумов, вибраций и т. д., необходимо использовать всю доступную для обработки информацию и рассчитывать величину смещения как усредненное значение результатов вычислений, полученных для N возможных связанных пар ФЧЭ:
1 N 1 N
X = —£Х1, ¥ = —£¥1.
N £ " N £ 7
Т. е. вычисления должны выполняться только после того, как все действующее в данный момент множество выходных сигналов ФЧЭ матриц будет зафиксировано.
Т. к. структура данной информации соответствует матричным объектам, то и представить ее можно в виде матрицы или двумерного массива. Так, например, систему матриц, представленных на рис. 1 можно описать массивами М1 и М2 соответственно для Матрицы 1 и Матрицы 2 (таблица 1).
Таблица 1 - Содержание массивов М1 и М2
Столбцы, j
Массив 1
1 2 3
1 UlMl U2 Ml U3 Ml
2 Ul Ml U4 Ml 0
3 Ul Ml U5 Ml 0
4 Ul Ml U6 Ml 0
к 5 Ul Ml U8 Ml 0
и о 6 U9 Ml Ul0 Ml 0
н о Массив 2
1 UIM2 Ul M2 U2 M2
2 Ul M2 U3 M2 U4 M2
3 Ul M2 U5 M2 U6 M2
4 Ul M2 U7 M2 0
5 Ul M2 Us M2 0
6 U9 M2 Ul0 m2 0
При этом значения Пы1 и Пыг у данных массивов совпадают, т. к. являются значениями сигналов с выходов полностью освещенных ФЧЭ. Значения в остальных позициях, за исключением позиций с «0», соответствующих ФЧЭ, полностью закрытых маской, в общем случае, отличаются.
Прежде чем начать вычислять значения взаимных смещений для очередной пары связанных ячеек, необходимо определиться, какой алгоритм решения для этого необходимо выбрать или, иными словами, какими зависимостями описывается данная конфигурация вторичных элементов. Для этого предварительно должна быть сформирована библиотека, содержащая все варианты решений задачи взаимного смещения для двух матриц. Причем, она должна содержать значения всех используемых при решении коэффициентов, геометри-
Системы управления,связи и безопасности №1. 2018
Systems of Control, Communication and Security sccs.intelgr.com
ческих размеров и других характеристик матриц, известных заранее. Далее, должен быть сформирована таблица Т, сопоставляющая определенным конфигурациям вторичных элементов номера соответствующих программ обработки данных или наборов уравнений из библиотеки. Такое сопоставление должно выполняться на основе информации о взаимном расположении вторичных элементов относительно друг друга, т.к. для каждой конфигурации существует свой единственный метод решения задачи. Для к-й связанной пары ФЧЭ на основе совместной обработки массивов М1 и М2 должен быть сформирован набор вторичных элементов, структура которого и сравнивается с содержимым таблицы Т.
Таким образом, схема алгоритма определения вида выбранной конфигурации выглядит следующим образом (рис. 5):
вторичных фоточувствительных элементов Выводы
Применение метода субпиксельного сканирования связано с проблемой значительного влияния неточности взаимного расположения матриц чувствительных элементов на формируемое изображение. Вычислительный алгоритм, применяемый при реализации метода, должен учитывать возможность наличия
Системы управления,связи и безопасности №1. 2018
Systems of Control, Communication and Security sccs.intelgr.com
таких ошибок. При этом предварительное определение наличия ошибок и их величины - задача, призванная обеспечить эффективность таких алгоритмов.
Метод уточнения погрешностей взаимных смещений матриц фоточувствительных элементов, описанный в работе, позволяет качественно решать данную задачу. Применение метода при производстве фото и видеосистем позволит достичь значительного улучшения их эксплуатационных характеристик.
Литература
1. Блажевич С. И., Винтаев В. Н., Ушаков Н. Н. Синтез космического изображения с улучшенной разрешающей способностью на основе субпиксельного сканирования // Современные проблемы дистанционного зондирования Земли из космоса. 2010. № 7. Вып. 2. С. 9-13.
2. Блажевич С. И., Силютина Е. С. Синтез матрицы двумерного изображения со сверхразрешением // Научные ведомости. 2012. № 23 (142). С. 43-53.
3. Попов М. А., Станкевич С. А., Шкляр С. В Алгоритм повышения разрешения субпиксельно смещенных изображений // Математичш машини i системи, 2015. № 1. С. 29-36.
4. Быков Р. Е., Фрайер Р., Иванов К. В., Манцветов А. А. Цифровое преобразование изображений. - М.: Горячая линия-Телеком, 2012. - 228 с.
References
1. Blazhevich S. V., Vintaev V. N. Ushakova N. N. Sintez kosmicheskogo izobragenia s uluchshenoi razreshaushchei sposobnostu na osnove subpikselnogo skanirovania [Image synthesis with enhanced resolution on the basis of subpixel scanning]. Sovremennie problemi listancionnogo zondirovania Zemli iz kosmosa, 2010, no. 7, pp. 9-13 (in Russian).
2. Blazhevich S. V., Selyutina E. S. Sintez matrici dvumernogo izobragenia so sverhrazrecheniem [Synthesis metods of two-demensional image matrix with superresolution]. Nauchnie vedomosti, 2012, vol. 142, no. 23, pp. 43-53 (in Russian).
3. Popov M A., Stankevich S.A., Shkliar S.V. Algoritm povishenia razreshenia subpikselno smeshonnih izobragenii. Matematichni mashini i sistemi, 2015, no. 1, pp. 29-36 (in Russian).
4. Bikov R. E., Fraier R., Ivanov K. V., Mancvetov A. A. Tsifrovoe priobrazovanie izobrazhenii. Moscow, Goriachaia linia-Telekom Publ., 2012. 228 p. (in Russian).
Информация об авторах
Артюшкин Андрей Борисович - кандидат технических наук. Военно-космическая академия имени А.Ф. Можайского. Область научных интересов: обработка изображений, моделирование радиотехнических систем.
Дуников Артём Сергеевич - кандидат технических наук. Военно-космическая академия имени А.Ф. Можайского. Область научных интересов: телеметрические системы, системы связи.
Системы управления,связи и безопасности №1. 2018
Systems of Control, Communication and Security sccs.intelgr.com
Куксенко Михаил Анатольевич - кандидат технических наук. Военно-космическая академия имени А.Ф. Можайского. Область научных интересов: цифровая обработка сигналов, системы связи.
Адрес: l97l98, Россия, г. Санкт-Петербург, ул. Ждановская, д. l3.
Method of reducing impact of errors of mutual photomatrix displacement on image quality
A. B. Artjushkin, S. D. Dunikov, M. A. Kuksenko
Problem statement. Resolution of optical systems should be increased. However, increasing the resolution is limited by the complexity of the production of optical systems. Sub-pixel scanning method allows increasing the resolution of such systems by increasing the number of matrices of photosensitive elements which have a standard resolution. However, the effectiveness of this method depends on the errors of mutual arrangement of photomatrix. If the error increases, so synthesized images are distorted. The purpose of the paper is to develop a method that reduces the impact of errors of mutual arrangement ofphotographic materials on quality of synthesized images. The errors are determined in advance and are corrected in calculations that are performed with sub-pixel scanning method. Used method. The problem of clarifying of the errors of the mutual pairwise arrangement of the electron-optical system matrices is based on the account of illuminated and shaded areas. These areas are used for formation of equations system that describes the mutual offset of image sensors available. The solution of the equations system are used as weighting coefficients for the output signals that correct the synthesized images. Result. The method presented in the paper will allow taking into account the errors of the mutual displacement of the matrix of sensitive elements and significantly reduce their impact on the image quality, which is synthesized based on the method of sub-pixel scanning. Thus, this method can significantly improve the resolution of optical systems.
Key words: photosensitive element, sub-pixel scanning, the resolution of the image, electron-optical
system.
Information about Authors
Andrej Borisovich Artjushkin - Ph.D. of Engineering Sciences. Mozhaysky Military Space Academy. Field of research: image processing, models of the radiotechnical communication components.
Artiom Sergeevich Dunikov - Ph.D. of Engineering Sciences. Mozhaysky Military Space Academy. Field of research: digital signal processing, communication systems.
Mihail Anatolievich Kuksenko - Ph.D. of Engineering Sciences. Mozhaysky Military Space Academy. Field of research: digital signal processing, communication systems.
Address: Russia, l97l98, Saint Petersburg, Zjdanovskaya ulica, l3.
