Интерполяция при микросканировании двухслойных матричных фотопреимников Текст научной статьи по специальности «Прочие технологии»

ISSN 2782-2001 Системы анализа и обработки данных том 91, № 3, 2023, с. 121-140

http://journals.nstu.ru/vestnik Analysis and data processing systems Vol. 91, No. 3, 2023, pp. 121-140

ЭЛЕКТРОНИКА, ФОТОНИКА, ПРИБОРОСТРОЕНИЕ И СВЯЗЬ

electronics,photonics, instrument making and communications

УДК 621.38; 004.9 Б01: 10.17212/2782-2001-2023-3-121-140

Интерполяция при микросканировании двухслойных матричных фотопреимников*

В. Л. ЖБАНОВА", И. В. ЯКИМЕНКО4

214013, г. Смоленск, Энергетический пр., 1, филиал Федерального государственного бюджетного образовательного учреждения высшего образования «Национальный исследовательский университет "Московский энергетический институт "»

а vera-zhbanova@yandex.ru ь jakigor@rambler.ru

В работе представлен метод микросканирования двухслойных шаблонов матричных фотоприемников на основе кремния. Разработанные системы регистрируют видимый и инфракрасный спектры. Предложены различные методы микросканирования с разработанными мульти-спектральными матричными фотоприемниками. В каждой ячейке регистрируется два цвета, что упрощает процесс интерполирования, а с технологией микросканирования можно исключить интерполяцию. Для полученных субпикселей алгоритм интерполяции сокращается. При этом следует учитывать направление сдвига матрицы, выполняя микросканирование. Для шаблонов с шахматным расположением ячеек выбор направления не так критичен, как для псевдорандом-ного или вертикального/горизонтального расположения.

При микросканировании следует учитывать направление сдвига матрицы. Для шаблонов с шахматным расположением ячеек выбор направления не так критичен, как для псевдорандом-ного или вертикального/горизонтального расположения. Так, к примеру, псевдорандомное расположение пригодно для регистрации изображений природы, где много мелких деталей различной формы, а вертикальное/горизонтальное - для сцен города и промышленных районов, где все имеет четкие вертикальные и горизонтальные линии. Сама идея микросканирования со сдвигом в половину пикселя позволяет заполнить «слепые» зоны матрицы (обвязка пикселя) с четырех сторон самого пикселя, что приводит к повышению цветового разрешения в 4 раза.

Для полученных субпикселей подходит линейный способ интерполяции или адаптивный. Также возможно пойти по более сложному пути и выбрать бикубическую, бигармоническую интерполяции. Однако такой подход противоречит самой концепции упрощения алгоритма обработки снимка, хотя и приводит к высококонтрастным цветовым разрешениям.

Подобные системы можно будет применять в съемке, где необходимо регистрировать точные детали местности или объекта, к примеру, в аэрофотосъемке, фотосъемке и фотограмметрии.

Ключевые слова: фотоприемник, микросканирование, мультиспектральный, интерполяция, субпиксель, двухслойный, сенсор, матрица, цифровой

* Статья получена 25 мая 2023 г.

Исследование выполнено при финансовой поддержке РНФ в рамках научного проекта № 21-79-00012.

ВВЕДЕНИЕ

Микросканирование применяется в аэрофотосъемке и космической фотосъемке [1-3]. Технология заключается в регистрации нескольких снимков при сдвиге матрицы, к примеру, пьезоэлементами. Микросканирование позволяет увеличить разрешение снимка и снизить шумы в изображении [4-6]. Для монохромных камер такой прием позволяет повысить четкость снимка, а для цветных приемников это необходимо. В последних система цветоделения состоит из шаблона цветных фильтров, накладываемых на ПЗС или КМОП матрицу. Такой шаблон позволяет регистрировать один из основных цветов (зеленый, синий, красный) только в одном пикселе, что вынуждает применять интерполирование для получения полноцветного изображения, а именно весовые показатели основных цветов в каждом пикселе. Интерполяция приводит к искажению исходной сцены изображения, что является критичным для аэрофотосъемки.

Поэтому было предложено применять двухслойные мультиспектральные матричные фотоприемники на основе кремния (рис. 1). Кремний поглощает разные длины волн в зависимости от толщины залегания потенциальной ямы. Такая способность позволяет создавать многослойные мультиспектральные системы цветоделения с возможностью регистрации УФ, видимого и ИК-диа-пазонов спектра. Существуют разработки трех- и пятислойных систем. Основной их недостаток - внутренние шумы. Большое количество слоев вынуждает делать сложные обвязки пикселя: столбцы буферизации, регистры хранения и передачи заряда и т. д. Ультрафиолетовая область требует работы над тонким поверхностным слоем кремния, что достаточно трудоемко и затратно. Поэтому было предложено остановиться на двухслойных системах. При этом основной упор был сделан на регистрацию инфракрасного спектра.

1. ДВУХСЛОЙНЫЕ СИСТЕМЫ ЦВЕТОДЕЛЕНИЯ

В настоящее время ведется активная научная работа по соединению видимого и инфракрасного спектра для получения мультиспектрального изображения различными способами [7-9].

Ранее подробно были рассмотрены усовершенствованные многослойные матричные фотоприемники [10, 11], приведены результаты исследования [12, 13]. Предложенные усовершенствованные системы цветоделения являются гибридом двух основных методов цветоделения - поверхностного и пространственного. Применение одного метода позволит исключить недостатки другого, такие как шумы, растекание заряда по соседним фотоэлементам, низкая оптическая передаточная функция. Двухслойные системы позволяют получать различные комбинации слоев в зависимости от требуемых характеристик изображения (рис. 1).

Авторами предлагается рассмотреть современные виды структур цветоделения в матричных системах регистрации изображения, работающих в видимом и инфракрасном диапазонах. В работе исследуются уникальные и передовые матричные фотоприемники многослойного типа. Последние разработки подобных матриц работают в видимом диапазоне и направлены главным образом на повышение разрешения снимка, хотя и имеют ряд недостатков

в области цветопередачи. Усовершенствование матричных фотоприемников является задачей области оптико-электронных систем и фотоники.

□ □ 3 □ 4 □

□ □ □ 5 □

9 □ 10 □ 11 □ 12 □

13 □ 14 3 15 □ □

i в G 3 4 В G

S в G 7 В G

10 В G 12 В G

13 В G 15 В G

Ш

ГГ1

п

г

Рис. 1. Пример предложенных шаблонов двухслойных систем:

а - BR+GIr в шахматном порядке; б - RIr+BG в шахматном порядке; в - расположение BR+GIr псевдорандомное; г - расположение BR+GIr вертикальное

Fig. 1. An example of the proposed templates for two-layer systems:

a is BR+GIr in a staggered pattern; b is RIr+BG in a staggerd pattern; c is pseudo-random arrangement of BR+GIr; d is arrangement of BR+GIr

Предлагаемые двухслойные системы позволяют снизить интерполяционную нагрузку на снимок и максимально сохранить исходное изображение предметов. Шаблоны систем сделаны таким образом, чтобы каждый цвет (синий, зеленый, красный, инфракрасный) занимал половину чувствительной области матрицы. Также есть шаблоны, где большая доля чувствительной области приходится на зеленый или инфракрасный спектры.

б

а

в

г

2. МИКРОСКАНИРОВАНИЕ РАЗРАБОТАННЫХ СИСТЕМ

Микросканирование предложенных систем будет проходить по следующим этапам:

1) регистрация снимка в исходном положении матрицы;

2) регистрация снимка со сдвигом матрицы на один пиксель;

2') регистрация снимка со сдвигом матрицы на 1/2 пикселя;

3) наложение полученных снимков - получение информации о каждом цвете в каждом пикселе матрицы;

3') получение субпикселей;

4) расчет полноцветного изображения на основе субпикселей.

Субпиксели позволяют получить изображение с большим разрешением.

При этом интерполяции цветов также не требуется, так как в каждом субпикселе уже имеется информация от основных пикселей, в отличие от стандартных матричных фотоприемников, где требуется несколько снимков для получения полноцветного изображения.

При микросканировании следует учитывать направление сдвига матрицы. Для шаблонов с шахматным расположением ячеек выбор направления не так критичен, как для псевдорандомного или вертикального расположения (рис. 1). Последние применяют для исключения муар-эффекта (алиасинга -ступенчатого эффекта на прямых линиях) и прочих артефактов при обработке изображения. Псевдорандомное расположение называется за счет того, что создается шаблон, состоящий из 12 или 24 пикселей, создающий видимость ран-домного расположения ячеек шаблона. Так, к примеру, псевдорандомное расположение пригодно для регистрации изображений природы, где много мелких деталей различной формы, а вертикальное - для сцен города и промышленных районов, где всё имеет четкие вертикальные и горизонтальные линии.

При микросканировании для псевдорандомного расположения шаблона по матрице необходимо выполнить несколько наложений снимков, чтобы покрыть каждый пиксель основными цветами. Подобные решения усложняют процесс микросканирования и последующей обработки снимка. Поэтому предпочтительной остается шахматная структура системы цветоделения. Так, для вертикального или горизонтального расположения достаточно линейного сдвига.

Разработаны различные алгоритмы получения изображений высокого разрешения по последовательности кадров. И это основной трудоемкий этап формирования изображения. При применении двухслойных матриц этот этап упрощается до линейного интерполирования или его полного отсутствия, когда происходит прямое присвоение значения цвета пикселю (рис. 2, а).

Наиболее оптимальным вариантом будет микросканирование с горизонтальным и вертикальным сдвигом (рис. 2, б). Такое размещение может позволить получить полноценные пиксели с известными основными цветами в каждом. Вспомогательные пиксели при сдвиге можно также учитывать как вспомогательные значения для основных цветов, присутствующих в основном пикселе. На рис. 3 представлены шаблоны полученных субпикселей. В случае только горизонтального или вертикального сдвига будут получены пиксели с горизонтальным или вертикальным порядком соответственно (рис. 3, а). При нескольких проходах матрицы по изображению будет получен псевдоран-домный порядок (рис. 3, б), что поможет исключить алиасинг, но увеличит алгоритм процесса интерполирования.

б

Рис. 2. Микросканирование со сдвигом 1/2 пикселя:

а - горизонтально; б - горизонтально и вертикально

Fig. 2. Microscanning with a 1/2 pixel shift:

a is horizontally; b is horizontally and vertically

Рис. 3. Полученные субпиксели:

а - горизонтально; б - горизонтально и вертикально

Fig. 3. The obtained subpixels:

a is horizontally; b is horizontally and vertically

Наиболее интересного решения можно добиться получением субпикселей со сдвигом на 1/2 пикселя по диагонали (рис. 4), тогда необходимо либо выбрать доминантный пиксель, по которому будет регистрироваться цвет, либо применять интерполяцию для значений основных цветов для субпикселя с четырех соседних.

Рис. 4. Микросканирование со сдвигом 1/2 пикселя диагонально:

а - сдвиг влево; б - сдвиг вправо

Fig. 4. Microscanning with a 1/2 pixel shift diagonally: a is ashift to the left; b is a shift to the right

При диагональном сдвиге может усилиться алиасинг. Чтобы его избежать, можно применять три прохода матрицы: прямо, диагонально влево и диагонально вправо. После наложения этих трех снимков не будет необходимости в интерполировании цветов субпикселей.

Здесь также можно применить линейный или адаптивный способ интерполяции. Также возможно пойти по более сложному пути и выбрать бикубическую и бигармоническую интерполяции. Однако такой подход противоречит самой концепции упрощения алгоритма обработки снимка, хотя и приводит

к высококонтрастным цветовым разрешениям.

Из рассмотренных режимов микросканирования следует, что наиболее оптимальным является применение шаблона с двумя чувствительными слоями в каждой ячейке. В этом случае будут получены типовые выражения для расчета любых комбинаций двухслойных ячеек.

3. АДАПТИВНАЯ ИНТЕРПОЛЯЦИЯ ДЛЯ ПОЛУЧЕННЫХ СУБПИКСЕЛЕЙ

Для основной части полученных субпиксельных систем применение интерполяции номинально и содержит простые линейные расчеты. Однако повторение пикселей в шаблоне может вызвать некоторые трудности с обработкой цвета. Поэтому следует рассмотреть некоторые случаи расположения полученных субпикселей.

Выбрана именно адаптивная интерполяция [14, 15], так как именно такая методика наиболее оптимальна и понятна для сравнения различных шаблонов. Метод Киммеля в данном случае нецелесообразен, так как в шаблонах сделан основной акцент на равное количество всех видов слоев, а не только на слои, чувствительные к зеленому излучению. А для такого адаптивного метода необходимо превалирование именно зеленого цвета.

Рассмотрим применение интерполяции к субпикселям, представленным на рис. 3, так как именно на алгоритм этого шаблона можно опираться при применении других двухслойных систем. Для удобства интерполирования шаблоны субпикселей пронумерованы и продублированы (рис. 5).

Для шаблона на рис. 5, а рассмотрим поиск недостающих цветов для ячеек 6, 7, 10 и 11. Для ячейки 6 определение красного и инфракрасного цвета будет произведено по следующим выражениям:

О (Д6) = ^^; 1Д2 - Що .

Оу (7Дб) = Е2(Я) =

Уу 2

1

Ею( Д) =

+ О2(Дб) + о2(Д2) '

_1_;

+ о2(Дб) + О2(Дю) '

e2(ir) =

e10( ir) =

Vi + d2(IR6) + D2(ir2) '

_1_

^ + D2(IR6) + D2(IRw) После того как нашли Е, определим r и ir:

R E2( R) + R10 E10( R).

R6 =

ir6 =

E2( R) + E10( R)

IR2 E2( ir) + ir10 Ею( IR) E2( IR) + E10( ir)

13 14

11 12

1 2 • • 11 ■ 8

■ ■ 11 12

13 14 15

17 IS ■ H

21 24

В - 27 28

■ ■

а б

Рис. 5. Полученные субпиксели:

а - горизонтально; б - горизонтально и вертикально

Fig. 5. The obtained subpixels:

a is horizontally; b is horizontally and vertically

1

Для ячейки 7 зеленый и синий цвет можно найти следующим образом:

^(G7) = G3"Gl

_ ^3-^11 . 2 '

dy (B7) = ^ . кз(в) = 1

En(G) =

e3( b) =

eu(b) =

+ d2 (G7) - hD2(G3) '

1

+ D2 (G7) - hD2(Gn)

1

+ D2( B7) + -D2(B3) '

1

+ d 2( B7) + d 2( B11)

После того как нашли Е, определим g и B:

G3E3 (G) + GnEn(G).

G7 =■

B7 =

E3(G) + En(G)

взез( b) + вцец (B) Ез( B) + Ец( B)

Для ячейки 10 определение зеленого и синего цвета производится следующим образом:

Dy (G10) =

Dy (B10) = ^^B4;

E6(G) = 1

E14(G) =

E6(B) = E14( B) =

+ D2(G10)H vd 2(G6)'

1

+ D 2(Gw)- vd 2 (G14)

1

+ D 2( B10) + -D2(B6) '

1

v1 + d2( B10) + D2( B14)

После того как нашли Е, определим о и В:

0зЕз(0) + ОпЕп(О) , Ез(О) + Еп(О) '

ВзЕз( В) + ВцЕц (В)

О7 =

В7 =

Ез( В) + Еп( В)

Для ячейки 11 определение красного и инфракрасного цвета будет произведено по следующим выражениям:

Я7 — Я15 .

Ву (Я„) =

тя7 — я

ву (тп) =

Е7Я =

2

1Я7 — 1Л15

2

1

Е15( Л) = Е7( 1Я) = Е15( щ =

^+в 2( Я11) + - в2 (Я7) '

1

^+в2( Я11) + -в2( Я15)'

1

+ в 2( 1яц)- + в 2( 1я7)

1

+ в 2( /Яп) + в 2( 1%) После того как нашли Е, определим я и 1Я:

я7 Е7( Я) + Я15 Е15( Я) , Е7(Я) + Е15(Я) '

1я7 Е7( 1Я) + 1Я15 Е15( 1Я)

Я11 =

1яц =

Е7( 1Я) + Е15( 1я)

Стоит отметить, что отличие расчета для горизонтального сдвига от вертикального будет заключаться только в том, что в первом случае будет расчет ву (n), во втором - вх (n).

Для шаблона на рис. 5, б применение только адаптивного метода невозможно для некоторых ячеек, поэтому необходимо будет прибегнуть к линейной интерполяции. Для ячейки 6 необходимо найти красный и инфракрасный цвет:

Я5 — Я7 .

вх (Яб)=-

2

Вх (1Яб) = ^^;

е5(я) — е7(я) —

Е5( Щ — Е7( щ) —

^+О2( Щб) + о2(Щ5) '

1

^+о 2( Щб) + -О2(Щ7) '

1

^+О2( /Щб)- + о 2( /Щ5)

1

^ + О 2( щ) + О2( /Щ7)

После того как нашли Е, определим Щ и /Щ;

_ Щ5Е5(Щ) + Щ7Е7(Щ) . 6 Е5( я) + Е7( Щ)

^ — Щ Е5( Щ + Щ Е7( Щ

6 Е5(/Щ) + Е7(Щ ■ Для ячейки 7 необходимо найти зеленый и синий цвет следующим обра-

зом;

еб(о) —

еъ(о) —

Еб( 5) —

Е8( 5) —

О (67) — ^;

О (57) — ^; 1

+ О2(б7)Н НО2(6б)

1

+ О2(б7)Н Н02(68)

1

+ О2( 57) Н ьО2( 5б)

1

+ О2( 57) + О2( 58)

После того как нашли Е, определим 6 и 5;

6б Еб(6) + 68 Е8(6).

Еб(6) + Е8(6)

1

В7 _

В6 Е6( В) + В8 Е8( В)

Е6( В) + Е8( В)

Для ячейки 10 возможно воспользоваться линейной интерполяцией:

г _ Г6 + Г11 .

В6 + В11

В10 _

2

Для ячейки 11 также необходимо применить линейную интерполяцию:

Яп _

_ + Я10 .

^11 _

2

И<7 +^10 2

Для ячейки 14 поиск зеленого и синего цвета производится через выражения:

в, (Г14) _ ;

в, (В14) _ ^^; 1

Е1з(Г) _

Е15(Г) _

Е1з(В) _

Е15(В) _

+ В2 (Г14) - НВ2(Г1з)

1

+ В2 (Г14) - НВ2(Г15)

1

+ В2( В14) + -В2( В13)

1

ф + в 2(В14) + В2( В15)

После того как нашли Е, определим г и В:

Г1зЕ1з(Г) + Г15%(Г) . Е1з(Г) + Е15(Г) '

В1зЕ1з( В) + В15 Е15( В)

Г14 _

В14 _

Е1з( в) + Е15( в)

Для ячейки 15 находим красный и инфракрасный цвет:

В, (ад=^^;

ох (ад = ^^^; 1

El4( r) _

%( r) _

Ei4(ir) _

%(ir) _

+ d 2( r15) + -d2(r14) '

1

+ d 2( r15) + -D2(R16) '

1

y¡1 + D2(I%)- + D2 (IR14)

1

y¡1 + D2( IRi5) + D2( IR16)

После того как нашли Е, определим Я и /Я:

о _ Я14Е14 (Я) + Я16Е16 (Я) .

Я15 _-,

15 £М(Я) + Е1б(Я)

^ _ /яиЕм(/Я) + /Я16Е1б(/Я) 15 £М(/Я) + Е1б(/Я) •

Для ячейки 18 возможно применить линейную интерполяцию:

R _ R14 + R19 . R18 _■-

IR18 _

2

irl4 + ir19

2

Для ячейки 19 также применима линейная интерполяция:

G15 + G18 _

G19 _■

B19 _

2

B15 + B18 2

Если сравнивать расчеты для полученных субпикселей с вычислениями для шаблонов, представленных в [16], то можно заметить простоту алгоритма интерполяции субпикселей. Такая однотипность сокращает необходимые объемы памяти для вычислений и время обработки снимка.

Для сравнения можно рассмотреть интерполяцию самого шаблона, на основе которого получены субпиксели (рис. 6).

В шаблоне для ячейки 6 следует определить цвета о и В. Эти цвета можно рассчитать через значения двух других. При интерполяции адаптивным методом необходимо определить производные цвета о и веса этих цветов е слоев:

^ (Об) = ^;

Оу (Об) =

_ О2 ~ О10 .

2

ох (Вб) _ ;

Оу (Вб) _ В^2В°;

5 ^+О2(Об)+О2(Оз)'

_1_.

+ О2(Об) + О2(О2) '

_1_.

+ О2(Об) + О2(Оу) '

_1_

^+О2(Об) + О2(Ою)

Е2 _

еу _

Е10 _

Аналогично для ячейки 6 можно определить Е и с помощью синего цвета:

1

Е5 _

Е2 _

Еу _

Е10 _

+о2(Вб) + о2(В5) '

_1_.

+ О2(Вб) + О2(В2) '

_1_.

+О2(Вб)+О2(Ву) '

_1_

+ о 2( Вб) + о 2( В10)

Теперь следует определить G:

g6 =

G5 E5 + G2 E2 + G7 E7 + G10 E10

Е5 + Е2 + Е7 + Е10 Для этой ячейки в следует определять таким же образом: В5 Е5 + В2 Е2 + Ву Еу + В10 Е10

=-

E5 + E2 + E7 + E

10

Рис. б. Шаблон BG+RIr

Fig. б. The BG+RIr pattern

Для ячейки 7 необходимо определить r и ir. Параметр r определяется следующим образом:

О, (R7)=^;

dy (R7) = ;

е6 _

в, (я) _;

^(/Я7) _ ;

1

Е3 _

Е8 _

Е11 _

+ в2(Я7) + В2(Я6) '

_1_.

+ В2(Я7) + В2(Яз) '

_1_.

ф+В2(Я7) + в2(Я8)'

_1_

+ В2( Я7) + в 2( Я11)

Параметр /я определяется таким же способом:

Е6 _ / 2 1 2 ; + в 2( /Я7) + В 2( /Я6)

_1_.

+ В2( /Я7) + В2( /Я3)

_1_.

+В2(/Я7) + В2(/Я8)'

_1_

+ В2( /Я7) + в 2( /Я11)

Теперь следует определить я:

Я6 Е6 + Я3Е3 + Я8 Е8 + Я11Е11

Е3 _

Е8 _

Е11 _

Я7 _.

Е6 + Е3 + Е8 + Е11

Для этой ячейки /я следует определять таким же образом:

Я Е6 + Щ Е3 + /Я8 Е8 + /Я11Е11

/я7 _■

Е6 + Е3 + Е8 + Е11

Подобные алгоритмы также однотипны, но более объемны.

Далее можно продумать более сложные схемы, позволяющие повысить резкость изображений или определенных цветов. Однако, как показывает практика, чем чаще выбираются дальние пиксели для нахождения неопределенного цвета, тем более «смазанным» получается изображение.

ЗАКЛЮЧЕНИЕ

Учеными разработаны различные алгоритмы получения изображений высокого разрешения по последовательности кадров. И это основной трудоемкий этап получения изображения. При применении двухслойных матриц этот этап упрощается до линейного интерполирования или его полного отсутствия, когда происходит прямое присвоение значения цвета пикселю.

Исключение может касаться субпикселей, полученных сдвигом на 'Л пикселя по диагонали. Тогда необходимо либо выбрать доминантный пиксель, по которому будет регистрироваться цвет, либо применять интерполяцию для значений основных цветов для субпикселя с четырех соседних. Здесь также можно применить линейный способ интерполяции или адаптивный, также возможно пойти по более сложному пути и выбрать бикубическую и бигармони-ческую интерполяции. Однако такой подход противоречит самой концепции упрощения алгоритма обработки снимка, хотя и приводит к высококонтрастным цветовым разрешениям.

При микросканировании следует учитывать направление сдвига матрицы. Для шаблонов с шахматным расположением ячеек выбор направления не так критичен, как для псевдорандомного или вертикального/горизонтального расположения. Так, к примеру, псевдорандомное расположение пригодно для регистрации изображений природы, где много мелких деталей различной формы; а вертикальное/горизонтальное - для сцен города и промышленных районов, где всё имеет четкие вертикальные и горизонтальные линии. Сама идея микросканирования со сдвигом в половину пикселя позволяет заполнить «слепые» зоны матрицы (обвязка пикселя) с четырех сторон самого пикселя, что приводит к повышению цветового разрешения в 4 раза.

Для полученных субпикселей подходит линейный или адаптивный способ интерполяции. Также возможно пойти по более сложному пути и выбрать бикубическую и бигармоническую интерполяции. Однако такой подход противоречит самой концепции упрощения алгоритма обработки снимка, хотя и приводит к высококонтрастным цветовым разрешениям.

СПИСОК ЛИТЕРАТУРЫ

1. Фотоприемные модули с режимом ВЗН для мониторинга земной поверхности в ИК-диапазоне / П.А. Кузнецов, И.С. Мощев, В.В. Сало, Н.Ф. Кощанцев // Успехи прикладной физики. - 2014. - Т. 2, № б. - С. б35-б38.

2. Соляков В.Н., Козлов К.В., Кузнецов П.А. Компьютерная модель процесса регистрации точечных источников излучения многорядными ФПУ с режимом ВЗН // Прикладная физика. -2014. - № 2. - С. 54-5у.

3. Шакенов А.К., Будеев Д.Е. Фильтрация изображений малоразмерных объектов в системах с круговым микросканированием // Автометрия. - 201у. - Т. 53, № 4. - С. 120-12б.

4. ТарасовВ.В., ЯкушенковЮ.Г. Некоторые пути совершенствования тепловизионных систем // Специальная техника. - 2004. - № 2. - С. 11-19.

5. Miniaturized high performance starring thermal imaging system / W.A. Cabanski, R. Breiter, K.-H. Mauk, W. Rode, J. Ziegler, L. Ennenga, U.M.S. Lipinski, T. Wehrhahn // Proceedings of SPIE. -2000. - Vol. 4028. - P. 208-219.

6. Wiltse J.M., Miller J.L. Imagery improvements in staring infrared imagers by employing subpixel microscan // Optical Engineering. - 2005. - Vol. 44, iss. 5. - P. 056401. - DOI: 10.1117/1.1917312.

7. Online correction of the mutual miscalibration of multimodal VIS-IR sensors and 3D data on a UAV platform for surveillance applications / P. Siekanski, S. Pasko, K. Malowany, M. Males // Remote Sensing. - 2019. - Vol. 11 (21). - P. 2469. - DOI: 10.3390/rs11212469.

8. Stotko P., Weinmann M., Klein R. Albedo estimation for real-time 3D reconstruction using RGB-D and IR data // ISPRS Journal of Photogrammetry and Remote Sensing. - 2019. - Vol. 150. -P. 213-225. - DOI: 10.1016/j.isprsjprs.2019.01.018.

9. Monocular color-IR imaging system applicable for various light environments / Y. Nonaka, D. Yoshida, S. Kitamura, T. Yokota, M. Hasegawa, K. Ootsu // 2018 IEEE International Conference on Consumer Electronics (ICCE). - IEEE, 2018. - P. 1-5. - DOI: 10.1109/ICCE.2018.8326238.

10. Zhbanova V.L., Parvulyusov Yu.B., Solomatin V.A. Multispectral matrix silicon photodetec-tors with the IR range registration // Journal of Physics: Conference Series. - 2020. - Vol. 1679. -P. 022039. - DOI: 10.1088/1742-6596/1679/2/022039.

11. Патент на полезную модель № 212107 U1 Российская Федерация: № 2022108490: заявл. 30.03.2022: опубл. 06.07.2022, Бюл. № 19. Мультиспектральный матричный фотоприемник / Жбанова В. Л., Якименко И.В.

12. Жбанова В.Л., Парвулюсов Ю.Б. Исследование оптических явлений в мультиспек-тральном матричном фотоприемнике на основе кремния // Научно-технический вестник информационных технологий, механики и оптики. - 2022. - Т. 22, № 5. - С. 903-911. -DOI: 10.17586/2226-1494-2022-22-5-903-911.

13. Жбанова В.Л. Функции распределения цвета в многослойных мультиспектральных матричных фотоприемниках при интерполировании // Оптический журнал. - 2022. - Т. 89, № 11. - С. 44-53. - DOI: 10.17586/1023-5086-2022-89-11-44-53.

14. Гурьянова О.А., Филимонова Е.В. Исследование муарообразования при репродуцировании информации с применением программных методов // Прикладная информатика. - 2019. -Т. 14, № 3 (81). - С. 113-128.

15. Ramanath R., Snyder W., Bilbro G. Demosaicking methods for Bayer color arrays // Journal of Electronic Imaging. - 2002. - Vol. 11 (3). - P. 306-315. - URL: https://home.cis.rit.edu/~cnspci/ref-erences/dip/demosaicking/ramanath2002.pdf (accessed: 31.08.2023).

16. Жбанова В.Л., Якименко И.В. Применение интерполирования к мультиспектральным матричным фотоприемникам // Труды Международной конференции по компьютерной графике и зрению «Графикон». - 2022. - № 32. - С. 528-537. - DOI: 10.20948/graphicon-2022-528-537.

Жбанова Вера Леонидовна, кандидат технических наук, доцент, филиал ФГБОУ ВО «НИУ "МЭИ"» в г. Смоленске. Основное направление научных исследований - оптико-электронные приборы и системы, цифровая обработка изображений, фотометрия. Имеет более 60 печатных работ. E-mail: vera-zhbanova@yandex.ru

Якименко Игорь Владимирович, доктор технических наук, заведующий кафедрой электроники и микропроцессорной техники, филиал ФГБОУ ВО «НИУ "МЭИ"» в г. Смоленске. Основное направление научных исследований - цифровая обработка изображений, оптико-электронные системы. Имеет более 50 печатных работ. E-mail: Jakigor@ram-bler.ru

Zhbanova Vera L., Ph.D. The main field of her scientific research is optoelectronic devices and systems, digital image processing, and photometry. She has over 60 publications. E-mail: vera-zhbanova@yandex.ru.

Yakimenko Igor V., D.Sc. (Eng.), Head of the Department of Electronics and Microprocessor Technology, branch of FGBOU VO NRU MPEI in Smolensk. The main field of his scientific research is digital image processing and optoelectronic systems. He has over 50 publications. E-mail: Jakigor@rambler.ru.

DOI: 10.17212/2782-2001-2023-3-121-140 Interpolation in microscaning two-layer matrixphotoreceivers*

V.L. ZHBANOVA a, I.V. YAKIMENKO b

The Branch of National Research University "Moscow Power Engineering Institute " in Smolensk, Energy driveway, Smolensk, 214013, Russian Federation

" vera-zhbanova@yandex.ru b jakigor@rambler.ru

Abstract

The paper presents a method for microscanning two-layer patterns of matrix photodetec-tors based on silicon. The developed systems register the visible and infrared spectra. Various methods of microscanning with the developed multispectral matrix photodetectors are proposed. Two colors are recorded in each cell, which simplifies the interpolation process, and using the microscanning technology, can eliminate it. For the obtained subpixels, the interpolation algorithm is reduced. In this case, the direction of a matrix shift should be taken into account when performing microscanning. For staggered cell patterns, the choice of direction is not as critical as for pseudo-random or vertical/horizontal arrangement.

When microscanning, the direction of matrix shift should be taken into account. For staggered cell patterns, the choice of direction is not as critical as for pseudo-random or vertical/horizontal arrangement. So, for example, a pseudo-random arrangement is suitable for recording images of nature, where there are many small details of various shapes; and vertical/horizontal arrangement is suitable for scenes of the city and industrial areas, where everything has clear vertical and horizontal lines. The very idea of microscanning with a shift of half a pixel makes it possible to fill the "blind" zones of the matrix - pixel binding - on four sides of the pixel itself, which leads to a 4-fold increase in color resolution.

For the obtained subpixels, a linear or adaptive interpolation method is suitable. It is also possible to take a more complicated path and choose bicubic, biharmonic interpolation. However, this approach contradicts the very concept of simplifying the image processing algorithm, although it leads to high-contrast color resolutions.

Such systems can be used in surveys where it is necessary to record the exact details of a terrain or object, for example, in aerial photography and photogrammetry.

Keywords: photodetector, microscanning, multispectral, interpolation, subpixel, two-layer, sensor, matrix, digital.

REFERENCES

1. Kuznetsov P.A., Moshchev I.S., Salo V.V., Koshantsev N.F. Fotopriemnye moduli s rezhimom VZN dlya monitoringa zemnoi poverkhnosti v IK-diapazone [Photodetecting TDI modules for Earth surface monitoring in IR range]. Uspekhi prikladnoi fiziki = Advances in Applied Physics, 2014, vol. 2, no. 6, pp. 635-638.

2. Solyakov V.N., Kozlov K.V., Kuznetsov P.A. Komp'yuternaya model' protsessa registratsii tochechnykh istochnikov izlucheniya mnogoryadnymi FPU s rezhimom VZN [Computer model of point target detection by FPA with time delay integration]. Prikladnaya fizika = Applied Physics, 2014, no. 2, pp. 54-57.

3. Shakenov A.K., Budeyev D.E. Fil'tratsiya izobrazhenii malorazmernykh ob"ektov v sistemakh s krugovym mikroskanirovaniem [Filtering of images of small-sized objects in systems with circular microscaning]. Avtometriya = Optoelectronics, Instrumentation and Data Processing, 2017, vol. 53, no. 4, pp. 120-126. (In Russian).

4. Tarasov V.V., Yakushenkov Yu.G. Nekotorye puti sovershenstvovaniya teplovizionnykh sis-tem [Some ways of improving thermal imaging systems]. Spetsial'naya tekhnika = Special Equipment, 2004, no. 2, pp. 11-19.

* Received 25 May 2023.

The reported study was funded by RSF, project number 21-79-00012.

5. Cabanski W.A., Breiter R., Mauk K.-H., Rode W., Ziegler J., Ennenga L., Lipinski U.M.S., Wehrhahn T. Miniaturized high performance starring thermal imaging system. Proceedings of SPIE, 2000, vol. 4028, pp. 208-219.

6. Wiltse J.M., Miller J.L. Imagery improvements in staring infrared imagers by employing subpixel microscan. Optical Engineering, 2005, vol. 44, iss. 5, p. 056401. DOI: 10.1117/1.1917312.

7. Siekanski P., Pasko S., Malowany K., Malesa M. Online correction of the mutual miscalibra-tion of multimodal VIS-IR sensors and 3D data on a UAV platform for surveillance applications. Remote Sensing, 2019, vol. 11 (21), p. 2469. DOI: 10.3390/rs11212469.

8. Stotko P., Weinmann M., Klein R. Albedo estimation for real-time 3D reconstruction using RGB-D and IR data. ISPRS Journal of Photogrammetry and Remote Sensing, 2019, vol. 150, pp. 213-225. DOI: 10.1016/j.isprsjprs.2019.01.018.

9. Nonaka Y., Yoshida D., Kitamura S., Yokota T., Hasegawa M., Ootsu K. Monocular color-IR imaging system applicable for various light environments. 2018 IEEE International Conference on Consumer Electronics (ICCE). IEEE, 2018, pp. 1-5. DOI: 10.1109/ICCE.2018.8326238.

10. Zhbanova V.L., Parvulyusov Yu.B., Solomatin V.A. Multispectral matrix silicon photodetec-tors with the IR range registration. Journal of Physics: Conference Series, 2020, vol. 1679, p. 022039. DOI: 10.1088/1742-6596/1679/2/022039.

11. Zhbanova V.L., Yakimenko I.V. Mul'tispektral'nyi matrichnyi fotopriemnik [Multispectral matrix photodetector]. Patent RF, no. 212107, 2022.

12. Zhbanova V.L., Parvulusov Yu.B. Issledovanie opticheskikh yavlenii v mul'tispektral'nom matrichnom fotopriemnike na osnove kremniya [Investigation of optical phenomena in multispectral matrix photodetector based on silicon]. Nauchno-tekhnicheskii vestnik informatsionnykh tekhnologii, mekhaniki i optiki = Scientific and Technical Journal of Information Technologies, Mechanics and Optics, 2022, vol. 22, no. 5, pp. 903-911. DOI: 10.17586/2226-1494-2022-22-5-903-911.

13. Zhbanova V.L. Color distribution functions of multilayer multispectral matrix photodetectors after interpolation. Journal of Optical Technology, 2022, vol. 89, no. 11, pp. 670-676. DOI: 10.1364/JOT.89.000670. Translated from Opticheskii zhurnal, 2022, vol. 89, no. 11, pp. 44-53. 10.17586/1023-5086-2022-89-11-44-53.

14. Guryanova O., Filimonova E. Issledovanie muaroobrazovaniya pri reprodutsirovanii infor-matsii s primeneniem programmnykh metodov [Study of moire formation in the reproduction of information using software methods]. Prikladnaya informatika = Journal of Applied Informatics, 2019, vol. 14, no. 3 (81), pp. 113-128.

15. Ramanath R., Snyder W., Bilbro G. Demosaicking methods for Bayer color arrays. Journal of Electronic Imaging, 2002, vol. 11 (3), pp. 306-315. Available at: https://home.cis.rit.edu/~cnspci/ references/dip/demosaicking/ramanath2002.pdf (accessed 31.08.2023).

16. Zhbanova V.L., Yakimenko I.V. Primenenie interpolirovaniya k mul'tispektral'nym matrich-nym fotopriemnikam [Application of interpolation to multispectral array photodetectors]. Trudy Mezhdunarodnoi konferentsii po komp'yuternoi grafike i zreniyu «Grafikon» = Proceedings of the International Conference on Computer Graphics and Vision "Graphicon", 2022, no. 32, pp. 528-537. DOI: 10.20948/graphicon-2022-528-537.

Для цитирования:

Жбанова В.Л., Якименко И.В. Интерполяция при микросканировании двухслойных матричных фотоприемников // Системы анализа и обработки данных. - 2023. - № 3 (91). -С. 121-140. - DOI: 10.17212/2782-2001-2023-3-121-140.

For citation:

Zhbanova V.L., Yakimenko I.V Interpolyatsiya pri mikroskanirovanii dvukhsloinykh matrich-nykh fotopriemnikov [Interpolation in microscaning two-layer matrix photoreceivers]. Sistemy analiza i obrabotki dannykh = Analysis and Data Processing Systems, 2023, no. 3 (91), pp. 121-140. DOI: 10.17212/2782-2001-2023-3-121-140.

ISSN2782-2001, http://journals.nstu.ru/vestnik Analysis and data processing systems Vol. 91, No 3, 2023, pp. 121-140