CC BY
0
Key words: milk freshness indicator, computer vision technology, NI Vision Builder for Automated Inspection.
Voskoboynikova Olga Borisovna, senior lecturer, [email protected] Russia, Tomsk, Tomsk Polytechnic University,
Sukhanov Aleksey Viktorovich, docent, [email protected], Russia, Tomsk, Tomsk Polytechnic University,
Mamonova Tatyana Egorovna, docent, [email protected], Russia, Tomsk, Tomsk Polytechnic University,
Ganina Olesya Alekseevna, metrologist engineer of the 2nd category, skripka.olesia@yandex. ru, Russia, Tomsk, JSC «Scientific and Production Company «Mikran»»
УДК 535.65, 621.383
DOI: 10.24412/2071-6168-2023-11-288-289
СРАВНЕНИЕ ОСОБЕННОСТЕЙ АДАПТИВНОГО МЕТОДА ИНТЕРПОЛЯЦИИ И МЕТОДА КИММЕЛЯ ДЛЯ ДВУХСЛОЙНЫХ МАТРИЧНЫХ ФОТОПРИЕМНИКОВ
В.Л. Жбанова, Ю.Б. Парвулюсов
Предмет исследования - метод интерполяции матричных фотоприемников двухслойного типа. Каждый шаблон позволяет получать мультиспектральное изображение в видимом и инфракрасном диапазонах. Три шаблона, каждый из которых обладает определенной функциональностью: улучшенная работа в инфракрасном спектре или видимом диапазоне, а также шаблон с равным функциональным потенциалом. Основным достоинством разработанных систем является упрощение алгоритма интерполяции. Целью работы является разработка метода интерполяции для двухслойных матричных фотоприемников. Методы. В исследовании представлен алгоритм интерполяции для разработанных систем адаптивным методом и методом Киммеля. При использовании этих методов на стандартные шаблоны матричных фотоприемников RGBG для каждого пикселя необходимо найти два основных цвета. Для разработанных систем алгоритм упрощается: для каждой ячейки необходимо найти один недостающий основной цвета. Таким образом, уменьшается алгоритм обработки, объем необходимой памяти и, следовательно, увеличивается скорость обработки. Основные результаты. Был получен алгоритм, в котором смешаны адаптивный и линейный методы интерполяции. Применение метода Киммеля лишь немного упрощает алгоритм интерполяции стандартных систем для двухслойных из-за сложности самой методики расчета. Упрощение алгоритма можно заметить по сокращению выражений для поиска основных цветов по сравнению с системой RGBG. Таким образом, при подсчете количества уравнений и задействованных пикселей, можно сделать вывод: применение адаптивного метода для двухслойных систем упрощает алгоритм в 2 раза, а при методе Киммеля - в 1,3 раза. А если еще и учесть наличие в предложенных системах слоев для инфракрасного излучения - достоинство разработок становится очевидным. Практическая значимость. Представленный алгоритм интерполяции разработанных шаблонов позволит применять эти матричные фотоприемники для таких областей как аэрофотосъемка, зондирование земли, макросъемка.
Ключевые слова: интерполяция, матричный фотоприемник, мультиспектральное изображение, адаптивный метод, Киммеля, инфракрасный.
Введение. Наиболее популярная система пространственного цветоделения была предложена Брайсом Байером - RGBG (Red-Green-Blue-Green, красный-зеленый-синий-зеленый), на основе расположения светофильтров поверх матричного фотоприемника в шахматном порядке. Чаще всего применяют на практике абсорбционные фильтры, а также дополнительные комбинации из абсорбционных и интерференционных фильтров.
При регистрации излучения с таким типом системы цветоделения, каждая ячейка приемника регистрирует только один из основных цветов. Чтобы получить полноцветное изображение необходимо математически определять цвета недостающих основных цветов рассчитывая значения с соседних ячеек. Такое смешение называется аддитивным и достигается различными методами интерполяции [1-5]. Уже разработаны различные модификации шаблона Байера и, соответственно, методы интерполяции к ним [1, 5]. Методов интерполирования существует множество. Основой каждого алгоритма является поиск всех основных цветов каждой ячейки приемника. При этом эти методы также способны повышать разрешение или корректировать изображения на начальной стадии обработки снимка. Однако каждый метод имеет достоинства и недостатки, связанные в первую очередь со строением самого приемника. При интерполировании часто возникают «артефакты» - блюминг, алиасинг, муар-эффект и прочие. Для устранения этих явлений разрабатываются новые усложненные методики, занимающие большие объемы памяти и увеличивающие время обработки изображений.
Методы интерполяции условно можно разделить на простые и сложные. К простым методам можно отнести метод ближайшего соседа, билинейную и бикубическую интерполяции и фильтр Ланцоша [6, 7]. К сложным методам интерполяции относят алгоритмы, учитывающие адаптирующие веса интерполяции [8-10]. Такая адаптация может быть явной, и неявной, как в методе NEDI [11].
Чтобы исключить недостатки современных методов интерполирования необходимо разрабатывать новые совершенные шаблоны систем цветоделения, т.к. любое интерполирование привносит искажения в исходную информацию. Однако без таких операций в пространственных системах цветоделения не обойтись. Для получения «чистой» информации были созданы матричные фотоприемники на основе цветоделительных зеркал и цветодели-тельных призм [12-14]. Несмотря на результативность этих разработок, они имеют ряд недостатков: дороговизна производства, потери света в зеркалах и призмах. Также разработана многослойная система на основе кремния [15, 16]. Каждый сенсор этой системы включал чувствительные слои каждого основного цвета (красный, зеленый, синий). Такая система позволяет не применять интерполяцию, но при этом происходит сложный процесс считывания и хранения накопленного заряда, что технологически не компенсирует исключение интерполирования.
288
Поэтому автором статьи была предложена система цветоделения на основе двухслойных сенсоров, что позволяет не только упростить интерполирование, но и применить дополнительный инфракрасный слой для получения мультиспектрального приемника [17].
Так как разработанные шаблоны не являются типичными, необходимо разработать методику интерполяции для каждой. На примере данных трех матриц рассмотрим применение линейного, адаптивного методов и метода Киммеля [18].
Целью работы является применение интерполяции для двухслойных матричных фотоприемников. Основная задача - доказать упрощение стандартных методов интерполяции для разработанных двухслойных шаблонов.
Эти методы являются наиболее распространенными. Также математический аппарат этих методов достаточен для разработанных шаблонов, т.к. применение двух слоев в одной ячейке не будет вызывать такого муар-эффекта [19], как байеровский шаблон.
Разработанные шаблоны. Разработанные автором шаблоны матричных фотоприемников являются гибридом пространственных систем цветоделения RGBG и многослойных систем цветоделения на основе кремния Foveon Х3 [15]. Представленные разработки позволяют уменьшить шумы в матричном фотоприемнике за счет уменьшения одного слоя в ячейке, при этом позволяет ввести слой регистрации инфракрасного спектра (рис. 1).
в г
Рис. 1. Матрицы с шаблонами систем цветоделения: а - шаблон ЛОНО; б - шаблон-1 (1г+01г+1г+Б0); в - шаблон-2 (Я1г+01г); г - шаблон-3 (БЯ+ОТг)
Шаблоны представлены в нескольких вариантах. Наиболее полная информация о разработанных шаблонах представлена в источниках [20, 21].
Первый вид шаблона представляет собой приемник, включающий однослойные ячейки с инфракрасным слоем (покрывают половину сенсора) и двухслойные ячейки с парами синего-зеленого и зеленого-красного слоев (рис. 1, б). Такой шаблон ориентирован на зрительную систему человека и регистрацию инфракрасного спектра. Тогда получается шаблон на основе четырех ячеек.
В следующем виде шаблона в каждой ячейке размещен слой регистрации инфракрасного излучения, сверху которого расположены слои синего, зеленого и красного излучения (рис. 1, в). Таким образом, реализована система RGBG на подложке для инфракрасного спектра. В этом варианте шаблон также основан на четырех ячейках.
Третий вид шаблона представляет собой приемник, сенсорная область которого поровну делится между четырьмя видами спектрального излучения (рис. 1, г). Подобный шаблон основан только на двух ячейках.
Для простоты описания методики интерполирования цвета в каждой ячейке введены координаты i и j для слоя (рис.1), тогда цвета ячейки будут иметь двухкоординатный номер: Rij, Gij, Ву, 1гу. Кроме этого каждая ячейка пронумерована слева-направо и сверху-вниз.
Представленная методика интерполирования - одна из самых простых. Основные недостатки - изображения получаются зашумленные и включают различные артефакты. Таким образом, рассмотренный метод прост в использовании, но является достаточно грубым: значения усредняются в рамках четырех ячеек, что приводит к муар-эффекту. Поэтому необходимы методы работающие с большим количеством ячеек при поиске неизвестного основного цвета.
Применение адаптивного метода. Наиболее распространенные - адаптивные методы [3, 9-10, 18]. Существуют различные виды адаптивной интерполяции изображений, к которым также можно отнести edge-адаптивный метод (крае-адаптивный) и метод Киммеля (как разновидность адаптивного). Основой этого метода является поиск основных цветов через зеленый цвет. Чем более точно будет определен этот цвет, тем качественнее будет полноцветное изображение. Поэтому этот метод наиболее подходит для матричных фотоприемников на основе цветоделения, где превалируют зеленые светофильтры, как в шаблоне RGBG.
Рассмотрим работу адаптивного метода на разработанных шаблонах, представленных на рис. 1, а, б, в. Применение этого метода на стандартном шаблоне RGBG (рис. 1, а) подробно описано в источнике [18].
В шаблоне-1 для 6 ячейки следует определить цвета G, R и В. Эти цвета можно рассчитать через значения двух других. При интерполяции адаптивным методом необходимо определить производные цвета Б и веса этих цветов Е слоев:
Б (022)—^^; Бу (22)=; Б (Ви)=^В2; Б (Л22)=^^
1 . 1 . 1
Е —___5 Е —_-_' Е —
Х-/,-, ---I -¿-"И
12 ф+Б2(в22) + /Г((;п) 32 ^+/)Ч((22)+б2^) 21 Т^+БЧ^НБ^)
1
Е
23
ф + Б2^) + Б 2((2З)
Аналогично для 6 ячейки можно определить Е и с помощью синего цвета:
1 . 1
Е12 I--;--- Е32 '
+ Б2 (В 22 ) + Б2( вп) 32 д/1 + Б 2(В22) + Б 2( В32)
и красного цвета
Е21 I-^---^-- Е23 "
+ Б2( Л22) + Б 2( Я,,) 23 л/1 + Б 2( Л22) + Б 2( ^23)
Теперь следует определить (:
021Е21 + а„ Е12 + (32 Е33 + (Е
— ■
21 21 ^12^12' "3^32 23 23 Е21 + Е12 + Е32 + Е23
Для этой ячейки В следует определять следующим образом:
В22 —
-Ч2М2 ' 32 32 Е12 + Е32
Расчет значения красного цвета аналогичен расчету синего:
Я Е + Я Е
21 21 23 23
Я22 —-----
Е + Е
21 23
Для 7 ячейки необходимо определить R и IR. Но красный цвет адаптивным методом в данном случае определить не получится: следует применить линейный.
Параметр Ж определяется следующим образом:
/Я — /Я13 + /Я22 + /Я42 + /Я33
23 4
Для 10 ячейки следует определить значение В и Ж. Цвет В для этой ячейки не определяется адаптивным методом, поэтому следует применить линейный метод. Найдем /Я для 10 ячейки также как и для 7 ячейки:
т — /Я22 + /Я!3 + /Я33 + /Я24
32 4
Для 11 ячейки следует определить G, R, В цвета:
Бх((33) — ; Бу((33) — ; БХ(Я33) — ^^; Бу(В33) — ;
Е — 1 ; Е — 1 ; Е — 1 .
32 Ф + Б20 + Б2 ((32 ) 23 43 л/1 + Б 2(33) + Б2 ((43)
290
1
Е — - 1
34
+ В \Оъъ) + В 2(Ом)
Аналогично можно определить Е и с помощью красного цвета для 11 ячейки:
Е — 1 ; Е —. 1
-£^23 ' л!/Л1
и синего цвета
ф + В2( Я33) + В 2(^2З) 43 ^ + В2( Я33) + В2( Я43)
1 ■ „ 1
Е32 I- Е3 4 "
+ В2( Л'зз) + В ^ 34 ^ + В2( В33) + В2( В34)
Теперь определим О:
33
Теперь найдем для этой ячейки В: Аналогично, как и для В, рассчитаем R:
О Е + О Е + О Е + О Е
о 32^32 ^ 23 23 43 43 ^34^34
Е32 + Е23 + Е43 + Е34
В Е + В Е
В — ¿->32^32^ 34 34 В33 Е + Е
32 34
В Е + В Е
Я — 23 23 43 43
33 Е + Е
23 43
Адаптивный метод получается сложнее, но качественнее, чем линейный.
На примере шаблона-1 рассмотрим применение адаптивного метода. Для ячеек типа 7 и 10 необходимо определить только один недостающий основной цвет красный или синий, соответственно. При этом зеленый присутствует в каждой ячейке видимого цвета, что уже упрощает поиск недостающих цветов. Подобная схема проще, чем для систем RGBG. Если же учитывать, что в предложенных шаблонах присутствует слой для инфракрасного излучения, то необходимо еще и определение Ж. Однако даже этот факт не усложняет алгоритм, за счет двухслойной структуры приемника.
Для шаблона-2 применим адаптивный метод. Схема размещения слоев в этом шаблоне аналогична RGBG, но каждый слой также регистрирует и ИК излучение, что повышает функциональность приемника.
В шаблоне для 6 ячейки применяется линейный метод. Для 7 ячейки необходимо найти цвета R и В. Определить эти цвета можно следующими способами:
1) более сложный способ, основанный на поиске показателя Е;
2) упрощенный способ, основанный на элементах линейного метода.
Реализация первого способа начинается со следующего поиска:
В - В Я - Я
Вх (В32) — ; ВУ (Я32) — ;
Е — 1 ; Е — 1 ; Е — 1
ф+В2(Я32)+В2(Я13) 33 ф+В2(Я32) + В2(Я33) 22 ф+В2(В32)+В2(В22)
1
Е —-
42
41+В2( В32)+В 2( В42)
После того как нашли Е, найдем теперь я и В:
Я Е + Я Е ■ В Е + В Е
Я — 43^13 т -"33^33 ; В — -"22^22 т 42 22
32 Е + Е 32 Е + Е
13 33 22 42
Для 10 ячейки необходимо найти красный и синий цвета:
я - Я В - В
ВX (Я23) — Я^Я33; Ву (В23) — ^^
Е — 1 ; Е — 1 ; Е — -£-'22 '--<- -£^33
+ В2( В23) + В2( В22) 24 Л/1 + В 2( В23) + В 2( В24) 33 ^ + В2( Я23) + В 2( Я33)
1
Е13—-
+ В 2( Я23) + В 2( Я13) После того как нашли все Е, определяются значения Я и В:
Я Е + Я Е В Е + В Е
Я — Ч3М3 т ^33^33 ; В — 22 22 24 24
23 Е + Е 23 Е + Е
13 33 22 24
Для 11 ячейки адаптивный метод не подходит, следует использовать линейный.
Рассмотрим адаптивный метод на примере шаблона-3. В этом приемнике ячейкам типа 6 необходим поиск одного основного цвета - зеленого, ячейкам типа 7 - два основных цвета - синего и красного. Поиск инфракрасного требуется только для ячеек типа 6.
Определим D и Е этих цветов:
1
Вх (О22) — ; Ву (О22) —
За счет строения матрицы, остальные значения D не требуют расчетов: ВХ^(В22) = В22, Ди(В22) = В22, Д^(Я22) = Я22, Вус(Я22) = Я22.
Е —_1_
22
ф + В2 (О32 ) + В2(О22)
Далее определяются следующие значения Е: Е21 = О21, Е12 = О12, £32 = О32, £23 = О23, £11 = В11, Е33 = £зз, £31 = В31, Е13 = В13.
Для цвета G определим edge-адаптивным методом следующим образом:
О Е + О Е + О Е + О Е
О — 21 21 ^12М2 ^ ^32^32 ^ 23 23 Е21 + Е12 + Е32 + Е23
Значение /Я определим аналогично:
^Я — /Я21Е21 + /Я12 Е12 + /Я32 Е32 + /Я23Е23 Е21 + Е12 + Е32 + Е23
Реализация второго способа начинается с поиска основных цветов для ячейки типа 7:
Найдем В и Е с помощью разности цветов:
В - В В - В Я - Я Я - Я
Вх (В32) — ^^; Ву (В32) — ^^; Вх (Я32) — ; Ву (Я32) — ^^
Для D производится присвоение значения слоя ячейки: Д^(Оз2) = О32, Вуй(Оз2) = О32.
Далее Е присваивается значение слоя в ячейке: Е32 = О32, Е21 = О21, Е43 = О43, Е41 = О41, Е23 = О23, Е22 = В22, Е31 = £31, Е42 = В42, Е33 = В33.
Составим уравнение для Я и В edge-адаптивным методом:
Я31Е31 + Я22Е22 + Я42Е42 + Я33Е33 ; о В31Е31 + В22Е22 + В42Е42 + В33Е33
Я32 —- В32 —-
Е31 + Е22 + Е42 + Е33 Е31 + Е22 + Е42 + Е33
Для 7 ячейки лучше воспользоваться edge-адаптивным методом.
В результате анализа, можно заметить, что получился алгоритм, где применяются интерполяции и адаптивного, и линейного методов.
Применение метода Киммеля. Алгоритм метода Киммеля включает в себя три этапа: 1) интерполяция зеленого цвета; 2) интерполяция красного и синего цветов с использованием интерполированного зеленого цвета; 3) стадия коррекции.
Также как и в адаптивном методе применяются промежуточные выражения: производные цвета В и веса этих цветов Е. Недостающий зеленый пиксель вычисляется как линейная комбинация из 4 ближайших соседей этого пикселя. Вычисляются веса Ei в линейной комбинации из вероятности того, что искомый пиксель Gi принадлежит тому же объекту изображения, что и исследуемый. Стандартная реализация алгоритма Киммеля предполагает использование 3 итераций для коррекции красного и синего цветов [3, 18].
Применим метод Киммеля к разработанным матрицам.
Для Шаблон-1 выражения для 6 ячейки примут вид:
в* (О32)—^^; ВуЛ (О32)—; Вы (Я32)—^^; ВуЛ (Я32)—^^
Найдем Е с помощью зеленого цвета:
е —_1_; Е —_1_; Е — _ 1
11,32 1 1 1
41 + В2(О23) + В2 (О32 ) 21 41 + В2 (О32 ) + В2(О21) 23 41 + В2 (О32 ) + В2 (О23)
1 ■ „ 1
Е41 I- Е43 "
41 + В2 (О32) + В2 (О41) 43 + В2 (О32) + В2 (О43)
Найдем Е с помощью красного цвета:
.Е- . 1 ; .. . 1 ; Е —- 1
32
+ В2( Я23) + В2( Я32) 21 + В2( Я32) + В2( Я21) 23 ^/1 + В2( Я32) + В 2( Я23)
Е — 1 ; Е —. 1
41 + В2(Я32) + В2(Я41) 43 + В2(Я32) + В2(Я43)
Находим Я для 7 ячейки через интерполяцию красного цвета с помощью зеленого и синего:
Е + Е + е + Е _Я23 Е Я21 + Е + Е + Е ^з.
21 о 43 О 41 О 23 О 21 В 43 В 41 В 23 В
Я — О О21_О43_°41_О23 ; Я — В В21_£43_В41_В23
32 32 Е + Е + Е + Е 32 32 Е + Е + Е + Е
21 43 41 23 21 43 41 23
Если определять красный цвет через синий для 7 ячейки, то первоначально необходимо найти интерполяционные значения В для ячеек 2, 4, 10, 12, что усложняет нахождение красного цвета во много раз, и использовать такое уравнение не рационально. В определении красного цвета через зеленый такого недостатка нет, так как уже известны значения зеленого цвета для 2, 4, 10, 12 ячеек.
Для 10 ячейки необходимо найти синий цвет и ИК излучение:
БхЛ ((в) — ; Бу, ((23) — ; Бы (В23) — ^^; Б, (В23) —
Е — 1 ; Е — 1 ; Е __ 1
+ Б2 ((32) + Б 2((в) 12 + Б 2((в) + Б 2((,2) 32 + Б2 ((23) + Б 2(32)
Е — 1 ; Е —. 1
+ Б2((23) + Б2((,4) 34 ф + Б2((23) + Б2 ((34)
Аналогично можно определить Е и с помощью синего цвета для 10 ячейки:
Е — 1 ; Е — 1 ; Е — 1
-£-'12 1 -£-"20 <- -£-'1 л
+ Б 2( В23) + Б 2( В,2) 32 + Б 2( В23) + Б 2( В32) 14 д/1 + Б 2( В23) + Б 2( Вм)
1
Е —-
34
+ Б 2( В23) + Б 2( В34) Найдем синий цвет через зеленый и красный:
Е + Е + Е + Е В.± Е ёик + Е + Е + Е В14
12 ( т 34 ( т 32 ( т 14 ( 12 Я т 34 я т ^32 Я т ^14 Я
В — ( (12_(34_(32_(14 ; В — Я Я12_Я34_Я32_Я14
23 ^23 ^ , ^ , ^ , ^ 23 23
Е12 + Е34 + Е32 + Е14 Е12 + Е34 + Е32 + Е14
Если определять синий цвет через красный для 10 ячейки, то первоначально необходимо найти интерполяционные значения Я для ячеек 5, 7, 13, 15 что усложняет нахождения синего цвета во много раз, и использовать такое уравнение также не рационально. В нахождении синего цвета через зеленый этот недостаток отсутствует, так как уже известны значения зеленого цвета для 5, 7, 13, 15 ячеек.
Рассмотрим алгоритм для Шаблон-2. Для 6 ячейки необходимо найти зеленый цвет и красный излучение:
Б* — ^^; Бу (Оц) — ; Бы (Яи) — ^Ь^3; Б, (Яи) — Я" Я
2 уЧ 227 2 22' 2^2 уЛК 22' 2л/2
Е — 1 ; Е — 1 ; Е — 1
-£-'21 I--I- -£-'1')
л/1 + Б2((22) + Б 2 ((ц ) 23 V1 + Б 2((22) + Б 2((23) 12
1
Е —-
32
+ Б 2((22) + Б2 ((32 ) Аналогично можем найти Е и с помощью красного цвета для 6 ячейки:
Е11 , 1 ; Е33 , 1 ; Е31 —
+ Б 2( Я22) + Б 2( Яп) 33 + Б 2(Я22) + Б 2( Я33) 31 + Б2( Яц) + Б2( Я31)
1
Е13 — -
+ Б2( Я22) + Б 2(Я13) Определим зеленый и красный цвет:
( — (21Е21 + (23Е23 + (12Е12 + (32Е32 . Я — Я11Е11 + Я33Е33 + Я31Е31 + Я13Е13
Е21 + Е23 + Е12 + Е32 Е11 + Е33 + Е31 + Е13
Для 7 ячейки необходимо найти красный и синий цвета:
В - В Я - Я
б* (В32) — ^^; Бу (Я32) — ^^;
1 . 1 . 1
е — ' Е — ' Е —
л/1 + Б 2( В32) + Б 2( В22) 42 V1 + Б2( В32) + Б2( В42) 31 д/1 + Б Ч^) + Б2( Я31)
1
Е33 — -
+ Б 2(Я32) + Б 2( Я33) После того как нашли необходимые Е, перейдем к нахождению синего цвета:
В Е + В Е
В — -^22 22 42 42
32 Е + Е
22 42
Далее можно определить R:
Я Е + Я Е
31 31 33 33
Я32 — --
Е31 + Е33
Этим же способом найдем В через зеленый цвет:
И И И И
Е 1121 + Е + Е + Е
21 ( 41 ( 23 ( 43 ( В — ( (21_(41_(23_°43
32 32
Е + Е + Е + Е
21 41 23 43
1
Для 11 ячейки необходимо найти зеленый и синий цвета:
В22 В4 4 ■ г-. / т) \ В42 В'
->уй (В33
О23 - О..
О32 - О3,
В„(Взз)—в*(Взз)—Вх(Озз)—Ву(Озз)—- 32 34
Е —
22
Е —
24
2^2 1
Е —-
2 л/2 * 33'
1
2
Е —-
у 33 2
1
+ В2(Взз) + В2(В22) 44 V1 + В2(Взз) + В2(В44) 42 + В2(В33) + В2 (В42)
1 ■ 1 ■ 1
Е —-
Е —-
^ Л"}
71 + В2(В33) + В2(В24) 23 л/1 + В2(Озз) + В2(О23) 43 + В2(Озз) + В2(О43)
1 ■ 1
Е —-
32
Е —-
+ В2(Озз) + В2 (О32) 34 + В2(Озз) + В2 (О34) После того как нашли необходимые Е, перейдем к нахождению синего цвета:
ВЕ + ВЕ + ВЕ + В Е
Взз —
22 22 44 44 42 42 24 24 Е22 + Е44 + Е42 + Е24
Далее можно определить R:
О Е + О Е + О Е + О Е
О — 23 23 43 43 ^32^32 ^ ^34^34 Е23 + Е43 + Е32 + Е34
Рассмотрим алгоритм для шаблона-3. Для 6 ячейки необходимо найти зеленый цвет и ИК излучение. Найдем В и Е с помощью разных цветов:
Вх (О22) — ; Ву (О22) — ^^
Значение D определяется слоем ячейки: Дкг(О22) = В22, Ву^(022) = £22, Вх^(022) = Я22, Вус(02г) = Я22.
1
Е —-
22
л/1 + в2 (о32) + в 2 (о 22 )
Другим значениям Е присваивается значение слоя в ячейке: Е21 = О21, Е12 = О12, £32 = О32, Е23 = О23, Е11 = В11, Езз = Взз, Е31 = В31, Е13 = В13.
Найдем зеленый цвет интерполяцией через красный и синий цвета:
£11011 + £33 0-1 + £31+ £13 013
О О О О
Е 11 + Е зз + Е °31 + Е ^13
1 ^33 1 -1.^31 1 -1.^13 11 33 31 13
О — Я Я11 Я33 Я31 Я13 ; О — в В11 Взз В31 В13
£11 + £33 + £31 + £13
£11 + £33 + £31 + £13
Сравнивания edge-адаптивный метод [21] и интерполяцию по диагонали зеленого цвета через синий и красный, более качественный и простой является edge-адаптивный. При интерполяции зеленого цвета по диагонали, предварительно необходимо найти В и Я для ячеек 1,3,9,11, что усложняет нахождения зеленого цвета. Для 7 ячейки необходимо найти красный и синий цвета: Определим В и Е:
В - В В - В Я - Я Я - Я
Вх (£32)—В22-В42; Ву (£32)—Вз1-Вз; Вх (Я32)—^^; Ву (Я32)—
Для остальных D производится присвоение значения слоя ячейки: Вх^(0з2) = £32, Ву^(0з2) = £32. Далее также, как и в предыдущих расчетах Е присваиваются значения слоя в ячейке: £32 = О32, £21 = О21, £43 = О43, £41 = О41, £23 = О23, £22 = £22, Е31 = £31, £42 = В42, Езз = Взз. Найдем Я и В интерполяцией через зеленый цвет:
Е Я21 + Е + Е Я41 + Е Я23 Е В21 + Е В3 + Е В41 + Е ^з.
21 о 43 О 41 О 23 о 21 О 43 О 41 О 23 О
Я — О 021_043_°41_023 ; В — О 021_043_041_023
32 32 ^ . ^ . ^ , ^ 32 32
£21 + £43 + £34 + £23
£21 + £43 + £34 + £23
Сравнение методов интерполяции
Название 1 - RGBG; Количество Применение Применение Упрощение в
метода 2 - шаблон-3 задействованных линейных уравнений квадратных раз
пикселей уравнений
Адаптивный метод 1 4 4 4 2
2 2 2 2
Метод Киммеля 1 6 11 4 1,3
2 4 11 2
В методе интерполяции через зеленый цвет есть один недостаток: необходимо для ячеек 2, 4, 10, 12 интерполировать значения В и Я. Поэтому для 7 ячейки лучше воспользоваться адаптивным методом. Из представленного алгоритма видно: для половины ячеек значения Е и D не требуют вычисления.
Результаты. В результате анализа интерполяции каждого шаблона, можно прийти к выводу: наиболее простого алгоритма удалось добиться при использовании шаблон-3 (рис. 1, г). Этого можно было ожидать, так как шаблон-1 и шаблон-2 основаны на четырех ячейках, хотя и включают слои инфракрасного спектра.
Поэтому его можно взять как за основу при сравнении с интерполяцией шаблона байеровского типа RGBG [18]. Качественно оценить методику будет возможно при получении снимков с разработанных шаблонов.
Поэтому на данный момент можно численно сравнить разработанные и стандартные шаблоны по количеству задействованных пикселей, наличие линейных и квадратных уравнений. Таким образом, численные критерии каждого метода представлены в таблице.
Заключение. В исследовании представлен алгоритм интерполяции, разработанный автором, для шаблонов матричных фотоприемников на основе двухслойной структуры кремния. Разработанный метод основан на смешении трех методов: линейной интерполяции, адаптивного метода и метода Киммеля. Если учитывать, что адаптивный метод также использует элементы линейной интерполяции, а метод Киммеля является разновидностью адаптивного метода, то результат разработки можно обозначить следующим образом: модификация адаптивного метода под двухслойные матричные фотоприемники.
Структура самого приемника позволяет упростить устоявшиеся алгоритмы адаптивного метода за счет регистрации двух основных цветов в одной ячейки. На пример, в шаблоне-1 для ячеек типа 7 и 10 необходимо определить только один недостающий основной цвет красный или синий, соответственно. При этом зеленый присутствует в каждой ячейке видимого цвета, что уже упрощает поиск недостающих цветов. Подобная схема проще, чем для систем RGBG. Если же учитывать, что в предложенных шаблонах присутствует слой для инфракрасного излучения, то необходимо еще и определение IR. Однако даже этот факт не усложняет алгоритм, за счет двухслойной структуры приемника. Для шаблона-2 схема размещения слоев в этом шаблоне аналогична RGBG, поэтому алгоритмы будут схожи. Но каждый слой в разработанном шаблоне также регистрирует и инфракрасное излучение, что повышает функциональность приемника. В шаблоне для 6 ячейки использовать адаптивный метод нельзя, поэтому применяется линейный. Для 7 ячейки определить красный и синий цвета предложено двумя способами. В шаблоне-3 для ячейки типа 6 необходим поиск одного основного цвета - зеленого, ячейкам типа 7 - два основных цвета - синего и красного. Поиск инфракрасного требуется только для ячеек типа 6.
Тогда получаем алгоритм, в котором смешаны адаптивный и линейный методы интерполяции. Применение метода Киммеля лишь немного упрощает алгоритм интерполяции для двухслойных систем за счет сложности самой методики расчета. Упрощение алгоритма можно заметить по сокращению выражений для поиска основных цветов по сравнению с системой RGBG. Таким образом, при подсчете количества уравнений и задействованных пикселей, можно сделать вывод: применение адаптивного метода для двухслойных систем упрощает алгоритм в 2 раза, а при методе Киммеля - в 1,3 раза. А если еще и учесть наличие в предложенных системах слоев для инфракрасного излучения - достоинство разработок становится очевидным.
Представленный алгоритм интерполяции разработанных шаблонов позволит применять эти матричные фотоприемники для таких областей как аэрофотосъемка, зондирование земли, макросъемка.
Благодарности. Исследование выполнено за счет гранта Российского научного фонда № 21-79-00012, https://rscf.ru/project/21-79-00012/
Список литературы
1. Losson O., Macaire L., Yanqin Yang. Comparison of color demosaicing methods // Advances in Imaging and Electron Physics. 2010. pp.173-265. D0I:10.1016/S1076-5670(10)62005-8.
2. Bayer T. Color imaging array/ U.S. Patent 3,971,065 B. 1976.
3. Kimmel R. Demosaicing: image reconstruction from CCD samples [Электронный ресурс] // IEEE Trans. Image Processing, vol.8, no. 9, 1999. P. 1221-1228.
4. Ning Lu, Zhiwu Lu. Method and system for interpolating missing picture elements in a single color component array obtained from a single color sensor. U.S. Patent 5805217 A. 1998.
5. Zapryanov G., Nikolova I. Comparative Study of Demosaicing Algorithms for Bayer and Pseudo-Random Bayer Color Filter Arrays // International Scintific Conference Computer Science'2008, Technical Universiti of Sofia, Computer Systems Department, Sofia, Bulgaria. 2008. pp. 133-139.
6. Li J. A solution method for image distortion correction model based on bilinear interpolation / J. Li, J. Su, X. Zeng // Computer Optics. 2019. Vol. 43. Iss. 1. P. 99-104. DOI: 10.18287/2412-6179-2019-43-1-99-104.
7. Claude Duchon. Lanczos Filtering in One and Two Dimensions // Journal of Applied Meteorology.1979. Vol. 18(8). pp. 1016-1022.
8. Gashnikov M. V. Adaptive interpolation based on optimization of a decision rule in a multidimensional feature space / M. V. Gashnikov // Computer optics. 2020. T. 44, No. 1. pp. 101-108.
9. Chervyakov N. I., Lyakhov P. A., Orazaev A. R. Two methods of adaptive median filtering of pulse noise in images // Computer optics. 2018. Vol. 42, No. 4. P. 667-678. DOI: 10.18287 / 2412-6179-2018-42-4-667-678.
10. Thanh DNH, Prasath VBS, Son NV, Hieu LM. An adaptive image inpainting method based on the modified Mumford-Shah model and multiscale parameter estimation // Computer Optics. 2019. 43(2). P. 251-257. DOI: 10.18287/2412-6179-2019-43-2-251-257.
11. Li X., Orchard M.T. New Edge-Directed Interpolation // IEEE Trans. on Image Processing. 2001. Vol. 10(10). pp.1521-1527.
12. Shuai Yuan, Masahide Abe, Akira Taguchi, Masayuki Kawamata1. High accuracy WADI image interpolation with local gradient features // Conference: Intelligent Signal Processing and Communication Systems. 2005. P. 85-88. DOI:10.1109/ISPACS.2005.1595352.
13. Gray A. et al. Vertically integrated solid state color imager. U.S. Patent 4581625. 1987.
14. Harold F. Langworthy. Color sensor using dichroic mirrors to displace components. U.S. Patent 4654698.
1987.
15. Merrill R.B. Color Separation In An Active Pixel Pit Imaging Array Using A Triple-Well Structure. U.S. Patent 5,965,875. 1999.
16. Richard F. Lyon, Paul M. Hubel. Eyeing the Camera: into the Next Century // International Conference on Communications in Computing. 2002. V. 17. N 6.
17. Zhbanova V.L., Parvulyusov Yu.B., Solomatin V.A. Multispectral matrix silicon photodetectors with the IR range registration // Journal of Physics: Conference Series. 2020. Vol. 1679. №022039. DOI: 10.1088/17426596/1679/2/022039.
18. Alexey Lukin, Denis Kubasov. An Improved Demosaicing Algorithm // Graphiconi2004 conference proceedings. 2004. P. 1-8.
19. Гурьянова О. А., Филимонова Е. В. Исследование муарообразования при репродуцировании информации с применением программных методов // Прикладная информатика. 2019. 3(81). С. 113-128. DOI: 10.24411/1993-8314-2019-10020.
20. Solomatin V.A., Zhbanova V.L. Influence of photodetector-array patterns on spatial-frequency response // Journal of Optical Technology (A Translation of Opticheskii Zhurnal). 2021. 88(12). P. 722-728. DOI:10.1364/JOT.88.000722.
21. Zhbanova V.L., Parvulusov Y.B. Investigation of optical phenomena in multispectral matrix photodetector based on silicon // Scientific and Technical Journal of Information Technologies, Mechanics and Optics. 2022. 22(5). P. 903911. DOI:10.17586/2226-1494-2022-22-5-903-911.
Жбанова Вера Леонидовна, канд. техн. наук, доцент, [email protected], Россия, Смоленск, Филиал Национальный исследовательский университет «МЭИ» в г. Смоленске,
Парвулюсов Юрий Борисович, канд. техн. наук, профессор, заведующий кафедрой [email protected], Россия, Москва, Московский государственный университет геодезии и картографии
COMPARISON OF FEATURES OF THE ADAPTIVE INTERPOLATION METHOD AND THE KIMMEL METHOD FOR
DOUBLE-LAYER MATRIX PHOTO DETECTORS
V.L. Zhbanova, Yu.B. Parvulyusov
The subject of research is the method of interpolation of two-layer type matrix photodetectors. Each template allows you to get a multispectral image in the visible and infrared range. Three templates, each with a specific functionality: improved infrared or visible performance, and a template with equal functionality. The main advantage of the developed systems is the simplification of the interpolation algorithm. The aim of this work is to develop an interpolation method for two-layer matrix photodetectors. Methods. The study presents an interpolation algorithm for the developed systems using the adaptive method and the Kimmel method. When using these methods on standard patterns of matrix RGBG photodetectors, it is necessary to find two primary colors for each pixel. For the developed systems, the algorithm is simplified: for each cell, it is necessary to find one missing primary color. Thus, the processing algorithm decreases, the amount of memory required and, consequently, the processing speed increases. Main results. An algorithm was obtained in which adaptive and linear interpolation methods are mixed. The application of the Kimmel method only slightly simplifies the interpolation algorithm for two-layer systems due to the complexity of the calculation procedure itself. The simplification of the algorithm can be seen in the reduction of expressions for finding primary colors compared to the RGBG system. Thus, when calculating the number of equations and involved pixels, we can conclude that the use of the adaptive method for two-layer systems simplifies the algorithm by about 2 times, and with the Kimmel method, by 1.23 times. And if we also take into account the presence of layers for infrared radiation in the proposed systems, the advantage of the developments becomes obvious. Practical significance. The presented algorithm for interpolation of the developed templates will allow the use of these matrix photodetec-tors for such areas as aerial photography, earth sounding, and macro photography.
Key words: interpolation, matrix photodetector, multispectral image, adaptive method, Kimmel, infrared.
Zhbanova Vera Leonidovna, candidate of technical sciences, docent [email protected], Russia, Smolensk, Branch of National Research University "Moscow Power Engineering Institute" in Smolensk,
Parvulyusov Yuriy Borisovich, candidate of technical sciences, professor, head of the department, [email protected], Russia, Moscow, Moscow State University of Geodesy and Cartography
