Научная статья на тему 'Параметризованная интерполяция при комплексировании многомерных сигналов различного разрешения'

Параметризованная интерполяция при комплексировании многомерных сигналов различного разрешения Текст научной статьи по специальности «Компьютерные и информационные науки»

CC BY
74
13
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
КОМПЛЕКСИРОВАНИЕ СИГНАЛОВ / МНОГОМЕРНЫЙ СИГНАЛ / РАЗРЕШЕНИЕ СИГНАЛА / ИНТЕРПОЛЯЦИЯ / ОПТИМИЗАЦИЯ / SIGNAL FUSION / MULTIDIMENSIONAL SIGNAL / SIGNAL RESOLUTION / INTERPOLATION / OPTIMIZATION

Аннотация научной статьи по компьютерным и информационным наукам, автор научной работы — Гашников Михаил Валерьевич

Производится адаптация параметризованных алгоритмов интерполяции к задаче комплексирования многомерных сигналов различного разрешения. Конкретизируются интерполирующие функции, правила переключения между ними и локальные признаки, на основе которых осуществляется выбор интерполирующей функции в каждой точке сигнала. Производится оптимизация параметризованных алгоритмов интерполяции, исходя из минимизации погрешности интерполяции. Рекуррентная схема оптимизации интерполятора рассматривается для ситуации недоступности интерполируемых отсчётов на этапе настройки интерполяционной процедуры. Производятся вычислительные эксперименты по исследованию предложенных интерполяторов при комплексировании реальных многомерных сигналов различных типов. Экспериментально подтверждается, что использование параметризованных интерполяторов позволяет повысить точность комплексирования.

i Надоели баннеры? Вы всегда можете отключить рекламу.
iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

PARAMETERIZED INTERPOLATION FOR FUSION OF MULTIDIMENSIONAL SIGNALS OF VARIOUS RESOLUTIONS

Parameterized interpolation algorithms are adapted to fusion of multidimensional signals of various resolutions. Interpolating functions, switching rules for them and local features are specified, based on which the interpolating function is selected at each point of the signal. Parameterized interpolation algorithms are optimized based on minimizing the interpolation error. The recurrent interpolator optimization scheme is considered for the situation of inaccessibility of interpolated samples at the stage of setting up the interpolation procedure. Computational experiments are carried out to study the proposed interpolators for fusion of real multidimensional signals of various types. It is experimentally confirmed that the use of parameterized interpolators allows one to increase the accuracy of signal fusion

Текст научной работы на тему «Параметризованная интерполяция при комплексировании многомерных сигналов различного разрешения»

Параметризованная интерполяция при комплексировании многомерных сигналов различного разрешения

М.В. Гашников1,2

1 Самарский национальный исследовательский университет имени академика С.П. Королёва, 443086, Россия, Самарская область, Самара, Московское шоссе, д. 34;

2 ИСОИ РАН - филиал ФНИЦ «Кристаллография и фотоника» РАН, 443001, Россия, Самарская область, Самара, ул. Молодогвардейская, д. 151

Аннотация

Производится адаптация параметризованных алгоритмов интерполяции к задаче ком-плексирования многомерных сигналов различного разрешения. Конкретизируются интерполирующие функции, правила переключения между ними и локальные признаки, на основе которых осуществляется выбор интерполирующей функции в каждой точке сигнала. Производится оптимизация параметризованных алгоритмов интерполяции, исходя из минимизации погрешности интерполяции. Рекуррентная схема оптимизации интерполятора рассматривается для ситуации недоступности интерполируемых отсчётов на этапе настройки интерполяционной процедуры. Производятся вычислительные эксперименты по исследованию предложенных интерполяторов при комплексировании реальных многомерных сигналов различных типов. Экспериментально подтверждается, что использование параметризованных интерполяторов позволяет повысить точность комплексирования.

Ключевые слова: комплексирование сигналов, многомерный сигнал, разрешение сигнала, интерполяция, оптимизация.

Цитирование: Гашников, М.В. Параметризованная интерполяция при комплексировании многомерных сигналов различного разрешения / М.В. Гашников // Компьютерная оптика. - 2020. - Т. 44, № 3. - С. 436-440. - DOI: 10.18287/2412-6179-CO-696.

Citation: Gashnikov MV. Parameterized interpolation for fusion of multidimensional signals of various resolutions. Computer Optics 2020; 44(3): 436-440. DOI: 10.18287/2412-6179-C0-696.

Введение

С увеличением разнообразия устройств регистрации многомерных сигналов растёт и количество практических ситуаций [1 -6], когда данные нескольких устройств регистрации анализируются совместно. При этом возникает задача комплексирования [1- 2] разнородных многомерных сигналов, которые могут различаться, прежде всего, разрешением (а также количеством спектральных компонент, разрядностью отсчётов, ракурсом и временем съёмки и т.д.).

Комплексирование активно используется при обработке спутниковых снимков [2-3] (в том числе муль-тиспектральных и гиперспектральных) и аэрофото [4], при совмещении данных различных спектральных диапазонов (включая инфракрасный) [5-6] и т.д.

При комплексировании информация из одного или нескольких сигналов собирается в один сигнал. Для этого могут использоваться такие алгоритмы, как равновесное и взвешенное суммирование [1], суммирование на основе максимальных контрастов [5], комплексирование с использованием вейвлет - и кон-турлет-преобразований, алгоритмы на основе нечёткой логики и пирамид Лапласа [7] и др.

Независимо от используемого алгоритма перед собственно комплексированием исходные сигналы должны быть согласованы геометрически и приведены к единому разрешению. Для приведения разреше-

ния сигнала к требуемому обычно используется тот или иной алгоритм интерполяции.

Чаще всего при этом используются алгоритмы типа прямоугольной или билинейной интерполяции [8-9], однако допустимым является также использование более сложных подходов: от контекстных алгоритмов вида new edge directed interpolation [10] или directional cubic convolution interpolation [11] до алгоритмов, основанных на машинном обучении, в частности нейронных сетях [12-13].

В данной работе при решении задачи комплекси-рования многомерных сигналов предлагается использовать параметризованные интерполяторы, подход к построению которых рассмотрен в [14] в рамках задачи компрессии сигналов. Эти алгоритмы обеспечивают адаптивность интерполяции за счёт переключения между простыми интерполяционными формулами в каждой точке сигнала, что не приводит к существенному росту вычислительной сложности благодаря низкой ресурсоёмкости указанных интерполяционных формул, правил их выбора и алгоритмов оптимизации этих правил.

В данной работе рассматривается адаптация указанных параметризованных алгоритмов к задаче ком-плексирования сигналов, одно из основных отличий которой от задачи компрессии заключается в недоступности интерполируемых отсчётов на этапе настройки правила выбора интерполяционных формул.

Уменьшение количества доступной информации при настройке параметризованного интерполятора неизбежно должно сказаться на его точности, а вопрос об эффективности этого интерполятора в таких условиях может быть исследован только экспериментально.

Кроме того, использование наиболее адекватного задаче компрессии энтропийного [15] показателя качества, который применялся в [14] для оптимизации интерполятора, не только неадекватно задаче ком-плексирования, но также и нереализуемо технически из-за отсутствия квантования постинтерполяционных остатков при комплексировании сигналов. По указанной причине оптимизация параметризованного интерполятора в данной работе производится исходя из минимизации погрешности интерполяции.

В первом параграфе работы описывается параметризованный интерполятор в задаче комплексирования сигналов, а также в явном виде выписываются входящие в его состав интерполяционные формулы и правила переключения между ними. Во втором параграфе описывается автоматическая настройка параметризованного интерполятора на основе минимизации погрешности. В третьем приводятся результаты вычислительных экспериментов по исследованию эффективности параметризованного интерполятора в рамках решения задачи комплексирования сигналов.

1. Адаптивный параметризованный интерполятор в задаче комплексирования сигналов

Для упрощения изложения вынесем за рамки данной работы вопрос о геометрическом согласовании комплексируемых сигналов и будем далее считать, что Б--мерные сигналы 5 (к) и V (к) отличаются только разрешением.

1.1. Общая схема адаптивного интерполятора

Пусть для определённости разрешение сигнала s(k) вдвое хуже. Вычислим значения этого сигнала в точках вида *(к +1/2) посредством параметризованной интерполяции. Пусть интерполирующая функция Е* вычисляет это значение на основе ближайших опорных отсчётов *(к + 5):

1 ^к + -2] = Е* ({* (к +5™): т е [0,2Б )|), (1)

где вектор смещений 5т задаёт положения опорных отсчётов. Каждая компонента 5т вычисляется функцией Е5 (С, т), возвращающей бинарный разряд номер С в представлении целого числа т посредством Б-разрядного двоичного кода:

5т = (5т,...,5тв_1), 5т = Е5 (С,т), С е [0,Б) . (2)

В точке (к +1/2) вычислим несколько интерполирующих значений г (к +1/2, ') по различным парам

соседних опорных отсчёто в, расположение которых определяется смещениями 5' :

г \ к

гI к+2,'] = 1 (*((+5'')+*(к+5'')),' е[о,2Б-1) ,(3)

где 5'' = 1 - 5''.

1.2. Интерполирующие функции при комплексировании сигналов

Одна из интерполирующих функций будет эффективно интерполировать отсчёт при наличии в локальной окрестности направления, вдоль которого сигнал изменяется «достаточно слабо». Поэтому на основе значений г (к +1/2,') вычислим функцию х (к +1/2,0), выбирающую интерполирующее значение по паре отсчётов, расположенных вдоль направления наименьшего изменения сигнала

хк+2,°]=г (к+2,]

] = а^тт

к +—,' 2

(4)

определяемого минимумом модуля оценки частной производной по этому направлению

1\к + 2,' ^ = * (( + 5'')-* (к + 5''), ' е[°,2Б-1) . (5)

Если же в локальной окрестности отсутствует «достаточно выраженное» направление слабого изменения сигнала (сигнал слабо либо сильно изменяется в любом из направлений), то эффективнее будет (за счёт подавления шума) усредняющая интерполирующая функция вида

х\ к + 2,1]= * (к +5т )) .

(6)

Результирующее интерполирующее значение * (к +1/2) будет вычислено согласно (5) или (6) в зависимости от наличия или отсутствия выраженного направления слабого изменения сигнала:

* ^ к

к + 2 I = Е* (к +5т): т е [°,2Б )|):

(к+\, 1 (ф(к+2 и

(7)

где 1(...) - бинарная индикаторная функция (равна единице только при истинности аргумента), - автоматически настраиваемый параметр интерполятора, ф (к +1/2) - локальный признак, характеризующий степень выраженности направления слабого изменения сигнала в данной точке.

Способ вычисления локального признака фх основан на предположении, что при наличии выраженного направления слабого изменения сигнала модуль частной производной по этому направлению будет, во-первых, минимален и, во-вторых, будет «достаточно сильно» (больше, чем на параметр отличаться от всех остальных частных производных:

ф| k + -2 | = min

где

imin = arg min

s'| k +—,i 2

k +—, i 2

s'| k +—,im

(8)

Параметр адаптивного интерполятора для каждой реализации сигнала вычисляется автоматически посредством оптимизационной процедуры, описанной в следующем параграфе.

2. Вычисление параметров адаптивного интерполятора при комплексировании сигналов

В работе [14] для оптимизации адаптивного интерполятора при компрессии использовался критерий минимума энтропии квантованных постинтерполяционных остатков. При этом оптимизационная процедура существенным образом опиралась на доступность интерполируемых значений при оптимизации интерполятора.

При комплексировании сигналов квантованных постинтерполяционных остатков нет, так как этап квантования отсутствует. Кроме того, очевидно, что более адекватным задаче комплексирования является критерий минимума погрешности интерполяции, а не минимума энтропии.

Однако из-за отсутствия доступа к интерполируемым значениям +1/2) на этапе оптимизации интерполятора, погрешность интерполяции вычислить невозможно. Поэтому в данной работе предлагается в качестве оценки погрешности параметризованного интерполятора использовать погрешность е(|) параметризованной интерполяции имеющегося в наличии сигнала s(k) по прореженному вдвое сигналу 5(2к). Для удобства изложения запишем задачу минимизации этой погрешности в точках (2к +1):

00 = X s(2k +1) - Fs (□( +1)|

k ' '

1 (2k +1) = {s (2k + 2Sm): m e [0,2D )|.

^ min,

(9)

Опишем решение этой оптимизационной задачи. Будем заполнять матрицу Е(ф,/) погрешностей интерполирующих функций х (•, /), которые описываются формулами (4, 6), для отсчётов с локальным признаком (8), равным ф:

E (ф, i )= X |s (2k + l)-x(2k +1, i))

k :p(2k +l)=(p

ф e[ö,Ф), i e{ö,l}, Ф = max(s(()).

(lö)

При = Ф переключения между интерполирующими функциями не происходит, поэтому значение погрешности при = Ф можно вычислить следующим образом:

ф-1

S(0 = XE(ф,0), £ = Ф .

ф=0

Тогда погрешность интерполяции при всех остальных значениях параметра можно вычислить ре-куррентно:

8(1) = 8(1 +1) + E (1,1)-E (1,0), § = Ф-1,..., 0.

(11)

Массив 8(|) имеет небольшой размер, равный амплитуде Ф сигнала, поэтому оптимальный параметр

%opt = argmin 8(1)

в этом массиве можно найти перебором. Таким образом, оптимизационная задача (10) решена.

3. Экспериментальное исследование

Были проведены вычислительные эксперименты по исследованию точности комплексирования с использованием предложенного параметризованного интерполятора на реальных многомерных сигналах.

При этом использовались следующие наборы тестовых данных:

1. Видеосигналы набора [16] «Динамические сцены», полученные как движущейся, так и неподвижной камерой (пример см. на рис. 1).

2. Данные [17] гиперспектральной камеры с жидкокристаллическим перестраиваемым фильтром от 420 до 720 нм с интервалом 10 нм (пример см. на рис. 2).

Для комплексирования сигналов использовался алгоритм на основе равновесного суммирования [1]. Вычислялся относительный выигрыш

Д = 100 % -(8ы - 8par) / 8bil

по погрешности, привносимой при комплексировании, который обеспечивался заменой билинейного [8-9] интерполятора на предложенный параметризованный интерполятор на этапе приведения комплексируемых сигналов к единому разрешению (здесь 8ьи, 8рсг - погрешности комплексирования при использовании билинейного и параметризованного интерполяторов соответственно). Типичные результаты приведены на рис. 3, 4.

Нетрудно видеть, что на данных гиперспектральной камеры выигрыш предложенного алгоритма существенно больше, чем на видеосигналах. Это можно

объяснить тем, что компоненты использованных видеосигналов гораздо менее коррелированы (и более зашумлены), что подтверждается рис. 5, на котором показана зависимость коэффициента корреляции р от

нормированного номера компоненты р

Р = 100 х (Ь /В), где В — количество компонент.

Рис. 1. Пример компонент тестового видеосигнала «train»

Рис. 2. Пример компонент тестового

4

-4

А & /\

—/ v п \ \ .X. / "

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

\ / у ■■ — scy clouds - train ............. escalator ---marathon

i

0 6 12 18 24 30 36 42 48 Ъ Рис. 3. Выигрыш Л адаптивного интерполятора по точности комплексирования в зависимости от номера компоненты Ь на видеосигналах

0 10 20 30 Ъ

Рис. 4. Выигрыш Л адаптивного интерполятора по точности комплексирования в зависимости от номера компоненты Ь на данных гиперспектральной камеры

-3» гиперспектральной камеры

На более коррелированном (и менее зашумлён-ном) сигнале гиперспектральной камеры адаптивный алгоритм чаще переключается на интерполяцию по направлениям, поэтому его преимущество увеличивается.

0,98 0,96 0,94 0,92

~ - ---^ ' --- - -

---cd {гипер-

спектральная камера) -marathon (видео)

0 20 40 60 80 100 Р

Рис. 5. Зависимость коэффициента корреляции р от нормированного номера компоненты Р

Различие выигрыша адаптивного алгоритма на разных компонентах одного и того же сигнала объясняется не только изменением степени коррелирован-ности по компонентам, но также и различием выраженности протяжённых областей слабого изменения сигнала, совпадение направлений которых с ориентацией интерполирующих функций оказывает существенное влияние на эффективность адаптивного интерполятора.

Оценивая полученные результаты в целом, следует отметить, что использование параметризованного интерполятора в большинстве случаев позволяет существенно повысить точность комплексирования, выигрыш по погрешности достигает 35,9 %.

Заключение

В задаче комплексирования многомерных сигналов проведены разработка и исследование параметризованных адаптивных алгоритмов интерполяции. Алгоритмы основаны на использовании различных интерполирующих функций в разных точках сигнала. Переключение между функциями производится на основе локальных признаков специального вида, которые подаются на вход параметризованного решающего правила.

Произведена адаптация интерполирующих функций, решающих правил и алгоритмов их оптимизации для задачи комплексирования сигналов. Вычислительные эксперименты на реальных видеопоследовательностях и гиперспектральных сигналах продемонстрировали существенное (до 35,9 %) повышение точности комплексирования сигналов при использовании предложенного параметризованного интерполятора.

Благодарности

Исследование выполнено при финансовой поддержке РФФИ в рамках научных проектов № 18-01-00667 (параграфы 1.2, 2, 3) и 18-07-01312 (параграф 1.1), а также Министерства науки и высшего образования РФ в рамках Госзадания ФНИЦ «Кристаллография и фотоника» РАН (параграф «Введение»).

Литература

1. Image fusion and its applications / ed. by Y. Zheng. - Rije-ka: InTech, 2011. - 242 p.

2. Аншаков, Г.П. Комплексирование гиперспектральных и мультиспектральных данных КА «РЕСУРС-П» для повышения их информативности / Г.П. Аншаков, А.В. Ращупкин, Ю.Н. Журавель // Компьютерная оптика. - 2015. - Т. 39, № 1. - С. 77-82. - DOI: 10.18287/0134-2452-2015-39-1-77-82.

3. Герман, Е.В. Математическая модель формирования зоны неопределённости в задаче совмещения изображений / Е.В. Герман, Е.Р. Муратов, А.И. Новиков // Вестник РГРТУ. - 2013. - № 4. - С. 10-16.

4. Новиков, А.И. Комбинированный метод совмещения разнородных изображений в авиационных системах технического зрения / А.И. Новиков, А.А. Логинов, Д.А. Колчаев // Цифровая обработка сигналов. - 2017. - № 2. - С. 53-59.

5. Холопов, И.С. Реализация алгоритма формирования цветного изображения по сигналам монохромных видеодатчи-

ков видимого и длинноволнового инфракрасного дипазо-нов в цветовом пространстве YCbCr / И.С. Холопов // Компьютерная оптика. - 2016. - Т. 40, № 2. - С. 266-274. -DOI: 10.18287/2412-6179-2016-40-2-266-274.

6. Муратов, Е.Р. Методы сокращения вычислительной сложности алгоритмов совмещения разнородных изображений / Е.Р. Муратов, М.Б. Никифоров // Cloud of Science. - 2014. - T. 1, № 2. - С. 327-336.

7. Du, J. Anatomical-functional image fusion by information of interest in local Laplacian filtering domain / J. Du, W. Li, B. Xiao // IEEE Transactions on Image Processing. - 2017.

- Vol. 26, Issue 12. - P. 5855-5866.

8. Методы компьютерной обработки изображений / М.В. Гашников, Н.И. Глумов, Н.Ю. Ильясова, В.В. Мясников, С.Б. Попов, В.В. Сергеев, В.А. Сойфер, А.Г. Храмов, А.В. Чернов, В.М. Чернов, М.А. Чичева, В.А. Фурсов; под ред. В.А. Сойфера. - М.: Физматлит, 2003. - 784 с. - ISBN: 5-9221-0270-2.

9. Antoniou, A. Digital signal processing / A. Antoniou. -McGraw-Hill, 2016. - 800 p. - ISBN: 978-0-07-184603-5.

10. Solanki, P. An efficient satellite image super resolution technique for shift-variant images using improved new edge directed interpolation / P. Solanki, D. Israni, A. Shah // Statistics, Optimization & Information Computing. - 2018. -Vol. 6, Issue 4. - P. 619-632.

11. Zhou, D. Image zooming using directional cubic convolution interpolation / D. Zhou, X. Shen, W. Dong // IET Image Processing. - 2012. - Vol. 6, No. 6. - P. 627—634.

12. Кадурин, А. Глубокое обучение. Погружение в мир нейронных сетей / А. Кадурин, Е. Архангельская, С. Ни-коленко. - СПБ.: Питер, 2018. - 480 c.

13. Галеев, Д. Т. Разработка искусственной нейронной сети для решения задачи интерполяции изображений / Д.Т. Галеев, С.Ю. Мирошниченко // Оптико-электронные приборы и устройства в системах распознавания образов, обработки изображений и символьной информации. Распознавание-2018. - 2018. - С. 82-84.

14. Гашников, М.В. Оптимизация интерполятора многомерного сигнала в пространстве уменьшенной размерности / М.В. Гашников // Компьютерная оптика. - 2019.

- Т. 43, № 4. - С. 653-660. - DOI: 10.18287/2412-61792019-43-4-653-660.

15. Sayood, K. Introduction to data compression / K. Sayood. -5th ed. - Morgan Kaufmann, 2017. - 766 p.

16. Feichtenhofer, C. Dynamic scenes data set [Electronical Resource] / C. Feichtenhofer, A. Pinz1, R.P. Wildes // URL: http://vision.eecs.yorku.ca/research/dynamic-scenes (request date 19.01.2020)

17. TokyoTech 31-band hyperspectral image dataset [Electronical Resource]. -

URL: http://www.ok.sc.e.titech.ac.jp/res/MSI/MSIdata31 .html (request date 19.01.2020).

Сведения об авторе

Гашников Михаил Валерьевич, 1975 года рождения, в 1998 году окончил Самарский государственный аэрокосмический университет имени академика С.П. Королёва (СГАУ), кандидат наук, доцент. В настоящее время работает доцентом кафедры геоинформатики и информационной безопасности Самарского национального исследовательского университета имени академика С.П. Королёва, а также по совместительству в Институте систем обработки изображений - филиале ФНИЦ «Кристаллография и фотоника» РАН.

Область научных интересов: обработка многомерных сигналов, компрессия сигналов, обработка космических снимков, геоинформационные технологии. Имеет более 90 публикаций, в том числе более 30 статей и две монографии (в соавторстве). E-mail: mgash@smr.ru .

ГРНТИ: 28.17.19, 28.21.15, 28.23.15 Поступила в редакцию 3 февраля 2020 г. Окончательный вариант - 10 апреля 2020 г.

Parameterized interpolation for fusion of multidimensional signals

of various resolutions

M.V. Gashnikov12

1 Samara National Research University, Moskovskoye Shosse 34, 443086, Samara, Russia;

2IPSI RAS - Branch of the FSRC "Crystallography and Photonics" RAS, Molodogvardeyskaya 151, 443001, Samara, Russia

Abstract

Parameterized interpolation algorithms are adapted to fusion of multidimensional signals of various resolutions. Interpolating functions, switching rules for them and local features are specified, based on which the interpolating function is selected at each point of the signal. Parameterized interpolation algorithms are optimized based on minimizing the interpolation error. The recurrent interpolator optimization scheme is considered for the situation of inaccessibility of interpolated samples at the stage of setting up the interpolation procedure. Computational experiments are carried out to study the proposed interpolators for fusion of real multidimensional signals of various types. It is experimentally confirmed that the use of parameterized interpolators allows one to increase the accuracy of signal fusion

Keywords: signal fusion, multidimensional signal, signal resolution, interpolation, optimization.

Citation: Gashnikov MV. Parameterized interpolation for fusion of multidimensional signals of various resolutions. Computer Optics 2020; 44(3): 436-440. DOI: 10.18287/2412-6179-CO-696.

Acknowledgements: The work was funded by the Russian Foundation for Basic Research under RFBR grants ## 18-01-00667 (sections 1.2, 2, 3), 18-07-01312 (section 1.1) and the RF Ministry of Science and Higher Education within the state project of FSRC "Crystallography and Photonics" RAS ("Introduction" section).

References

[1] Zheng Y, ed. Image fusion and its applications. Rijeka: InTech; 2011.

[2] Anshakov GP, Raschupkin AV, Zhuravel YN. Hyperspec-tral and multispectral Resurs-P data fusion for increase of their informational content. Computer Optics 2015; 39(1): 77-82. DOI: 10.18287/0134-2452-2015-39-1-77-82.

[3] German EV, Muratov ER, Novikov AI. The mathematical model of the formation of the zone of uncertainty in the problem of combining images [In Russian]. Bulletin of the RSTU 2013; 4: 10-16.

[4] Novikov AI, Loginov AA, Kolchayev DA. The combined method of heterogeneous images fusion in aerial systems of technical vision [In Russian]. Digital Signal Processing 2017; 2: 53-59.

[5] Kholopov IS. Implementation of an algorithm for forming a color image from mono-chrome images of visible and near infrared cameras in the YCbCr color space. Computer Optics 2016; 40(2): 266-274. DOI: 10.18287/2412-61792016-40-2-266-274.

[6] Muratov ER, Nikiforov MB. Methods of reducing the computational complexity of combining disparate images [In Russian]. Cloud of Science 2014; 1(2): 327-336.

[7] Du J, Li W, Xiao B. Anatomical-functional image fusion by information of interest in local Laplacian filtering domain. IEEE Trans Image Process 2017; 26(12): 5855-5866.

[8] Soifer VA, ed. Computer image processing, Part II: Methods and algorithms. VDM Verlag Dr. Müller; 2010. ISBN: 978-3-639-17545-5.

Author's information

Mikhael Valeryevich Gashnikov (b. 1975) graduated from S.P. Korolyov Samara State Aerospace University (SSAU), PhD and associate professor. He is the associate professor at the Geoinformatics and Information Security department at Samara National Research University, as well as part-time at the IPSI RAS - Branch of the FSRC «Crystallography and Photonics» RAS. He has 90 publications, including 30 scientific papers and 2 monograph (with coauthors). His research interests are currently focused on image compression, space images processing, geoinformation technologies. E-mail: mgash@smr.ru .

[9] Antoniou A. Digital signal processing. McGraw-Hill; 2016. ISBN: 978-0-07-184603-5.

[10] Solanki P, Israni D, Shah A. An efficient satellite image super resolution technique for shift-variant images using improved new edge directed interpolation. Statistics, Optimization & Information Computing 2018; 6(4): 619-632.

[11] Zhou D, Shen X, Dong W. Image zooming using directional cubic convolution interpolation. IET Image Processing 2012; 6(6): 627—634.

[12] Kadurin A, Arkhangelskaya E, Nikolenko S. Deep learning. Immersion in the world of neural networks [In Russian]. Saint-Petersburg: "Piter" Publisher; 2018.

[13] Galeev DT, Miroshnichenko SY. Development of an artificial neural network for solving the problem of interpolation of images [In Russian]. Optoelectronic Devices and Devices in Pattern Recognition Systems, Image Processing and Symbolic Information. Recognition 2018: 82-84.

[14] Gashnikov MV. Optimization of the multidimensional signal interpolator in a lower dimensional space. Computer Optics 2019; 43(4): 653-660. DOI: 10.18287/2412-6179-2019-43-4-653-660.

[15] Sayood K. Introduction to data compression. 5th ed. Morgan Kaufmann; 2017.

[16] Feichtenhofer C, Pinz1 A, Wildes RP. Dynamic scenes data set. Source: (http://vision.eecs.yorku.ca/research/dynamic-scenes).

[17] TokyoTech 31-band hyperspectral image dataset. Source: (http://www.ok.sc.e.titech.ac.jp/res/MSI/MSIdata31.html).

Received February 03, 2020. The final version - April 10, 2020.

i Надоели баннеры? Вы всегда можете отключить рекламу.