CC BY
15
Адаптивная интерполяция на основе оптимизации решающего правила в многомерном признаковом пространстве
М.В. Гашников1,2
1 Самарский национальный исследовательский университет имени академика С.П. Королёва, 443086, Россия, г. Самара, Московское шоссе, д. 34;
2 ИСОИ РАН - филиал ФНИЦ «Кристаллография и фотоника» РАН, 443001, Россия, г. Самара, ул. Молодогвардейская, д. 151
Аннотация
Предлагается адаптивный интерполятор многомерного сигнала, выбирающий интерполирующую функцию в каждой точке сигнала посредством решающего правила, оптимизированного в многомерном признаковом пространстве с помощью дерева решений. Поиск разделяющей границы при разбиении вершин дерева решений осуществляется посредством рекуррентной схемы, позволяющей, кроме поиска границы, производить также выбор наилучшей пары интерполирующих функций из заранее заданного набора функций произвольного вида. Приводятся результаты вычислительных экспериментов на реальных многомерных сигналах, подтверждающие эффективность адаптивного интерполятора.
Ключевые слова: многомерный сигнал, адаптивная интерполяция, многомерный признак, оптимизация, погрешность интерполяции.
Цитирование: Гашников, М.В. Адаптивная интерполяция на основе оптимизации решающего правила в многомерном признаковом пространстве / М.В. Гашников // Компьютерная оптика. - 2020. - Т. 44, № 1. - С. 101-108. - DOI: 10.18287/2412-6179-CO-661.
Citation: Gashnikov MV. Adaptive interpolation based on optimization of the decision rule in a multidimensional feature space. Computer Optics 2020; 44(1): 101-108. DOI: 10.18287/2412-6179-CO-661.
Введение
В настоящее время увеличение производительности вычислительных систем приводит к последовательному расширению области использования многомерных сигналов [1], примерами которых являются данные гиперспектральных сенсоров, видеопоследовательности, данные дистанционного зондирования Земли и т.д. Алгоритмы интерполяции многомерных сигналов можно, с незначительными оговорками, разделить на два класса [2]: неадаптивные и адаптивные. К наиболее распространённым неадаптивным алгоритмам можно отнести прямоугольную (несимметричную и симметричную) интерполяцию, а также билинейную и бикубическую интерполяцию. Эти алгоритмы имеют малую вычислительную сложность, но их точность невелика из-за отсутствия учёта локальных особенностей сигнала.
Класс адаптивных алгоритмов гораздо более обширен. Он включает, прежде всего, прямые обобщения на многомерный случай алгоритмов обработки двумерных сигналов, таких как контекстные алгоритмы вида КББ1 [3-4] и БСС1 [5], широкий спектр алгоритмов на основе нейронных сетей [6-7], а также многие другие алгоритмы [8-9]. Основным достоинством адаптивных алгоритмов является повышенная точность, за которую приходится расплачиваться существенным увеличением вычислительной сложности из-за усложнения интерполирующей функции и/или этапа настройки интерполяционной формулы.
В работах [10-11] предложен адаптивный интерполятор, автоматически переключающийся между несколькими простыми интерполирующими функциями. За счёт такого переключения этот интерполятор способен учитывать локальные особенности сигнала. Однако алгоритм оптимизации этого интерполятора существенным образом опирается на одномерность признакового пространства решающего правила, используемого для переключения между интерполирующими функциями, а также на специфику используемого признака. Кроме того, это решающее правило обеспечивает возможность переключения между всего двумя заранее заданными интерполирующими функциями специального вида.
В настоящей работе предлагается адаптивный алгоритм интерполяции, снимающий эти ограничения. Опишем структуру данной работы.
В первом параграфе описывается адаптивный интерполятор многомерного сигнала, автоматически переключающийся между несколькими интерполирующими функциями произвольного вида посредством решающего правила, использующего произвольный многомерный локальный признак, а также ставится задача оптимизации этого решающего правила.
Во втором параграфе эта задача решается для случая одномерного признака и произвольного количества интерполирующих функций (без введения дополнительных ограничений на признак и интерполирующие функции). Для этого предлагается рекуррентный алго-
ритм, позволяющий выбрать наилучшую пару интерполирующих функций из заранее заданного набора функций произвольного вида, а также вычислить оптимальный порог переключения между ними.
В третьем параграфе задача оптимизации решающего правила решается для случая многомерного признака за счёт использования дерева решений. Предлагается алгоритм, позволяющий производить разбиение вершин дерева решений с помощью упомянутого выше «одномерного» рекуррентного алгоритма.
В четвёртом параграфе предлагается модификация алгоритма оптимизации решающего правила для критерия минимизации энтропии квантованных постинтерполяционных остатков.
В пятом параграфе описываются вычислительные эксперименты на реальных многомерных сигналах, демонстрирующие эффективность предложенных адаптивных алгоритмов интерполяции.
1. Адаптивный интерполятор многомерного сигнала
Пусть x(n) - многомерный сигнал, а n - вектор его аргументов (все величины здесь и далее считаем целочисленными). Пусть задано несколько (немного) простых интерполирующих функций Фу, с помощью которых можно вычислить соответствующее количество интерполирующих значений у (n):
у (n )=ФУ (z (n )),i е[1,1 ] , (1)
где i - номер интерполирующей функции, I задаёт количество интерполирующих функций, а z (n) - это вектор, содержащий «опорные» отсчёты, на основе которых производится интерполяция отсчёта с координатами n :
z (n)=jx(n + 0): 0£©|, (2)
где © задаёт множество смещений опорных отсчётов. Вид множества © определяется прикладной задачей и типом развёртки сигнала. Например, в двумерном случае, при интерполяции по опорным отсчётам, расположенным по диагонали от интерполируемого отсчёта, множество © может иметь вид:
©2 д = {(U) ((-1), (-1,1), (-1,-1)}. (3)
В качестве простейших интерполирующих функций в этом случае можно использовать, например, усреднения по двум и четырём соседним отсчётам:
У1 (ni,n2) = [(x(ni,n2) + x(ni +1,n2 +1))/2] , (4) У2 (n1, n2) = [(x (n1 +1, n2 -1) + x (n1 -1, n2 +1)))] ,(5) у3 (n1, n2) = [(x (n1, n2) + x (n1 +1, n2 + 1) +
(6)
+ x (n1 +1, n2 -1) + x (n1 -1, n2 +1) +1)/4|.
Символ [...] здесь означает выделение целой части.
Пусть выбор интерполирующего значения в каждой точке сигнала выполняется посредством параметризованного решающего правила Фг
у (Я, р) = Уг (Я), г (Я) = ФГ (((Я), р), (7)
где у (Я, р) - это собственно результирующее интерполирующее значение (интерполирующий сигнал), р - вектор параметров решающего правила, / (Я) -вектор локальных признаков в точке Я. Таким образом, решающее правило Фг в каждой точке сигнала «сравнивает» признак / (Я) с векторным параметром р для вычисления номера интерполирующей функции г (Я) в точке Я.
Пусть локальный признак / (Я) вычисляется по тем же самых опорным отсчётам 1 (Я)
/ (Я) = Ф/ (1 (Я)) , (8)
на основе которых происходит интерполяция (1).
Простейшими признаками в двумерном случае могут являться, например, диагональные разности, а также разности этих разностей вида
/1 (Я2) = х(Я2)-х(« +1,Я2 +1) , (9)
/2 (,Я2) = х( +1,Я2 -1)-х( -1,Я2 +1) , (10) /з («1, «2 ) = | /1 («1, «2 )| - | /2 («1, «2 )| . (11)
Вектор параметров решающего правила р подбирается для каждого сигнала отдельно на основе оптимизации некоторого критерия:
р = а^пип е({х (Я )},{у (Я, р')}), (12)
где в качестве функции е может выступать некая мера близости (далее «погрешность») между исходным {х(Я)} и интерполирующим {у (Я, р')} сигналами.
Примерами такой функции являются [12] средне-квадратическое отклонение (СКО), сумма абсолютных значений постинтерполяционных остатков и т.д.
Во многих прикладных задачах интерполируемые значения известны, что позволяет вычислить эту погрешность непосредственно. Например, в некоторых методах [13-15] компрессии с ошибкой отсчёты сигнала интерполируются по отсчётам того же самого сигнала. Следовательно, на этапе компрессии погрешность можно вычислить (на этапе декомпрессии уже нельзя, так как исходный сигнал недоступен, а декомпрессированный сигнал искажён).
В других задачах, где интерполируемые значения недоступны, погрешность интерполяции часто можно оценить на основе дополнительной информации о сигнале, например, о его корреляционных свойствах. Для этого можно использовать подходы [16], которые применяются при оценке погрешности представления непрерывного сигнала дискретным.
Таким образом, будем далее предполагать, что погрешность интерполяции так или иначе возможно вычислить или оценить. Кроме того, следует отметить, что вместо (12) можно также использовать более специализированные критерии оптимизации, например, критерий минимума энтропии [13] квантованных постинтерполяционных остатков, наиболее подходящий для задачи компрессии сигналов, и предлагаемый в данной работе подход можно адаптировать также и для этого случая.
2. Оптимизация решающего правила для случая одномерного признака и произвольного количества интерполирующих функций
Конкретизируем вид используемых решающих правил (7). Рассмотрим сначала случай, когда в каждой точке сигнала вычисляется одномерный (скалярный) признак /(я). Для простоты изложения (без ограничения общности) будем считать, что признак /(я) принимает значения в диапазоне [1, На практике этот диапазон обычно небольшой (сравним с диапазоном значений исходного сигнала).
Пусть в каждой точке сигнала решающее правило Фг производит выбор из двух интерполирующих функций на основе сравнения признака /(я) с порогом
фг (/(я ) р )=Ф г (/(я )г <,г >, / ) >, / (я ^\13)
где г <, г> - номера интерполирующих функций из множества всех доступных интерполирующих функций с номерами в диапазоне [1, I ] (г < - номер функции «слева от порога», г > - «справа от порога»). Таким образом, в ситуации одномерного признака вектор параметров р решающего правила Фг (/, р) состоит из двух номеров интерполирующих функций г <, г> и порога £
Р = ( <, г >, t). (14)
Перед собственно интерполяцией для этого параметра должно быть найдено оптимальное по критерию (12) значение.
В данной работе предлагается алгоритм оптимизации решающего правила, позволяющий найти порог t, а также выбрать оптимальную пару интерполирующих функций для случая одномерного признака / (я) и произвольного количества интерполирующих функций в исходном наборе функций.
Алгоритм опирается на достаточно слабое требование существования способа вычисления погрешности е({х(я)},{ у(я, р)}) между сигналами в целом через погрешности е (х(п),у(я, р)) между отсчётами этих сигналов. Для простоты изложения под этим способом далее будем понимать суммирование:
ф (я)}, {у (я, Р)}) = Х е (х (я ), у (я, р)) . (15)
я
Нетрудно видеть, что это ограничение выполняется для большинства общеупотребимых видов погрешности, в частности для СКО и суммы абсолютных значений.
Введём в рассмотрение погрешность е <(г, () интерполирующей функции номер г, вычисленную по отсчётам сигнала со значением признака, не превышающим порога t, а также аналогичную погрешность е >(г, t), вычисляемую по остальным отсчётам (погрешность «слева» от порога е <(г, t) и погрешность «справам» от порога е >(г, t)):
е< (г,t)= X е(х(я),у,, (я)),г е[1,I],t е[1,^], (16)
я: / (и
е> (г,t)= X е(х(я),у (я)),г е [1,I],t е[1,^]. (17)
я: / (Й)И
Опишем предлагаемый алгоритм оптимизации решающего правила.
Этап 1. Заполнение матрицы погрешностей интерполяционных функций.
Перед собственно интерполяцией будем вычислять матрицу 5 (г,/') размера 1х^, содержащую погрешность интерполяционной функции номер г в точках сигнала со значением признака /(я), равным/':
щ / ') =
= X е(х(я),у, (я)), I е[1,I], /' е [1,^]. (18)
я: / ( я)=/'
Этап 2. Рекуррентная схема поиска оптимального значения параметра.
Шаг 2а. Вычисление стартовых значений для запуска рекуррентной схемы.
Вычисляем значения погрешностей (16-17) интерполяционных функций при значении порога t = 1:
е< (г,1) = 0,г е[1,I], (19)
е>(/,1) = ]Г 5 (г, /),г е [1,I]. (20)
/=1
Шаг 2Ь. Запуск рекуррентной схемы вычисления погрешности интерполяции.
Вычисляем значения погрешностей (16-17) интерполяционных функций при значениях порога t > 1 посредством рекуррентной схемы:
е< (г,t) = е< (г,t -1) + 5(г,t),г е [1,I],t е [2,^], (21)
е> (г,г) = е> (г,г -1)-5(г,г),г е [1,I],г е [2,^]. (22)
Шаг 2с. Определение наилучшей пары интерполирующих функций для каждого значения порога.
На основе значений погрешности определяем номера наилучших интерполирующих функций «слева» и «справа» от порога для каждого значения порога £
Г< ^) = а^пипе< (г, t), t е [1, ^], (23)
Г> ^) = а^пипе> (г, t), t е [1,^]. (24)
Шаг 2й. Вычисление наименьшей возможной погрешности интерполяции для всех значений порога г:
е(г) = е< (<(г),г) + е>(>(г),г),г е[1,-]. (25)
Шаг 2е. Вычисление оптимального значения порога г, а также номеров г <, г > интерполирующих функций «слева» и «справа» от порога:
г = а^шт е(г'), г <= Г <(г), г >= 7 >(г).
(26)
Вычислительная сложность заполнения матрицы погрешностей интерполяционных функций (этап 1) оценивается в следующем параграфе, так как зависит от вида интерполирующих функций и показателя погрешности. Оценка количества операций рекуррентной схемы поиска оптимального значения параметра (этап 2), включающая только операции целочисленного сложения, вычитания и сравнения, не зависит от размера сигнала и может быть записана в виде:
и(2 = - (2 + 51).
Далее эта оценка вычислительной сложности понадобится также для более общего случая, когда признак принимает значения в диапазоне [—Шт, -Шах):
и1а] = ((ах - -Шп )(2 + 51). (27)
3. Оптимизация решающего правила для случая многомерного признака
Недостатком описанного выше «одномерного» алгоритма оптимизации является невозможность прямого обобщения на случай многомерного признака / (Я). В данной работе предлагается алгоритм оптимизации решающего правила для случая многомерного признака, основанный на применении дерева решений [17].
При построении дерева решений происходит последовательное разбиение многомерного признакового пространства {/(Я)}. Корневой узел дерева соответствует всему признаковому пространству целиком. Для этого узла выбирается оптимальная по погрешности вида (15) интерполирующая функция, а также вычисляется собственно погрешность интерполяции в узле.
Затем производится (наилучшее из возможных) разделение корневой вершины дерева решений на две вершины. Для каждой из двух получившихся вершин вычисляется свой номер наилучшей интерполирующей функции и своя погрешность. Процесс разделения вершин продолжается до срабатывания некоторого критерия останова (например, ограничения на количество вершин).
В результате будет построено дерево решений, терминальные вершины (листья) которого содержат информацию о разбиении многомерного признаково-
го пространства на области, внутри каждой из которых действует одна выбранная интерполирующая функция, наилучшая для этой области.
Достоинство дерева решений для рассматриваемой задачи заключается в том, что разбиение каждого узла можно производить по единственной компоненте многомерного признака. Это позволяет при разбиении каждого узла дерева свести рассматриваемую оптимизационную задачу к одномерной.
Рассмотрим оптимизацию решающего правила при разбиении корневого узла дерева. Пусть многомерный (М-мерный) признак /(Я) = (/1 (Я).../м(Я)) принимает значения в диапазоне
[1, - ]=[(1,...,1),..., (-1,..., -м )] .
Пусть для каждого отсчёта сигнала решающее правило Фг выбирает из двух интерполирующих функций на основании сравнения компоненты /т (Я) признака / (Я) с порогом г:
Ф'
(( (Я ), р ) = Фг (( (Я ), т, г <, г >, г ) =
р <, /т (Я )< г, [/■ >, /т (Я )> г,
где г <, г > - номера интерполирующих функций из набора всех доступных интерполирующих функций с номерами в диапазоне [1, I]. Таким образом, при разбиении вершины дерева решений вектор параметров р решающего правила Фг (/, р) имеет вид
р = ((<, г >, г, т),
т. е. состоит из двух номеров интерполирующих функций г <, г >, порога г и номера компоненты признака т, по которой производится разбиение признакового пространства:
{{(Я )} =
= {{(Я): /т (Я) < г}и{/(Я): /т (Я) > г}.
(28)
При разбиении узла для параметра р = (г <, г >, г, т) должно быть найдено оптимальное по критерию (12) значение. Для этого предлагается использовать алгоритм, описанный в предыдущем параграфе.
Этап 1. Заполнение массива погрешностей интерполяционных функций.
Будем вычислять трёхмерный массив 5т(г,/'), содержащий погрешность интерполяционной функции номер г в точках сигнала со значением компоненты признака /т, равной / :
5т (, /' )= X е(х(Я), у,г (Я)),
я--/. = /' (29)
г е[1,I], т е[1,М], /' е[1,-] .
Этап 2. Построение дерева решений.
Для каждой матрицы погрешностей 5т(г,/т) выполняется описанная в предыдущем параграфе одно-
мерная «рекуррентная схема поиска оптимального значения параметра» (19-26) (см. «этап 2» в предыдущем параграфе). Наилучший по погрешности результат (и его номер т) задают искомый оптимальный параметр р = (г <, г >, t, т) при разбиении корневого узла.
На этом описание алгоритма разбиения корневого узла дерева завершено. Все остальные узлы разбиваются аналогичным образом, с учётом уменьшения области определения признака для каждого узла, которое задаётся выражением вида (28).
Вычислительная сложность предложенного алгоритма интерполяции в операциях на отсчёт может быть записана в виде:
и = и у + иг + и. + и, + К,,
где N - количество листьев дерева, - вычисли-
тельная сложность выбора деревом, иу, и/, ие, и - вычислительные сложности (в операциях на отсчёт) расчёта интерполирующих функций (1), признака /(я), погрешности интерполяции (29) и построения дерева решений соответственно. Нетрудно видеть, что
и, < Ы,Ми{а]1N = Ы,ЫР (2 + 5I )/Кх , (30)
где К - количество отсчётов сигнала.
Табл. 1. Вычислительная сложность адаптивного интерполятора в зависимости от числа листьев дерева решений и количества отсчётов сигнала
Число листьев Nt Число отсчётов Nx Вычислит. сложность U
2-D 3-D
10 10 000 39 237
10 20 000 35 167
10 100 000 31 112
10 1 000 000 30 100
100 10 000 121 1484
100 20 000 77 739
100 100 000 42 240
100 1 000 000 35 115
Табл. 2. Вычислительная сложность NEDI в зависимости от количества отсчётов области оценивания
Размер области оценивания Ns Вычислительная сложность Un
2-D 3-D
4 248 1168
16 728 2896
36 1528 5776
64 2648 9808
100 4088 14992
196 7928 28816
400 16088 58192
1024 41048 148048
1600 64072 230928
С учётом того, что согласно (27) каждое повторное разбиение по одной и той же компоненте признака в среднем имеет примерно вдвое меньшую вычислительную сложность, последнюю оценку можно уточнить в сторону уменьшения:
min(Ж,,2M) + log2 (max(i,Nt - 2M))
Ut «-----i---'-!-MuU,
t Nx a
но в данной работе далее используется менее оптимистичная оценка (30).
Для дальнейшей конкретизации вычислительной сложности выберем пример реализации элементов алгоритма. В качестве интерполирующих функций (1) и признака f (n) рассмотрим D-мерные обобщения выражений (4-6) и (9-11) соответственно. В качестве погрешности интерполяции будем использовать квадратичную или абсолютную (модуль разности) ошибку (любая из них требует две операции на отсчёт). Тогда
I = 1 + 2D-i, F = 2 ((Xmax + 1), U. = I (M + 2),
Uy = 2D + 2D-1 +1, Uf = 2D-1 + 3 • 2D-2 (2d-1 -1) .
Для сигнала с максимальным значением Xmax = 255 вычислительная сложность U адаптивного интерполятора (в операциях на отсчёт) показана в табл. 1. Для большинства практических ситуаций такая сложность приемлема. Кроме того, при увеличении размера сигнала сложность заметно уменьшается, так как сложность построения дерева решений, которое строится один раз для всего сигнала, оказывает меньшее влияние.
Для сравнения приведём вычислительную сложность Un адаптивного интерполятора NEDI [3-4] (в операциях на отсчёт), основанного на оптимизации интерполирующей функции по области оценивания размером в Ns отсчётов (см. также табл. 2):
U„ = 2NN (Nb +1) + (N4 )3 + (N4 )2 + 2Nb,
где Nb - количество опорных отсчётов (далее равно 4 для двумерного сигнала и 8 для трёхмерного).
Из сравнения табл. 1 и 2 видно, что результаты близки только для коротких сигналов при минимальном размере области оценивания NEDI, при котором этот алгоритм обычно неустойчив. Во всех остальных ситуациях сложность предложенного адаптивного интерполятора заметно ниже, чем сложность NEDI.
Предложенный адаптивный алгоритм интерполяции может использоваться для интерполяции многомерных сигналов в задачах обработки видеопоследовательностей [18], данных гиперспектральных сенсоров [19], результатов дистанционного зондирования Земли [20] и т.п., в частности, в задачах компрессии [13-15] и совмещения разнородных сигналов [21].
4. Оптимизация решающего правила по критерию минимума энтропии
В ряде задач нужно оптимизировать решающее правило по специфическим показателям, не обладающим свойствами, характерными для погрешности интерполяции, в частности, не удовлетворяющим
ограничению (15). В таких случаях структуру алгоритма нужно менять для учёта специфики критерия.
В данной работе предлагается модификация описанного выше алгоритма, обеспечивающая возможность оптимизации решающего правила по критерию минимума энтропии квантованного разностного сигнала [14-16]. Эта модификация может использоваться, в частности, в дифференциальных, иерархических, интерполяционных и других методах компрессии сигналов, основанных на кодировании квантованного разностного сигнала.
Квантованный разностный сигнал
q (n, P) = Фq (x (n ) - у (n, p ))- (31)
это результат действия некоторой функции квантования Ф* на разность между исходным x(n) и интерполирующим y(n, p) сигналами. Пусть
q (n, p)е[1,Q].
При компрессии хорошей оценкой объёма сжатых данных является ненормированная энтропия h (n, p) сигнала q, которую необходимо минимизировать по параметру p решающего правила:
h(p) = -S c(q',p)logc(q',p)^min, (32)
1<q'<Q P
где c(q ', p) - это количество отсчётов квантованного разностного сигнала (31), равных q:
c(q ', p) = ||{Я : q(n, p) = q'}}. (33)
Энтропия (32) не удовлетворяет ограничению (15). Опишем модификацию «одномерного» алгоритма оптимизации из параграфа 2 для критерия (32).
Введём в рассмотрение квантованный разностный сигнал для интерполяционной функции номер i
qt (n) = Ф (x(n)-у, (n)), (34)
а также количества отсчётов сигнала (34), равных q', при значении скалярного признака f (n), меньшем и большем порога t:
c< (i, q', t) = ||{й : qt (n) = q', f (n) < t}||, (35)
c> (i, q', t) = ||{ : q, (n) = q', f (n) > t}||. (36)
Опишем модифицированный алгоритм оптимизации.
Этап 1. Заполнение трёхмерного массива, содержащего количество отсчётов сигнала (34), равных q', при значении скалярного признака, равном f':
c (i, q', f' ) = ||{ : qt (n) = q', f (n) = f' }||. (37)
Этап 2. Рекуррентная схема поиска оптимального значения параметра.
Шаг 2а. Указание начальных условий рекуррентной схемы вычисления значений (35-36):
c< (i, q,1) = 0, (38)
c>(i,q,1)= X c(i,q, f' ). (39)
1< f' < F
Шаг 2b. Запуск рекуррентной схемы вычисления значений (35-36):
c< (i, q, t) = c< (i, q, t -1) + c (i, q, t), t e[2, F], (40)
c> (i,q,t) = c> (i,q,t-1)-c(i,q,t), t e[2,F]. (41)
Шаг 2c. Вычисление количества отсчётов квантованного разностного сигнала (31), равных q, при условии использования пары интерполирующих функций с номерами i <, i > соответственно «слева^> и «справа» от порога t:
c+ (i <, i >, q, t ) =
(42)
= c< (i<,q,t) + c> (i>,q,t), t e [1,F].
Шаг 2d. В^гчисление энтропии (32) при условии использования пары интерполирующих функций с номерами i <, i > соответственно «слева» и «справа» от порога t
h (i <, i >, t ) =
= -X c+(i<,i>,q,t)logc+(i<,i>,q,t). (43)
1<q <Q
Шаг 2e. Поиск оптимальных значений параметров решающего правила в массиве значений энтропии:
i <, i >, t = arg min h (i' <, i ' >, t'). (44)
1<i'< ,,'>< I; 1<t' < F V '
На этом описание модификации «одномерного» алгоритма оптимизации завершено. Этот алгоритм также может быть использован на каждом этапе «многомерного» алгоритма оптимизации на основе дерева решений, описанного в предыдущем параграфе.
5. Экспериментальное исследование
Для исследования эффективности предложенного адаптивного интерполятора были проведены вычислительные эксперименты на реальных многомерных сигналах находящегося в открытом доступе гиперспектрального набора «TokyoTech» [22] (размер каждого сигнала 500 х 500 х 31). Примеры сечений тестовых сигналов показаны на рис. 1-2. Использовался алгоритм на основе оптимизации в многомерном признаковом пространстве, описанный в параграфах 2-3. Производилась интерполяция отсчётов с нечётными координатами по отсчётам с чётными координатами.
На рис. 3 в качестве иллюстративного примера приводятся погрешности при интерполяции одного двумерного сечения тестового сигнала функциями (46) и адаптивным интерполятором. Из рисунка видно, что интерполирующие функции ошибаются на диагональных контурах «неудобных» для них направлений,
в то время как адаптивный интерполятор лучше срабатывает на всех диагональных контурах.
При экспериментах на гиперспектральных сигналах описанного набора «ТокуоТесЬ» в качестве меры эффективности использовалась оценка квадратичной погрешности е^ между исходным х(Я) и интерпо-лированым у(Я) сигналом, нормированная на дисперсию сигнала 5х и умноженная на 1000 для компактного представления в таблице результатов:
е^г = N057 XX ( (Я)-у (Я))2, (45)
где N - количество отсчётов сигнала, а N - ограничение на количество узлов дерева в эксперименте (вычислялись е120 и е1200 для 10 и 100 узлов соответственно).
В качестве базы для сравнения использовался адаптивный алгоритм КББ1 [3-4], погрешность вида (45) для которого обозначена е^и . Кроме самой погрешности, вычислялся также относительный выигрыш по погрешности адаптивного алгоритма у КББ1:
Д„ =еЧ -е2/г -100% . (46)
еЫЕЫ
Тестовый набор интерполирующих функций включал усреднения по всем соседним опорным отсчётам, а также усреднения по диагоналям, аналогичные (4-6). В качестве признаков выступали разности по этим же диагоналям, аналогичные (9-11).
Полученные результаты (табл. 3) приведены для обработки блоками 100 х 100 х 31. Адаптивный алгоритм заметно выигрывает на большинстве сигналов (максимальный выигрыш - 40 %, максимальный проигрыш - около 9%, средний выигрыш - 7% и 12% для различных параметров алгоритма).
НЗЯ52
Рис. 1. Тестовый многомерный сигнал «с1огк5» (сечения № 0, 10, 20, 30)
И в
Рис. 2. Тестовый многомерный сигнал «сй» (сечения № 0, 10, 20, 30)
Заключение
Предложен адаптивный интерполятор многомерного сигнала, выбирающий интерполирующую функцию в каждой точке сигнала посредством решающего
правила, оптимизированного в многомерном признаковом пространстве с помощью дерева решений.
Для разбиения каждой вершины дерева решений указанный алгоритм использует рекуррентную схему поиска разделяющей границы, предложенную в настоящей работе для случая одномерного локального признака. Указанная «одномерная» схема, кроме поиска разделяющей границы, позволяет также вычислять наилучшую пару интерполирующих функций, используемых «по разные стороны» от этой границы.
Рис. 3. Для сечения №10 сигнала «сй» ошибки следующих интерполирующих функций:
(а) - усреднение по диагонали,
(б) - усреднение по другой диагонали,
(в) - усреднение по четырём диагональным соседям,
(г) - адаптивное переключение между (а ,б, в)
Табл. 3. Сравнение предложенного алгоритма интерполяции с алгоритмом NEDI
Сигнал Погрешность в2 Выигрыш
g2 ь10 g2 ь100 g2 NEDI Дю Д100
Butterfly 2,87 3,07 3,15 2,7 8,8
Butterfly2 10,14 10,85 8,93 21,4 13,6
Butterfly 5 2,43 2,57 2,67 3,9 9,1
Butterfly6 3,16 3,37 3,10 -8,6 -1,9
cd 1,64 1,84 1,81 -1,6 9,3
Character 7,12 7,28 7,48 2,6 4,8
ChartRes 29,87 30,59 39,21 22,0 23,8
Cloth3 25,08 26,94 41,86 35,6 40,1
Cloth4 12,26 12,75 18,88 32,5 35,1
Cloth5 5,92 6,14 9,25 33,7 36,0
color 2,31 2,33 2,48 6,2 6,8
doll 31,84 34,15 33,26 -2,7 4,3
fan2 8,57 8,79 9,42 6,7 9,1
fan3 10,16 10,70 9,11 17,6 11,6
flower 1,02 1,05 1,06 1,6 4,4
flower2 0,92 0,96 0,91 -5,8 -1,3
flower3 0,92 0,96 0,96 0,1 4,1
party 7,82 8,10 9,53 15,0 18,0
tape 6,61 6,79 7,84 13,4 15,8
tape2 4,75 4,65 8,00 41,9 40,6
Tshirts 42,58 45,22 48,02 5,8 11,3
Tshirts2 45,49 49,62 51,72 4,1 12,0
среднее 11,98 12,67 14,48 7,7 12,0
Вычислительный эксперимент, проведённый на реальных многомерных сигналах, подтвердил эффективность предложенного адаптивного интерполятора.
Благодарности
Исследование выполнено при финансовой поддержке РФФИ в рамках научного проекта № 18-01-00667, также Министерства науки и высшего образования РФ в рамках Государственного задания ФНИЦ «Кристаллография и фотоника» РАН (соглашение № 007-ГЗ/Ч3363/26).
Литература
1. Woods, J. Multidimensional signal, image, and video processing and coding / J. Woods. - 2nd ed. - Academic Press, 2011. - 616 p.
2. Ваганов, С.Е. Сравнение алгоритмов удвоения размера изображения / С.Е. Ваганов, С.И. Хашин // Моделирование и анализ информационных систем. -2016. - Т. 23, № 4. -С. 389-400. - DOI: 10.18255/1818-1015-2016-4-389-400.
3. Varathaguru, M. New edge-directed interpolation based-lifting DWT and MSPIHT algorithm for image compression / M. Varathaguru, R.S. Sabeenian // Circuits and Systems. -2016. - Vol. 7. - P. 2242-2252.
4. Trullemans, S. The context modelling toolkit: A unified multi-layered context modelling approach / S. Trullemans, L. Van Holsbeeke, B. Signer, // Proceedings of the ACM on HumanComputer Interaction (PACMHCI). - 2017. - Vol. 1(1). - 8.
5. Zhou, D. Image zooming using directional cubic convolution interpolation / D. Zhou, X. Shen, W. Dong // IET Image Processing. - 2012. - Vol. 6, Issue 6. - P. 627-634.
6. Ваганов, С.Е. Адаптивный нейросетевой метод построения интерполяционной формулы для удвоения размера изображения / С.Е. Ваганов // Компьютерная оптика. -2019. - Т. 43, № 4. - С. 627-631. - DOI: 10.18287/24126179-2019-43-4-627-631.
7. Dong, C. Image super-resolution using deep convolutional networks / C. Dong, C.C. Loy, K. He, X. Tang // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2016. - Vol. 38, Issue 2. - P. 295-307. - DOI: 10.1109/TPAMI.2015.2439281.
8. Bigot, J. An analysis of block sampling strategies in compressed sensing / J. Bigot, C. Boyer, P. Weiss // IEEE Transactions on Information Theory. - 2016. - Vol. 62, Issue 4. - P. 2125-2139.
9. Chkifa, A. High-dimensional adaptive sparse polynomial interpolation and applications to parametric PDEs / A. Chkifa, A. Cohen, C. Schwab // Foundations of Computational Mathematics. - 2014. - Vol. 14, Issue 4. - P. 601-633.
10. Gashnikov, M.V. Parameterized four direction contour-invariant extrapolator for DPCM image compression / M.V. Gashnikov, A.I. Maksimov // Proceedings of SPIE. -2018. - Vol. 10806. - 108064E. - DOI: 10.1117/12.2503003.
11. Гашников, М.В. Оптимизация интерполятора многомерного сигнала в пространстве уменьшенной размерности / М.В. Гашников // Компьютерная оптика. - 2019.
- Т. 43, № 4. - С. 653-660. - DOI: 10.18287/2412-61792019-43-4-653-660.
12. Gonzalez, R.C. Digital image processing / R.C. Gonzalez, R.E. Woods. - 3th ed. - Upper Saddle River, NJ: Prentice Hall, 2007. - 976 p. - ISBN: 978-0-13-168728-8.
13. Sayood, K. Introduction to data compression / К. Sayood. -4th ed. - Waltham, MA: Morgan Kaufmann, 2012. - 768 p.
- ISBN: 978-0-12-415796-5.
14. Sergeyev, V.V. Compression method for real-time systems of remote sensing / M.V. Gashnikov, N.I. Glumov, V.V. Sergeyev // Proceedings of 15th International Conference on Pattern Recognition. - 2000. - Vol. 3. -P. 228-231. - DOI: 10.1109/ICPR.2000.903527.
15. Gashnikov, M.V. Optimization of the hierarchical interpolator for image compression / M.V. Gashnikov // Proceedings of SPIE. - 2018. - Vol. 10696. - 106961C. -DOI: 10.1117/12.2309527.
16. Computer image processing, Part II: Methods and algorithms / ed. by V.A. Soifer. - VDM Verlag Dr Müller, 2010.
- 584 p. - ISBN: 978-3-6391-7545-5.
17. Shalev-Shwartz, S. Understanding machine learning: From theory to algorithms / S. Shalev-Shwartz, S. Ben-David // Cambridge: Cambridge University Press, 2014. - 449 p. -ISBN: 978-1-107-05713-5.
18. Tekalp, A.M. Digital video processing / A.M. Tekalp. - 2nd ed.
- Prentice Hall, 2015. - 624 p. - ISBN: 978-0-13-399100-0.
19. Chang, Ch.-I. Hyperspectral data processing: Algorithm design and analysis / Ch.-I. Chang. - Hoboken, NJ: A John Wiley & Sons, Inc., 2013. - 1164 p. - ISBN: 978-0-471-69056-6.
20. Lillesand, T. Remote sensing and image interpretation / T. Lillesand, R.W. Kiefer, J. Chipman. - 7th ed. - John Wiley & Sons, 2015. - 768 p.
21. Wu, S. Image correspondences matching using multiple features fusion / S. Wu, M.S. Lew. - In: Computer Vision -ECCV 2016 Workshops / ed. by G. Hua, H. Jegou. - Switzerland: Springer Internet Publishing, 2016. - Part III. -P. 737-746. - DOI: 10.1007/978-3-319-49409-8_61.
22. TokyoTech 31-band hyperspectral image dataset [Electronical Resource]. - URL:
http://www. ok.sc. e.titech.ac.jp/res/MSI/MSIdata31. html (request date 01.11.2019).
Сведения об авторе
Гашников Михаил Валерьевич, 1975 года рождения, в 1998 году окончил Самарский государственный аэрокосмический университет имени академика С.П. Королёва (СГАУ), кандидат наук, доцент. В настоящее время работает доцентом кафедры геоинформатики и информационной безопасности Самарского национального исследовательского университета имени академика С.П. Королёва, а также по совместительству в Институте систем обработки изображений - филиале ФНИЦ «Кристаллография и фотоника» РАН.
Область научных интересов: обработка многомерных сигналов, компрессия сигналов, обработка космических снимков, геоинформационные технологии. Имеет более 90 публикаций, в том числе более 30 статей и две монографии (в соавторстве). E-mail: mgash@smr.ru .
ГРНТИ: 28.17.19, 28.21.15, 28.23.15 Поступила в редакцию 5 ноября 2019 г. Окончательный вариант - 29 ноября 2019 г.
Adaptive interpolation based on optimization of the decision rule in a multidimensional feature space
M.V. Gashnikov1,2
1 Samara National Research University, Moskovskoye Shosse 34, 443086, Samara, Russia, 2IPSIRAS - Branch of the FSRC "Crystallography and Photonics " RAS, Molodogvardeyskaya 151, 443001, Samara, Russia
Abstract
An adaptive multidimensional signal interpolator is proposed, which selects an interpolating function at each signal point by means of the decision rule optimized in a multidimensional feature space using a decision tree. The search for the dividing boundary when splitting the decision tree vertices is carried out by a recurrence procedure that allows, in addition to the search for the boundary, selecting the best pair of interpolating functions from a predetermined set of functions of an arbitrary form. Results of computational experiments in nature multidimensional signals are presented, confirming the effectiveness of the adaptive interpolator.
Keywords: multidimensional signal, adaptive interpolation, multidimensional feature, optimization, interpolation error.
Acknowledgements: The work was funded by the Russian Foundation for Basic Research under RFBR grant 18-01-00667 and the RF Ministry of Science and Higher Education within the state project of FSRC "Crystallography and Photonics" RAS under agreement 007-GZ/Ch3363/26.
Citation: Gashnikov MV. Adaptive interpolation based on optimization of the decision rule in a multidimensional feature space. Computer Optics 2020; 44(1): 101-108. DOI: 10.18287/2412-6179-CO-661.
References
[1] Woods J. Multidimensional signal, image, and video processing and coding. 2nd ed. Academic Press; 2011.
[2] Vaganov SE, Khashin SI. Comparison of Doubling the Size of Image Algorithms [In Russian]. Model Anal Inform Sist 2016; 23(4): 382-400. DOI: 10.18255/18181015-2016-4-389-400
[3] Varathaguru M. Sabeenian RS. New edge-directed interpolation based-lifting DWT and MSPIHT algorithm for image compression. Circuits and Systems 2016; 7: 2242-2252.
[4] Trullemans S, Van Holsbeeke L, Signer B. The context modelling toolkit: A unified multi-layered context modelling approach. Proc ACM Hum-Comput Interact 2017; 1(1): 8.
[5] Zhou D, Shen X, Dong W. Image zooming using directional cubic convolution interpolation. IET Image Processing 2012; 6(6): 627-634.
[6] Vaganov SE. Adaptive ANN-based method of constructing an interpolation formula for doubling the image size. Computer Optics 2019, 43(4): 627-631. DOI: 10.18287/2412-6179-2019-43-4-627-631.
[7] Dong C, Loy CC, He K, Tang X. Image super-resolution using deep convolutional networks. IEEE Trans Pattern Anal Mach Intell 2016: 38(2): 295-307. DOI: 10.1109/TPAMI.2015.2439281.
[8] Bigot J, Boyer C, Weiss P. An analysis of block sampling strategies in compressed sensing. IEEE Transactions on Information Theory 2016; 62(4): 2125-2139.
[9] Chkifa A, Cohen A, Schwab C. High-dimensional adaptive sparse polynomial interpolation and applications to parametric PDEs. Found Comput Math 2014; 14(4): 601-633.
[10] Gashnikov MV, Maksimov AI. Parameterized four direction contour-invariant extrapolator for DPCM image compression. Proc SPIE 2018; 10806: 108064E. DOI: 10.1117/12.2503003.
[11] Gashnikov MV. Optimization of the multidimensional signal interpolator in a lower dimensional space. Computer Optics 2019; 43(4): 653-660. DOI: 10.18287/2412-61792019-43-4-653-660.
[12] Gonzalez RC, Woods RE. Digital image processing. 3th ed. Upper Saddle River, NJ: Prentice Hall; 2007. ISBN: 978-0-13-168728-8.
[13] Sayood K. Introduction to data compression. 4th ed. Wal-tham, MA: Morgan Kaufmann; 2012. ISBN: 978-0-12415796-5.
[14] Sergey ev VV, Gashnikov MV, Glumov NI. Compression method for real-time systems of remote sensing. ICPR 2000; 3: 228-231. DOI: 10.1109/ICPR.2000.903527.
[15] Gashnikov MV. Optimization of the hierarchical interpolator for image compression. Proc SPIE 2018; 10696: 106961C. DOI: 10.1117/12.2309527.
[16] Soifer VA, ed. Computer image processing, Part II: Methods and algorithms. VDM Verlag Dr Müller; 2010. ISBN: 978-3-6391-7545-5.
[17] Shalev-Shwartz S, Ben-David S. Understanding machine learning: From theory to algorithms. Cambridge: Cambridge University Press; 2014. ISBN: 978-1-107-05713-5.
[18] Tekalp AM. Digital video processing. 2nd ed. Prentice Hall; 2015. ISBN: 978-0-13-399100-0.
[19] Chang Ch-I. Hyperspectral data processing: Algorithm design and analysis. Hoboken, NJ: A John Wiley & Sons Inc; 2013. ISBN: 978-0-471-69056-6.
[20] Lillesand T, Kiefer RW, Chipman J. Remote sensing and image interpretation. 7th ed. John Wiley & Sons; 2015.
[21] Wu S, Lew MS. Image correspondences matching using multiple features fusion. In Book: Hua G, Jegou H, eds. Computer Vision - ECCV 2016 Workshops 2016; III: 737746. DOI: 10.1007/978-3-319-49409-8_61.
[22] TokyoTech 31-band hyperspectral image dataset. Source: (http://www.ok.sc.e.titechac.jp/res/MSI/MSIdata31.html).
Author's information
Mikhael Valeryevich Gashnikov (b. 1975) graduated from S.P. Korolyov Samara State Aerospace University (SSAU), PhD and associate professor. He is the associate professor at the Geoinformatics and Information Security department at Samara National Research University, as well as part-time at the IPSI RAS - branch of the FSRC «Crystallography and Photonics» RAS. He has 90 publications, including 30 scientific papers and 2 monograph (with coauthors). His research interests are currently focused on image compression, space images processing, geoinformation technologies. E-mail: mgash@smr.ru .
Received November 5, 2019. The final version - November 29, 2019.
