CC BY
51
Сжатие навигационых таблиц в базисе Уолша C.B. Пашенцев
Судоводительский факультет МГТУ, кафедра судовождения
Аннотация. В работе рассмотрена возможность использования функционального базиса Уолша-Пэли для сжатия линейных и прямоугольных таблиц. Приведены все необходимые для этого формулы и на некоторых примерах продемонстрирован реальный эффект сжатия информации. Метод может использоваться как для предварительного сжатия информации, так и при ее обработке в реальном масштабе времени.
Abstract. A possibility of the using of the Wolsh-Paly functional base for the linear and rectangular tables compression has been considered in the work. All the formulas, necessary for it, are given and the actual effect of information compression has been shown on some examples. The method can be used both for preliminary compression of information, and by its processing in a real time scale.
1. Введение
В многих автоматических и автоматизированных устройствах, связанных с судовождением, используются табличные данные, занесенные в память решающих устройств и выбираемые из нее по мере надобности. При этом расходуется важнейший ресурс - память, а выборка из нее потребляет и еще более важный ресурс - время, влияя на быстродействие всей системы обработки информации. Поэтому важны любые методы, позволяющие уменьшать объем хранения. Одним из таких методов может быть метод сжатия табличной информации за счет ее спектрального разложения в некотором функциональном базисе. В момент потребления значение функции восстанавливается обратным преобразованием. По сравнению с разложением Фурье, более выгодным является использование для разложения базиса Уолша, так как для гладких функций коэффициенты разложения Уолша быстрее стремятся к нулю. Это допускает большую степень сжатия информации в базисе Уолша. Кроме того, при восстановлении табличных значений в базисе Уолша требуется меньшее время. Связано это с более простым вычислением функций Уолша сравнительно с вычислениями тригонометрических функций. Ести же эти функции генерируются аппаратно, то выгода от применения функций Уолша еще больше, так как их возможные значения +1 и -1 легко реализуются вычислительными устройствами. В работе на численных примерах показаны преимущества применения базиса Уолша для некоторых типов гладких функций и табличных данных. Вычислительный процесс строится на программах быстрых преобразований Фурье и Уолша, написанных автором, и сравнении получаемых спектров.
2. Теоретические основания сжатия
Общие теоретические положения, на основании которых производится преобразование в выбранном функциональном базисе, хорошо известны (Голд, Райдер, 1993; Трахтман А., Трахтман В., 1978). Следует выделить дискретные преобразования при конечности исходного числового ряда. Поскольку речь идет о сжатии таблиц, т.е. о принципиально конечном ряде чисел, то далее будем говорить только о дискретных преобразованиях. Если задан ряд из N чисел
X2, Xk,•••, XN (1)
то и функциональный базис следует выбрать из конечного набора N функций
Фа(Х), а= 1, 2,„., N, (2)
существующих на совокупности точек Xk. Тогда дискретное преобразование в этом базисе даст ровно N коэффициентов Ca, Koropbie находятся с помощью формального суммирования:
C„ = ЪкХк Фа(Хк), а= 1, 2,„„ N. (3)
Совокупность N коэффициентов Ca и составляет дискретное представление ряда чисел (1) в
функциональном базисе (2). Часто эту совокупность чисел Ca называют линейчатым спектром в выбранном базисе. Другой интерпретацией разложения (3) является рассмотрение его как линейного преобразования исходной системы координат Хк. Коэффициенты Ca становятся тогда координатами в новой координатной системе 0JX). Если спектр (набор коэффициентов Ca) известен, то породивший его ряд чисел можно восстановить с точностью до погрешностей вычислений с помощью обратного дискретного преобразования
Xk = (1/N) T.aCa0JXk), k = 1, 2,..., N. (4)
Для справедливости простых и почти симметричных преобразований (3) и (4) необходимо, чтобы набор функций базиса обладал свойствами ортогональности и определенной нормировки. Условие ортогональности выглядит как совокупность равенств
Zk Фр(Хк) Ф(Хк) = 0, р Ф q, (5)
а условия нормировки - как совокупность равенств
Zk ФрХк) Фр(Хк) = Ек Фр\Хк) = 1. (6)
Кроме того, система базисных функций называется полной, если невозможно указать более ни одной функции, которая ортогональна ко всем функциям базиса.
Очевидно, что при такой постановке вопроса никакого сжатия не происходит, так как количество членов исходного ряда и количество спектральных коэффициентов одинаково. Возможность сжатия информации появляется, если число коэффициентов спектра можно сделать меньше числа N. Например, когда часть коэффициентов спектра равна нулю или близка к нему. Тогда этими коэффициентами можно пренебречь, и полученный спектр окажется короче. В первом случае, когда мы пренебрегаем только нулевыми коэффициентами спектра, исходный ряд чисел будет восстановлен с точностью до погрешностей вычислений. Если же мы пренебрежем коэффициентами спектра, в указанной степени близкими к нулю, то восстановленные значения исходного ряда будут включать в себя не только погрешности вычислений, но и погрешности от неточного представления спектра. Чем большую погрешность восстановления членов исходного ряда мы flonyœaeM, TeM большим числом коэффициентов спектра можно пренебречь.
Если обозначить через n число коэффициентов спектра, которыми мы пренебрегли, то отношение в процентах
sq = (n / N) -100 % (7)
можно назвать степенью сжатия исходной информации. Ведь в этом случае мы представляем ее N-n коэффициентами спектра вместо N значений исходного ряда. При sq = 0 сжатие вообще не происходит, а при sq = 100 % оно достигает предельной гипотетической величины. Реальные случаи лежат в пределах от 0 % до 100 %.
Практическая сторона реализации этой идеи несколько сложнее. Если нулевыми или малыми в указанной степени являются конечные (финальные) спектральные коэффициенты, то не составляет труда отбросить n из них и тем самым добиться сжатия sq.
Если же среди коэффициентов спектра имеются нулевые или близкие к нулю в заданной степени, но они не являются финальными, то возникает сложность в представлении такого спектра с позиций сжатия информации. В этом случае надо либо приводить все коэффициенты спектра, включая нулевые и близкие к ним, и тогда сжатия не происходит. Либо задавать группы нулевых спектральных коэффициентов номером начального элемента в группе и количеством элементов группы. Это, естественно, уменьшает степень сжатия исходного ряда чисел. Если нулевые элементы спектра не являются финальными или не составляют группы, а их номера не обнаруживают простой закономерности, то сжатие информации этим путем не достигается.
Итак, возможность сжатия информации и степень ее сжатия зависят как от самого ряда чисел (1), так и от набора функций (2), составляющих базис спектрального разложения Ca. Поскольку ряд чисел Хк нам задан, то управлять степенью сжатия мы можем, изменяя базис спектрального разложения. Но при выбранном базисе Ф(х) характер заданной информации будет сказываться как на самой
возможности сжатия, так и на степени ее сжатия. Существует достаточно много функциональных базисов, которые успешно используются для различных задач представления информации. Среди наиболее известных назовем базисы степенных функции и их полиномиальные варианты в виде полиномов Чебышева и Лежандра, а также базисы Кравчука, Шарлье и Мейснера. Но наиболее знакомым нам является базис тригонометрических функций:
sin(2nax) и со s(2n«x), (7)
или соответствующий экспоненциальный базис в комплексной форме:
exp(-j 2nax). (8)
В этом случае спектр коэффициентов Ca является спектром в его обычном физическом смысле как совокупности амплитуд некоторого набора частот ограниченного диапазона и определенного частотного разрешения. Поскольку в этом случае базис уже выбран, то возможности сжатия теперь связаны только с характером исходной информации. Если она адекватна по характеру выбранному базису (8), т.е. состоит из линейной комбинации конечного числа периодических функций, то спектр будет содержать лишь конечное число отличных от нуля коэффициентов, и возникает возможность сжатия информации.
3. Система функций Уолша-Пэли
Если же исходная информация имеет другой характер, например, изменяется по степенному, показательному или логарифмическому закону, то в спектре все его коэффициенты не являются достаточно малыми, и сжатие либо невозможно, либо степень сжатия мала. В этих случаях разумно использовать другой функциональный базис. Поскольку для других базисов нет отчетливого физического представления спектра, то можно интерпретировать (2) как формулы перехода от координатной системы Xk к другой координатной системе Фа(Х). Равенство нулю части коэффициентов означает, что вектор, заданный координатами в виде исходного ряда чисел, в новой системе координат располагается в координатной гиперплоскости размерности N-n. Среди существующих возможностей имеются несколько базисов, порождаемых функциями Радемахера при Z е (0,1):
R0(z) = 1, Rk(z) = sign (sin (2k nz)), k = 1,2,..., (9)
которые в соответствии с входящей в них функцией sign( ) принимают только два значения: +1 или -1.
Система функций (9) ортогональная и нормированная, но не является полной. К ней можно добавить функции вида sign(cos2knz), которые также ортогональны к функциям системы (9). Поэтому на базе представлений (9) формируют иные полные системы, используя произведения функций Радемахера и внося в получаемые таким образом новые функции определенное упорядочивание.
Наиболее интересной для навигационных применений в плане сжатия информации является система функций Уолша-Пэли. Образование этой системы тесно связано с двоичными номерами составляющих ее функций. Конкретно, функция Уолша-Пэли с номером а есть произведение функций Радемахера с номерами тех двоичных разрядов а, в которых расположены 1. Если записать номер а в двоичном представлении с n = log N разрядами
а = Zk 2k-1 ak, (10)
то функции системы Уолша-Пэли можно представить так:
Wa(z) = Пк [Ra(z)X*. (11)
В качестве примера можно привести систему (9) функций Уолша при N = 8 (n = 3), учитывая двоичное представление номеров (1 = 001, 2 = 010, 3 = 011, 4 = 100, 5 = 101, 6 = 110, 7 = 111):
W0 (z) = R0 (z), Wi (z) = Ri (z), W2 (z) = R2 (z), W3 (z) = Ri (z) R2 (z),
W4 (z) = R2 (z), W5 (z) = Ri (z) R3 (z), W6 (z) = R2 (z) R3 (z), W7 (z) = Ri (z) R2 (z) R3 (z).
Если, подобно представлению (10), задать двоичное представление аргумента z функции
Радемахера
2 = Ък 1к'12к, (12)
то функцию Радемахера можно записать в виде
Як (2) = (-1)к. (13)
При таком представлении Як (г) функции Уолша-Пэли записываются в форме
Жа(2) = (-1)'к "кЧ (14)
Набор номеров функции Уолша-Пэли является набором целых чисел, а значения аргумента г принадлежат интервалу (0, 1). Чтобы привести нумерацию функций и отсчеты аргумента к единой системе, разделим длину единичного интервала (0, 1) на N подинтервалов и значению аргумента 2} будем сопоставлять его номер по принципу 2} = ]М. Сам номер } можно представлять подобно (12) в двоичной форме:
} = Ек 2к-1]к. (15)
Тогда система функций Уолша-Пэли окончательно представится в виде
ЯГа}/Щ = WJ {а/К) = (-1)'как1"'к + \ (16)
который используется во всех последующих вычислениях. Программная функция WolshPaly( ) на языке Паскаль для генерации функций Уолша-Пэли с помощью формул (16) приведена ниже. Для N = 8 значения функций Уолша-Пэли №(/) даны в табл. 1.
Таблица 1. Значения функций Уолша-Пэли для N = 8
] 0 1 2 3 4 5 6 7
а
0 1 1 1 1 1 1 1 1
1 1 1 1 1 -1
2 1 1 -1 1 1 -1
3 1 1 -1 1 1
4 1 1 1 1
5 1 1 1 -1 1
6 1 -1 1 1 -1 1
7 1 -1 1 1 1
Не обсуждая детали, просто упомянем о существовании систем функций Адамара и Хармута, которые отличаются от подробно рассмотренной системы функций Уолша-Пэли только способом упорядочивания одних и тех же функций. Именно порядок функций Уолша-Пэли обеспечивает наибольшее число финальных коэффициентов спектра, нулевых или близких к нулю в заданной степени.
4. Сходимость рядов Уолша-Пэли
Функции Уолша обладают рядом полезных свойств, среди которых приведем используемое в вычислениях свойство симметрии:
= Щ (а/Щ. (17)
Двоичное представление номеров функций Уолша с п = logN разрядами определяет порядок р и ранг г функции. Порядком называется наибольший номер двоичного разряда, который равен 1. Рангом Я функции называется число ненулевых двоичных разрядов, например, функция Уолша с номером а = 9 для N = 16 и п = 4 представляется в двоичной форме как 1001, и, следовательно, ее ранг г = 2 (два
ненулевых разряда) и порядок р = 3 (старший ненулевой разряд - третий, т. к. счет идет от нуля). Если функция с номером а имеет ранг г, то ее номер можно представить в виде:
а (Я = г) = 2М1 + 21"2 + ... + 2Мг, (18)
где цк (к = 1, 2,..., г) - номера ненулевых разрядов двоичного представления номера а. Например, номер 9 можно представить как 23 + 20, учитывая двоичное представление 1001. Непосредственно для проблемы сжатия исходной информации важна скорость убывания коэффициентов Са разложения в базисе Уолша при росте номера а. Если функция, представляемая рядом (1), обладает непрерывной производной до даго порядка, и максимальное значение модуля производной |А'(т)| есть М, то коэффициенты спектра с номерами а, ранг которых не меньше порядка производной (г > да), удовлетворяет неравенству (Проектирование специализированных..., 1984):
| Са(г>ш) | < М/ 2ш(ш+3)/2. (19)
Именно это важное неравенство гарантирует быструю сходимость спектральных коэффициентов Са с ростом номера а и открывает перспективы сжатия табличной информации. Действительно, ранг г функции Уолша увеличивается с ростом номера функции а так, что условие г > ш выполняется для больших номеров а. Это значит, что оценка (19) действует для финальных коэффициентов разложения.
Таблица 2. Коэффициенты спектрального разложения степенных функций в базисе Уолша
ПОРЯДОК РАНГ СТЕПЕНЬ ФУНКЦИИ
а г 1 2 3 5
0 0 4.68 3.03 2.20 1.37
1 0 -2.50 -2.34 -1.96 -1.34
2 1 -1.25 -1.17 -1.10 -0.95
3 1 0 0.63 0.88 0.92
4 2 -0.63 -0.59 -0.56 -0.52
5 2 0 0.31 0.44 0.49
6 2 0 0.16 0.22 0.31
7 3 0 0 -0.12 -0.29
8 3 -0.31 -0.29 -0.28 -0.26
9 3 0 0.16 0.22 0.25
10 3 0 0.08 0.11 0.15
11 3 0 0 -0.06 -0.15
12 3 0 0.04 0.05 0.08
13 3 0 0 -0.03 -0.07
14 3 0 0 -0.01 -0.04
15 3 0 0 0 -0.03
од % 43.8 18.8 6.3 0
Если к тому же функция имеет конечное число отличных от нуля производных (например, степенная функция), то все коэффициенты с номерами, чьи ранги больше этой степени, тождественно равны нулю. Но для этого необходимо, чтобы число N было достаточно велико, и ранг "успел" стать больше номера старшей производной. В качестве примера рассмотрим спектральное разложение степенной функции, представленной рядом (1), с числом отсчетов, равным 16 ^ = 16, п = 4). Малое число отсчетов выбрано только для обозримости результатов примера. Выше в табл. 2 приведены с округлением до двух знаков спектральные коэффициенты разложения для различных степенных функций: линейной, квадратической, кубической и пятой степени - с одновременным указанием номера а спектра и его ранга г.
На этом примере видно, что чем меньше степень функции, которая порождает ряд чисел (1), тем большей степени сжатия од можно достичь при разложении. Если ряд короткий, а степень велика, то сжатие вообще не достигается, как это происходит при пятой степени функции. Если при той же степени функции увеличивать число членов ряда и, следовательно, число коэффициентов спектра, то степень
сжатия растет. Так, при N = 64 sq = 7.8 %, при N = 128 sq = 18.0 %, при N = 256 sq = 23.8 %.
Заметим попутно, что в случае спектра Фурье ни в одном из приведенных случаев никакого сжатия не достигается - налицо неадекватность тригонометрического базиса степенным функциям.
4. Основные формулы дискретного преобразования Уолша-Пэли
Обычно говорится о представлениях заданной функции в выбранном базисе, но, работая с дискретным спектральным преобразованием, мы имеем дело с набором ее дискретных значений. Эти дискретные значения представлены рядом чисел (1).
Итак, мы выберем в качестве функционального базиса систему функций Уолша-Пэли (16) и приведем для этой системы основные формулы, выражающие свойства ортогональности и нормировки функций в этой системе, и формулы преобразования для нее:
Формула прямого дискретного преобразования Уолша для получения спектра
Са = (1/N) ZkXkWa(k/N).
Формула обратного дискретного преобразования Уолша для восстановления исходного ряда значений
Xk = EaCaWa (k/N).
Условие ортогональности и нормировки функций Уолша на дискретном множестве точек
No = (1/N)Zk Wp(k/N) W(k/N) = 0, если p Ф q и No = 1, если p = q. Равенство Парсеваля
(1/N) ZkXk2= ЪаСа,
которое представляет собой равенство квадрата модуля вектора в исходной Xk и новой Са системах координат.
5. Элементы программной реализации
Именно этот набор формул был положен автором в основу при составлении программы на языке Паскаль для сравнительного анализа результатов дискретных преобразований Фурье и Уолша (свидетельство на программный продукт РОСАПО № 950347 от 02.10.1995). При этом дискретные преобразования были реализованы как быстрые преобразования Фурье (БПФ) и Уолша (БПУ) с основанием 2 и прореживанием по времени (Рабиндер, Голд, 1978). Это не имеет значения для сжатия табличной информации, так как преобразование в этом случае производится один раз, но очень важно при обработке информации в реальном масштабе времени для возможности прогонки большего числа различных числовых рядов (таблиц, функций) за минимальное время. Подобная программа практически без изменений была с успехом применена при оперативном спектральном анализе на борту летающей лаборатории ИЛ18-ДОРР ПИНРО. Два основных фрагмента этой программы приведены ниже. Это процедура быстрого преобразования Уолша и функция вычисления значения функции Уолша по заданному номеру и аргументу. Вся программа занимает слишком много места и потому здесь не приводится.
Function WolshPaly(Alf, l : integer) : integer; var J, K, x, y, w, maskl, mask2 : integer; begin
w:=l; mask1:=l; mask2:=N div 2; for K:=0 to N-l do begin
if (Alf and mask2)<>0 and (I and mask1)<>0 then w:=-w; mask1:=mask1*2; mask2:=mask2 div 2; end;
WolshPaly:=w; end;
Эта функция принимает два параметра - номер Alf и аргумент I функции Уолша и возвращает само значение функции Уолша.
Procedure FastWolshTrans(var ml, m2, m3, m4 : masdat); var L, LE, LE1, I, J, IP : integer; T1,T2 : real;
begin LE:=1; for L:=1 to M do begin LE1:=LE; LE:=LE*2;
for J:=1 to LE1 do begin I:=J; repeat IP:=I+LEl; T1:=m1[IP]; T2:=m2[IP];
If L=M then begin
m3[IP]:=m1[I]-T1; m4[IP]:=m2[I]-T2; m3[I]:=m1[I]+T1; m4[I]:=m2[I]+T2;
end;
else begin
m1[IP]:=m1[I]-T1; m2[IP]:=m2[I]-T2; m1[I]:= m1[I]+T1; m2[I]:=m2[I]+T2;
end;
I:=I+LE; until I>N; end; end;
/* 'D' - знак прямого преобразования */
if TIP='D' then begin for L:=1 to N do begin m3[L]:=m3[L]/N; m4[L]:=m4[L]/N; end;
end;
end;
Процедура производит быстрое преобразование Уолша данных, которые передаются процедуре в массивах ml и m2. Результат преобразования - спектр Уолша возвращается процедурой в массивах m3 и m4. Если данные передаются процедуре в обычном порядке следования, то результат возвращается в двоично-инвертированном порядке. Если же мы хотим получить обычный порядок коэффициентов спектра, то исходные данные для обработки следует двоично инвертировать. Двоичным инвертированием номера считается номер, в котором порядок его двоичных разрядов изменен на обратный, например, инверсия числа 6 = 110 есть 3 = 011. Для инверсии любых номеров предлагается процедура на языке Pascal:
Procedure MASINVERSION(sw : integer; var m1, m2 : masdat); var I, J, K, NV2 : integer; T : real; begin NV2:=N div 2;
for I:=1 to N-1 do begin
if I<J then begin T:=m1[J]; m1[J]:=m1[I]; m1[I]:=T; end; if sw=2 then begin T:=m2[J]; m2[J]:=m2[I]; m2[I]:=T; end;
else begin K:=NV2; while K<J do begin J:=J-K; K:=K DIV 2; end; J:=J+K; end;
end;
6. Сжатие таблиц с двумя аргументами
Выше были рассмотрены преобразования и сжатие одномерных, линейных таблиц. Но большинство применяемых в судовождении таблиц являются двумерными - прямоугольными матрицами. Вопрос об их сжатии можно решить двумя путями. Первый путь - преобразование таблицы как линейной, считая, что она образована последовательным размещением строк таблицы-матрицы, начиная с первой строки. Этот путь вполне обычен, ведь именно так хранится двумерный массив в линейно организованной памяти ЭВМ. Преимущество такого способа состоит в том, что размер такой линейной таблицы будет достаточно большим, и можно надеяться на эффективность сжатия. Но в нем скрыты и возможные неприятности. После выстраивания в линию строк матрицы мы наверняка получим скачки функции при переходе от конца одной строки к началу следующей. Эту трудность можно обойти изменением порядка элементов в каждой четной строке - инвертированием этой строки. Соответственно, изменится и порядок спектральных коэффициентов. Но это не усложнит, а только изменит порядок номеров при восстановлении значений самой функции. Так, если номер значения восстанавливаемой функции был Npq = (р - 1) М + q, где р - номер строки с числом М элементов в ней, а q - номер столбца, то после инвертирования для четных строк этот номер станет равным (р - 1) М + (М- q + 1).
Второй путь - сначала спектральное преобразование строк таблицы, а затем преобразование полученного промежуточного спектра по столбцам. Недостатком этого способа можно считать малую степень сжатия из-за малой длины строк и столбцов. Правда, эффект сжатия усиливается за счет двойного преобразования и строк, и столбцов. Например, при сжатии строк и столбцов всего на 10 % общий эффект сжатия будет равен 1 - 0.9x0.9 = 0.19 = 19 %. Если, например, строки таблицы изменяются по квадратическому закону, а столбцы по кубическому, то общий эффект сжатия по данным табл. 2 равен 1-(1-0.188)х(1-0.63) = 0.24 = 24 %.
В качестве конкретного примера приведем результаты преобразования таблицы интегральной функции Лапласа (Кондрашихин, 1969), которую применяют в судовождении при оценке надежности мореплавания. Здесь она представлена в виде матрицы 30x10, т.е. состоит из 30 строк и 10 столбцов. Преобразовывать ее как двумерную нет никакого смысла: слишком мало (10) элементов в строках. Поэтому преобразуем ее как линейную таблицу из 300 значений. В примере будем считать, что значений 256 = 28. Но можно было бы дополнить таблицу нулями и считать число значений 512 = 29. Ив том, и в другом случаях получен одинаковый результат: финальное число нулей с степенью близости к нулю порядка 0.01 % от максимального коэффициента составляет 46.5 %. Восстановление функции по сжатой до 53.5 % совокупности коэффициентов спектра дало погрешности: среднюю квадратическую в 0.005 и максимальную в 0.057. Пример показывает эффективность проведенного преобразования таблицы.
7. Заключение
Проведенные исследования, связанные с выбором функционального базиса Уолша-Пэли, показывают, что этот функциональный базис может успешно применяться в различных системах обработки информации, не носящей выраженного периодического характера. В этом случае преимущества такого функционального базиса перед базисом Фурье очевидны. Кроме того, базис Уолша-Пэли дает хороший эффект при сжатии информации. Это показано на примере характерной для задач надежности навигации таблицы интегральной функции Лапласа, где эффект сжатия достиг 53.5 %.
Литература
Голд Б., Рейдер Ч. Цифровая обработка сигналов. М., Сов.радио, 367 е., 1993. Кондрашихин В.Т. Теория ошибок. М., Транспорт, 256 е., 1969.
Проектирование специализированных информационно-вычислительных систем. Под ред.
Смирнова Ю.Н. М., Высшая школа, 359 е., 1984. Рабиндер Л., Голд Б. Теория и приложения цифровой обработки сигналов. М., Мир, 528 е., 1978. Трахтман А.Н., Трахтман В.А. Введение в общую спектральную теорию сигналов. М., Сов.радио, 312 е., 1978.
