Теорема отсчетов для цифровой обработки случайных сигналов Текст научной статьи по специальности «Математика»

Теорема отсчетов

для цифровой обработки случайных сигналов

Геннадий ХУДЯКОВ, д. т. н., профессор

В настоящее время все радиоэлектронные системы, включая системы телефонии, радиовещания и телевидения, переходят на цифровой режим работы. Поэтому преобразование различных аналоговых сигналов для их обработки в цифровой форме (проблема дискретизации) требует фундаментального математического обоснования для всевозможных классов детерминированных и случайных сигналов с тем, чтобы разработчики таких систем могли уверенно пользоваться цифровыми сигналами и их преобразованиями в различных радиоэлектронных устройствах и компонентах.

Йискретизация детерминированных сигналов с ограниченной энергией в соответствии с теоремой Котельникова-эна получила в 1960-х годах твердую теоретическую базу, а также многочисленные обобщения на основе математической теории гильбертовых пространств с воспроизводящими ядрами [1]. Однако дискретизация случайных сигналов, например, речевых и телевизионных, до сих пор не нашла удовлетворительного для прикладных целей математического обоснования, что приводит на практике к неправомерному применению теоремы отсчетов и некорректным ее интерпретациям при цифровой обработке сигналов.

Теорема отсчетов Котельникова-Шеннона и ее обобщения

Прикладная проблема дискретизации сигналов [2] развивалась значительно позднее, чем математическая проблема интерполяции функций. В результате решения последней получены интерполяционные формулы Ньютона, Стирлинга, Лагранжа, Гаусса, Бесселя, Эверетта, Стеффенсена и др.

О. Коши в 1841 г. [3] иЭ. Борель в 1897 г. [4] рассматривали интерполяционные ряды вида:

т=£/(«*)

sin (Ti(t—nh) lh) n(t-nh)/h

бесконечного множества функций, которые можно провести через совокупность отсчетов (..., /_!, f0, f1, ...), существует функция, не имеющая разрывов второго рода (сингулярностей) и быстрых осцилляций между от-счетными точками. Такую функцию C(t) Уиттекер назвал основной, или кардинальной функцией (cardinal function):

с(о=£/(в+идо

= £ f„ sinc(fi (t-a-nAt)), (2)

П=-ао

где sinc ж = (sin x)/x.

Например, если a = 0 и fn = (-1)", то (см. рисунок):

C(t) = £ (-1)" sine (t-nAtj) =

= C0S(P)

(3)

(1)

Однако первым, кто осознал важность представления (1) для прикладной математики и провел достаточно подробные исследования свойств ряда (1), был шотландский математик Эдмунд Уиттекер [5]. Он показал [5, 6], что если некоторая неизвестная функция f (?) задана своими эквидистантными отсчетами П = f (я+пД^) в бесконечной совокупности точек (..., я-Д?, я, я+Д?, ...), то среди

• при At =1/(2F) и а = 0;

® при At =1/(2F) и а = At/2; о при At'<l/(2F) и а = 0;

— C(t) = cos()tt/At);

...C(t) = ¿ cos(27cFAt,)xsinc(7c(t—nAt^/At1)

Рисунок. Совокупности эквидистантных отсчетов

= f(я+пД?)}^ сигнала f(?) = со$(2п£г) и кардинальные функции С (г) для этих совокупностей

При этом формулу (3) нельзя рассматривать как применение теоремы отсчетов Котельникова-Шеннона к функции cos(2nFt) при F = 1/(2Дt), поскольку при a = At/2: fn = cos[n (a+nAt)/At] = cos[n(n+1/2)] = 0 для любого значения n, и ряд (2) тождественно равен нулю.

Дальнейшие свойства кардинальных функций исследовал в 1925-1927 гг. ученик Уиттекера — У. Феррер [6]. Он обнаружил у кардинальных функций замечательное свойство «самосогласованности» (соответствующий термин “consistency” в [7] взят в кавычки и требует неформального перевода на русский язык).

Теорема 1 (Феррер: 1927г. [6, 7])

СО

Если Z ( I fn I + I /-«I Уп < 00 , то

П=1

СО

C(t) = £c(a'+lAt')x

/=—00

xsinc(^7(i-a-/Ai')), (4)

где At'<At, d — произвольное число. То есть для самосогласованности (иначе говоря — однозначной определенности) кардинальной функции C(t) достаточно, чтобы отсчеты \fn}Zc соответствующим образом убывали на бесконечности.

Однако из расходимости ряда

¿(|/.НД|Уи

не следует отсутствие самосогласованности кардинальной функции С(?), соответствующей ряду (...,^,_/0, ^, ...). Тем не менее, разложение (3) для функции со8(л£/Д?) свойством однозначной определенности (самосо-гласованности) не обладает, то есть

cos(jtí/Aí) Ф ^ cos(2nF(a'+nAt'))x

п=-<х>

х sine (^7 (t-a'-nAt'j). (5)

Как видим, кардинальные функции C(t) имеют к проблеме дискретизации самое непосредственное отношение.

Развитие телеграфной техники в 1900-х годах привело к необходимости оценить теоретически предельно достижимую скорость передачи элементарных посылок через канал связи, рассматриваемый как линейный фильтр нижних частот с частотой среза Fff Первым, кто успешно решил эту задачу (в 1928 г.), был американский электроинженер шведского происхождения Гарри Найквист [6]. Он доказал, что интервал между соседними элементарными телеграфными посылками Д^ не может быть меньше, чем величина 1/(2FJ: Д^> 1/(2FJ. По предложению Шеннона [8] предельное значение интервала дискретизации Д^ = 1/(2Fm), где Fm — максимальное значение частоты финитного спектра S (ю) детерминированного сигнала s(t) с ограниченной энергией, названо интервалом Найк-виста, хотя сам Найквист проблемой дискретизации не занимался [6].

В 1932 г. советский радиоинженер (будущий академик) В. А. Котельников впервые достаточно четко сформулировал и доказал теорему отсчетов для детерминированных сигналов, а в 1940 г. ее «переоткрыл» американский радиоинженер и математик Клод Шеннон [6]. Современная формулировка теоремы Котельникова-Шеннона заключается в следующем [6].

Теорема 2

(Котельникова-Шеннона)

Пусть сигнал s(t) с конечной энергией Es = ^ 2(t)dt обладает ограниченным по частоте (финитным) спектром:

|S(®)| = 0 при 1ю1 > 2nFm.

Тогда сигнал s(t) может быть однозначно представлен в виде ряда Э. Уиттекера:

00

í(0 = Z Sn SÍnC (пРЯ(?~1п )) =

П=— 00

00

= ^ i:(a+nAí)sinc (t-a-nAtty, (6)

п= — 00

где sn = s(a+n^t) — отсчет функции s(t) в точке tn = а+пДЪ, a — произвольное действительное число; Дt = 1/Fд — интервал дискретизации F > 2Fm).

Функция sinc ж = (sin x)/x в теории сигналов называется функцией отсчетов, а ряд (6) в каждой точке t сходится среднеквадратически. При этом:

т п=-00

где Qm = 2nFm, Дt < 1/(2Fm).

Поскольку величину Д tH = 1/(2Fm) назвали интервалом Найквиста, то в теореме 2 интервал дискретизации Дt должен удовлетворять неравенству Дt < Д tff

Шеннон в фундаментальной статье [8] приводит пример «белого шума» с финитной спектральной плотностью мощности (W^(ro) = N0 < 2nFm), имеющего в качестве своих реализаций функции вида:

00

5(0 = Z апsinc (д7 (^-ид0)>

П=~оо

где случайные коэффициенты an распределены по закону Гаусса и независимо друг от друга со средним -n = 0 и с дисперсией an = N0. Однако обобщения теоремы отсчетов на случайные процессы ^(t) Шеннон не приводит.

Обобщения теоремы отсчетов на случайные процессы предпринимались в 1957 г. А. Балакришнаном [9], в 1959 г. С. Ллойдом [3] и в 1968 г. Л. Кэмпбеллом [10]. В 1971 г. Дж. Стиффлер [11] предложил довольно оригинальный подход к доказательству теоремы отсчетов для стационарных случайных процессов на «инженерном уровне строгости».

Балакришнан формулирует теорему отсчетов для реализаций действительных или комплексных стационарных (в широком смысле) случайных процессов ^(t), спектральная плотность мощности W^(ro) = W^(2ref) которых равна нулю вне закрытого интервала частот [-Fm < f < Fm]. При доказательстве он использует формально-математическое разложение: 00

ехр(2тг¡ft) = X exp(nnjf/Fm)x

п=-со

xsiac(n(2Fmt-n)) (7)

для каждого значения частоты f внутри открытого интервала (-Fm < f < Fm).

Но при f = Fm правая часть выражения (7) равна:

ОО

X exP(nnjf/FJ sinc(n(2Fmt-n)) =

й=—оо

00

= Х (c0s(n7c)+ysin(n7r))x

и=-00

х sinc (n(2Fmt-n)) =

= Z (_1)” SinC (K(2Fmt-п )) +/X 0 =

«=-00

= cos(2nF„0, (8)

что не равно левой части: exp(2rejFmt). То есть разложение (7) в случае f= Fm не справедливо. Открытость интервала (-Fm < f < Fm) не спасает положения, поскольку ни функция cos(2rej/t), ни sin(2rejfi) свойством однозначной определенности (самосогласованности) не обладает.

Ллойд и Кэмпбелл также исходят из разложения (7). Аналогичное доказательство теоремы отсчетов для стационарных процессов приводится в Справочной математической библиотеке 1967 г. [12].

Стиффлер так же, как и авторы работ [3, 9, 10], не исключил из рассмотрения сингулярные стационарные случайные процессы n(t), корреляционная функция которых, например, равна йл(х) = Dcos(2reFx), а реализации гауссовского процесса n(t) имеют вид:

n(t) = acos(2nFt)+Psin(2nFt) = = ycos(2nFt+9),

где а и в — реализации гауссовских случайных величин а и в с параметрами а = в = 0; а2 = в2 = D; ав = 0; у и ф — реализации случайной амплитуды у и начальной фазы ф, которые распределены независимо друг от друга: у — по закону Релея, ф — равномерно на промежутке (0, 2п].

Формальный ряд Уиттекера для произвольной реализации стационарного процесса n(t) при a = 0 и Дt = 1/(2F) имеет вид:

Ф) = S sinc(^(i-«Ai))x

П=-оо

x[acos(Hjr)+Psin(«7i)] =

00

= a X sinc (7-иАг)) х cos(n п) =

л=-со

=acos(2jiFi).

Как видим, здесь q(t) Ф n(t), а процесс q(t) = {q,(t)}7 даже не является стационарным, поскольку

Rq(t, s) = a2xcos(2лFt) cos(2nFs) = = 0,5Dx[cos(n(t-s)Mt)+cos(n(t +s)/Дt)].

Если Дt' < 1/(2F), то реализации q;(t) будут представлять собой некоторые «биения» с частотой [1/Дt'-1/(2F)] и не будут совпадать с исходными реализациями (рисунок), то есть ряд (2) для реализаций процесса n(t) однозначно не определен.

Предварительные итоги развития проблемы дискретизации подведены в обширном обзоре 1977 г. А. Джерри [13]. Вместе с тем, из обзора Э. Майеринга 2002 г. [4] видно, что должного математического фундамента теорема отсчетов для случайных процессов так и не получила, а дискуссии, ведущиеся в Интернете по настоящее время [14], говорят о том, что отсутствие такого фундамента приводит к неверным интерпретациям и незаконным применениям теоремы отсчетов при цифровой обработке аналоговых сигналов.

Основные ограничения применимости теоремы отсчетов к стационарным случайным процессам

Известно [15], что всякий стационарный случайный процесс Z(t) может быть представлен, и притом единственным образом, суммой (разложение Вольда): Z(t) = n(t)+^(t), где n(t) — сингулярный случайный процесс, ^(t) — регулярный случайный процесс;

при этом процессы пМ и %(і) не коррелированны между собой (в случае гауссовского процесса С(І) — и независимы).

Обобщенная спектральная плотность средней мощности ^(ю) сингулярного процесса пМ имеет вид:

Wц(c6)=^Л^),

к=1

где {ю1, ю2, ..., ю*., ..., юы} — (линейчатый) спектр процесса пМ, а его реализации представляют собой почти периодические функции (Бора). Как показано выше, такие процессы не могут быть однозначно представлены в виде ряда (2).

Регулярные стационарные процессы %(ї) имеют кусочно-непрерывную спектральную плотность мощности ^(ю) и являются реакциями некоторого стационарного линейного (не обязательно физически реализуемого!) фильтра с коэффициентом передачи К(ю) на «белый шум», то есть на стационарный случайный процесс с корреляционной функцией вида Дб.ш(х) = Ы0 8(т), где ^бш(ю) = N — спектральная плотность мощности «белого шума».

Это следует из того, что функция ^(ю) — не отрицательная, а действие фильтра с коэффициентом передачи К(ю) на спектральную плотность мощности ^вх(ю) входного случайного процесса имеет вид Т¥вых(ю) = = ^]зХ(ю)|К'(ю)12. Отсюда ^%(ю) = Л'г0иХ"(ю)12, где К(ю) — амплитудно-частотная характеристика формирующего данный регулярный случайный процесс %(і) фильтра.

Если мощность Р% процесса ^(í) не ограничена, то есть если

= | Щ(ю)с/(о =ао, то его дисперсия

1\ = 52(0 = ^(0) = р% = ^ Ща>№ = 00,

и процесс %(í) не может быть представлен рядом Уиттекера (2), поскольку отсчеты %п = %(а+пДі) в этом случае не будут определены (будут иметь «бесконечные значения»).

Если Р% < ю, то процесс %(£) может быть представлен совокупностью реализаций {%;(<■)}“, которые являются гармониками вида %(£) = асо8(ю£+ф), где а, ф, ю — независимые случайные величины; при этом величина а распределена по закону Релея со среднеквадратическим значением 5а = 1, ф — равномерно на промежутке (-п, п], ю — с плотностью вероятности р(ю) = 1¥%(ю)/Р%. Реализации таких не эргодических процессов, так же как и сингулярных процессов пМ, не могут быть представлены в виде ряда (2).

Таким образом, мы исключили из множества стационарных случайных процессов {^М} те подмножества, реализации которых не могут быть однозначно представлены рядами Уиттекера (2) со случайными коэффициентами, поскольку не обладают свойством

самосогласованности Феррера (4): сингулярные стационарные процессы, стационарные процессы с бесконечной мощностью и не эр-годические процессы.

Теорема отсчетов для гауссовских стационарных случайных сигналов

Для определенности мы ограничимся рассмотрением множества стационарных случайных сигналов (Е,(^)}, мгновенные значения которых Е, = ^(*) распределены по закону Гаусса. Обобщение на негауссовские случайные сигналы принципиальных затруднений представлять не должно, а гауссовские сигналы для радиоэлектроники представляют наибольший практический интерес. Кроме того, будем полагать, что среднее значение ^(*) = 0, где черта сверху является символом усреднения по ансамблю реализаций {^; (*)}“ случайного сигнала ^(*). Формулировка и предварительное доказательство теоремы отсчетов для гауссовских стационарных случайных сигналов были представлены автором в 2007 г. в [16].

Теорема 3

Если стационарный регулярный гауссовский случайный сигнал ^(*) с ограниченной мощностью р = ^2(* )<ю) является эргоди-ческим и имеет финитную спектральную плотность средней мощности (энергетический спектр) ^(ю) = 0 при 1ш! > 2%Рт, то его реализации могут быть однозначно представлены в виде:

со

4(0 =Х 4(а+иДг)ятс(^(г-а-иДг)),

л=-00

(9)

а корреляционная функция Д^(х) такого сигнала ^(*):

00

л4(т)= X ^(»гДг)8тс(^(т-»гДг)),

(10)

где а — произвольное число и величина

Д* ^ 1/(2^т).

Доказательство

Как показано в статье [17], реализации «белого шума» могут быть представлены в форме пуассоновского потока дельта-импульсов с гауссовскими случайными коэффициентами. Следовательно, реализации гауссовского регулярного стационарного случайного процесса ^(*) можно представить в виде:

5(0 = ЕМ(Мъ).

(11)

При этом ХГ>р = 1, а мощность Р% процесса %(£) численно равна величине энергии сигнала $(ґ): Р% = ХГ>рЕ5 = Е.

Ясно, что представление (11) является эр-годическим, поскольку по одной из реализаций (11) процесса %(£) может быть определена спектральная плотность формирующего сигнала $(ї), а также величины X и Г>р, а значит, и спектральная плотность мощности ^(ю) = ХГ>в1^(ю)12.

По теореме Парсеваля

=Р%< оо.

Значит, формирующий сигнал $(і) имеет ограниченную энергию Е = Р%.

Если спектральная плотность мощности 1¥%(ю) финитна, то:

00

5(ш)=| ,?(ґ)ехр(-уа>ґ)с^ =

=±_

2п

= J j sxp(j(v-a)t)dtdv =

-2 %Fm -со

_____ ___________________

= j

~2*Fm

То есть формирующий сигнал «(і) также имеет финитный спектр (5(ю) = 0 при 1ю1> 2пРт), и к сигналу $(ї) может быть применена теорема 2:

s(t) = X s(a +nÁt) siiic(^(t-a-nAtj) .

(12)

Подставляя разложение (12) в формулу (11), получим:

00 00

где p¿. — независимые гауссовские случайные величины с нулевыми средними Pk = 0 и с одинаковыми дисперсиями a| = D^ {— пуассоновская совокупность моментов времени tk с интенсивностью X; s(t) — формирующий сигнал:

s(t) = I ^ щ (o:>)exp(/a)t)dtD.

5(0= X Р*Х5(а+иЛ0х

¿=—00 п =—00

хвшс^-^^-^-а-иДг)). (13)

Поскольку ряд Уиттекера (12) для функции $(*) обладает свойством самосогласованности, то равенство (13) не нарушится, если при каждом значении к положить а = Ь. Тогда:

5(0= X р* X ^(б-^+лдох

¿=—00 п=- 00

х8шс(^(г-6-иДг)).

Поменяем порядок суммирования по к и по п:

5(0 = X

П=-00 00

хХр*5(6_^+иАо. (14)

¿=-00

Сравнивая выражения (14) и (11), видим, что

Я4(т) = Ç(0Ç(î+t) =

= X Ç(a+nAi) sine (-^(t—a—nAt)) ^ ^(а +кМ) sine (t +x-a-Mi)) =

п=— оо к=—<х>

СО 00 __________________

= У, X %{a+kAt)iJ(a+nAt) sinc(^(/-a-«A/))smc(^ (t+x-a-kAtj) =

я=—00 к=-<хз

ао оо

= Х EÄ#_',)Äi)sinc(^ (г-а-лАфте^С+т-а-МО) (15)

и=—00 ¿ = -00

СО 00

i?ç(i)=X X R^((k-n)At) sine (и л) sine (^(т-Mi)) =

И = -00 ¿=-00

00

= ^R^(kAt) sine(-^(г-kAtj) (16)

i;(i) = X +Mi) sine (t-b-nAffy.

й=-со

Для корреляционной функции R|(x) получим разложение (15).

Положим a = t; тогда (16), поскольку sinc(0) = 1, а при n Ф 0 значение sinc(nn) = 0.

Теорема доказана.

Обратим внимание на то, что в разложении (9) для реализаций случайного сигнала ^(t) величина a — произвольная, а в разложении (10) для корреляционной функции a = 0. Кроме того, несмотря на то, что реализации сигнала ^(t) не удовлетворяют условиям теоремы 1 (Феррера), они допускают однозначно определенное представление (9).

Практический смысл условия эргодичности стационарного случайного сигнала ^(t) в теореме 3 такой же, как условия принадлежности детерминированного сигнала s(t) пространству ¿2(t) в теореме 2: отсутствие в сигнале s(t) или в реализациях сигнала ^(t) сингулярных составляющих вида A cos (©t+ф).

Несмотря на то, что проблема интерполяции функций с помощью ряда (2) была четко сформулирована Э. Уиттекером в 1914 г., а проблема дискретизации для детерминированных сигналов с ограниченной энергией впервые решена в 1932 г. В. А. Котельниковым, полное решение проблемы дискретизации для всевозможных классов аналоговых сигналов далеко от завершения. Это не позволяет радиоинженерам всегда правильно и уверенно использовать «теорему отсчетов» при разработке различных цифровых радиоэлектронных компонентов и применении в них цифровой обработки сигналов различных классов.

Сформулирована и доказана (на уровне строгости прикладной математики) теорема отсчетов для широко используемого в радиоэлектронике класса сигналов: эргодических стационарных случайных с ограниченной мощностью. ■

Литература

1. Функции с двойной ортогональностью в радиоэлектронике и оптике. США, 1961-1968 гг. / Пер. и науч. обработка М. К. Размахнина и В. П. Яковлева. М.: Советское радио, 1971.

2. Вероятность и математическая статистика: Энциклопедия / Гл. ред. Ю. В. Прохоров. М.: Большая Российская Энциклопедия, 1999.

3. Lloyd S. P. A sampling theorem for stationary (wide sense) stochastic processes // Trans. Am. Math. Soc. 1959. V. 92. № 1.

4. Meijering E. Chronology of Interpolation: from Ancient Astronomy to Modern Signal and Image Processing // Proc. IEEE. 2002. V. 90. № 3.

5. Whittaker E. T. On the Function which are Represented by the Expansion of Interpolation-Theory // Proc. Roy. Soc. Edinburgh. 1914. V. 35, pt. 2.

6. Худяков Г. И. Теорема отсчетов теории сигналов и ее создатели // Радиотехника и электроника. 2008. Т. 53. № 9.

7. Whittaker J. M. Interpolatory Function Theory. New-York- London: Stechert - Hafner, 1964.

8. Shannon C. A mathematical theory of communication // Bell Syst. Tech. J. 1948. V. 27. № 3, № 4. (Пер.: Шеннон К. Работы по теории информации и кибернетике. М.: Изд-во иностранной литературы, 1963).

9. Balakrishnan A. V. A note on the sampling principle for continuous signals // IRE Trans. 1957. V. IT-3.

№2.

10. Campbell L. L. Sampling theorem for the Fourier transform of a distribution with bounded support // SIAM J. Appl. Math. 1968. V. 16. № 3.

11. Стиффлер Дж. Теория синхронной связи. М.: Связь, 1975.

12. Прохоров Ю. В., Розанов Ю. А. Теория вероятностей. Основные понятия. Предельные теоремы. Случайные процессы. М.: Наука, 1967.

13. Jerri A. J. The Shannon Sampling Theorem — Its Various Extensions and Applications: A Tutorial Review // Proc. IEEE. 1977. V. 65. № 11.

14. http://en.wikipedia.org/wiki/ Nyquist-Shannon_sampling_theorem

15. Королюк В. С., Портенко Н. И., Скороход А. В., Турбин А. Ф. Справочник по теории вероятностей и математической статистике. Киев: Наукова думка, 1978.

16. Худяков Г. И. Еще раз о теореме отсчетов теории сигналов // Сб. науч. трудов 2 Междунар. конф. «Современные проблемы радиоэлектроники». Ростов-на-Дону: РАС ЮРГУЭС, 2007.

17. Худяков Г. И. Об одном методе математического представления регулярных случайных процессов и полей // Радиотехника и электроника. 1974. Т. 19. № 2.