О пропускной способности канала связи и его геометрическом представлении Текст научной статьи по специальности «Электротехника, электронная техника, информационные технологии»

Радиофизика

Вестник Нижегородского университета им. Н.И. Лобачевского, 2012, № 1 (1), с. 49-55

УДК 621.391.019.4

О ПРОПУСКНОЙ СПОСОБНОСТИ КАНАЛА СВЯЗИ И ЕГО ГЕОМЕТРИЧЕСКОМ ПРЕДСТАВЛЕНИИ

© 2012 г. М.В. Литвин

Нижегородский госуниверситет им. Н.И. Лобачевского mlit.post@yandex.ru

Поступила в редакцию 02.11.2011

Рассматривается возможность получения более точной оценки пропускной способности канала связи и использования её при определении качества передачи дискретной информации. На основе анализа сигнального пространства определяется пороговое отношение сигнал/шум, при котором реализуется передача информации со сколь угодно малой вероятностью ошибки.

Ключевые слова: источник сообщений, энтропия источника, отношение сигнал/шум, пропускная способность, оптимальный код, сигнальное пространство, вероятность ошибки, вероятность правильного решения.

Введение

Выражение пропускной способности канала связи С = Fs ^(1 + р^) получено в [1, с. 98102] путем оценки вероятности ошибки при передаче сообщений. Затем там же это выражение получено из анализа геометрических структур в сигнальных пространствах. Для этого сигнал s(t) с ограниченным спектром представля-

ется рядом функций

sin x

. Ряд строится на ос-

чала координат

2s 2 (iAt) определено мощно-

сигнал/шум. Видим, что

lcg Q

г

веденному выше выражению пропускной способности канала связи.

Определенная таким образом пропускная способность канала связи не следует из строгого определения [3, с. 63 - 64]

C = lim max—

P(s, x)

нове отсчетов сигнала s(iAt), интервал между которыми определен его максимальной частотой Дt = \|2Fs [1, с. 84-86; 2, с. 122-124]. Сигнальное пространство, соответствующее такому ряду, является многомерным ортогональным, и удаление точки с координатами сигнала от на-

стью Ps. Если база сигнала B = 2FsTs (Ts - его длительность), то для сигнала и помехи и одной помехи эти расстояния равны PP + P) и

■,jBPn . Число различимых при передаче сигналов определяется отношением объемов многомерных сфер упомянутых выше радиусов

V ail BP + P) Г , ,PT

Q = -f = V" \в =(! + p si ) . (!)

Vn a(jBPj

Здесь a - константа, определяющая связь объема и радиуса сферы, psJ = Ps/Pn - отношение

приводит к при-

________ . ,_,х мое—, \ ' / ч dsdx . (2)

трМ 4 ! Р(?)р(х)

Здесь Р(*) - функции распределения случайных s и х, относящихся к входу и выходу канала, максимум берется по всем возможным распределениям вероятностей сообщений. В соответствии с (2) пропускная способность, даже при сколь угодно большом р ^ , когда х ^ s, не может превышать производительность источника сообщений Н^~)/Тх.

В связи с этим интересен вопрос о связи пропускной способности канала с отношением сигнал/шум, которое неявно содержится в (2) и весьма просто определяет ее в выражении Fs 1о§(1 + р ^). Наряду с этим следует рассмотреть обоснованность выражения (1) или какого-либо иного, нежели (2), для пропускной способности канала. Это важно, поскольку в [4, с. 147] показано, что формулировка теоремы Шеннона может не содержать понятия пропускной способности канала связи.

Что касается сигнального пространства, то хотелось бы определить в нем параметры, которые определяют процессы передачи информации в канале связи в разных помеховых условиях. Например, в случае передачи М дискретных сообщений существует пороговое отношение сигнал/шум р ^ = 21пМ , начиная с которого применение оптимального кодирования позволяет передавать информацию со сколь угодно малой вероятностью ошибки [4, с. 147]. Поэтому интересно установить, как при этом изменя-

x

ется сигнальное пространство, почему из невозможной передача информации без ошибок становится возможной. Все эти вопросы исследуются далее.

1. Пропускная способность канала связи

Рассмотрим подробнее известное выражение пропускной способности канала связи

с = ^ 1оё2(1 + р^, (3) где С - пропускная способность (бит/сек), Fs -максимальная частота сигнала, р ^ = Р,/Рп -отношение сигнал/шум на входе приемника канала связи. В работе [5, с. 327] это выражение получено для гауссова сигнала. Поэтому доказательством, которое имеет общий характер, следует считать таковое из [1, с. 98 - 102], основанное на геометрическом представлении процессов в канале связи. Для доказательства определяется число непересекающихся шумовых сфер, содержащихся в сфере принятого напряжения (1). Отсутствие искажений при этом объясняется свойствами рассматриваемой гауссовой помехи. Действительно, нормированный на мощность помехи квадрат расстояния в сиг-

на-

нальном пространстве е =—^

Рп 1=1

чала координат до точки, отображающей напряжение u(t), имеет ^-распределение [6, с. 124126]. Параметры его для одной помехи и сигнала с помехой равны, соответственно,

Е(Еп) = Bk, D(Еn) = 2Bk и Е(Е „) = вk + Bkр s1, D(Е „ ) = 2Bk + 4Bkр„ . (4) Здесь учтено, что при оптимальном кодировании длительность сообщений и сигнала, а значит, и база его увеличивается в k раз. Из (4) следует, что

шЛ = 0,

е(е )

,_____Ъп! (5)

4ЩП) л/2 0

11Ш —-------ч- =---------------1= = 0.

^“Д^п,Еп) рл4ьк Таким образом, область около средних значений, где располагается основная масса случайных £, уменьшается с увеличением k. Следовательно, £ в этом пространстве образуют тонкий сферический слой около радиусов со средними значениями, соответствующими напряжению помехи и сумме ее с сигналом. Поэтому вероятность появления £ вне такого тонкого слоя, а значит, и искажений сигналов может быть сколь угодно малой при увеличении k.

Количество сфер помехи, определяемое отношением их объемов (1), не учитывает дефор-

мацию сфер при сплошном заполнении большой сферы малыми. Харкевич по этому поводу заметил, что возникающие пересечения сигнальных сфер компенсируются малостью объемов (5), возникающих при пересечении и определяющих вероятность нахождения в нем случайной £. «Обе ошибки при переходе к предельным соотношениям случайным образом компенсируют друг друга, чем и следует, по-видимому, объяснить тот факт, что отмечаемые дефекты не были замечены...» [1, с. 99]. Однако даже если согласиться с компенсацией ошибок, то нельзя считать, что статистические свойства £п и из (4), (5) дают возможность различения такого количества сфер (1) и, следовательно, установления истинной оценки пропускной способности (3).

Действительно, из второго соотношения (5) следует, что при увеличении k появляется возможность различать случайные £п и £^п. Это связано с уменьшением «толщины» сфер, благодаря чему разность средних квадратов их радиусов ДЕ(Еп, Еп ) = Bkрs1 обнаруживается на фоне

помехи с вероятностью, сколь угодно

близкой к единице. Но принятие такого решения не позволяет оценить количество переданной по каналу информации, ибо оно дает ответ лишь о составе принятого напряжения: является ли оно шумом или содержит еще и сигнал.

В исследуемой задаче рассматривается передача сообщений, т.е. априори предполагается, что они с вероятностью единица существуют в смеси с помехой. Поэтому для определения количества информации в канале необходимо решить задачу о возможности различения Q сфер (1) в условиях действия помех. Понятно, что это совершенно иная задача, решение которой возможно, например, на основе оптимальных линейных фильтров [2, с. 7 - 14]. При этом определяющим фактором оказывается не только случайная составляющая помеховой сферы, но и расстояния между точками, отображающими сигналы. Если напряжение в канале ит(^ = = п(1) + sm(t) содержит сигнал, соответствующий сообщению с номером т, и помеху, то алгоритм выделения сообщения заключается в проверке гипотез существования всех возможных при передаче сообщений. Для этого определяются разности напряжений для всех I еЦ,Мк ] подлежащих передаче сообщений

Дит,1 () = ит () - (t) = n(t) + Sm (t) - ^ () . (6)

Ясно, что минимальной здесь является Дитт ^ ) = п(.). Таким образом, в рассматриваемом сигнальном пространстве помеха должна сопоставляться с разностными сигналами. Если

сигналы ортонормированные, то для нормированного на помеху разностного сигнала из (6) имеем

Дт„

Р Р

Вк

2ВкР,

при I = т,

(7)

Р

С учетом (4) очевидно и условие разделения этих сигналов. Сколь угодно малая вероятность ошибки различения сигналов (сообщений) может быть достигнута, если выполняется неравенство

2BkрЛ > 2Bk или р^ > 1. (8)

Видим, что это условие принципиально отличается от (1), (3), поскольку в нем имеется ограничение на отношение сигнал/шум.

2. Еще о пропускной способности

Известна задача, в которой выражение (3) точно определяет количество информации, передаваемой при действии помех. Речь идет об измерении случайной амплитуды сигнала известной формы при действии аддитивного «белого» гауссова шума [2, с. 311 - 313] s(a,t) = а5^) при t е [0Х ] и 0 при иных t. (9) Здесь случайная а имеет гауссово распределение с параметрами а 0 и ст а . Для оценки информации, получаемой при измерении а, удобно воспользоваться выражением (2) в форме I = Н(а)-Н(а|аЕ). Энтропия Н(а) определяется априорной плотностью вероятности амплитуды ^(а), а Н(а|аЕ) - условной плотностью вероятности ^(а|аЕ ). При этом безусловная оценка амплитуды сигнала аЕ определяется уравнением правдоподобия [7, с. 608-609]

■^СТаЛ/р7

р(а|а Е ) =

1

-ехр

ТССТ„

(а-а Е )2

2ст 2,

Здесь ста2 =ст^ (1 + ста р *). Поскольку априорное распределение амплитуды и (11) гауссовы и их энтропии определяются дисперсиями [3, с. 56], то для количества информации получаем

1гау, (ста , р , ) = ^2 l0g2 (1 + СТ ар * ) . (12)

Здесь I определено в битах на сообщение, ст ар * =ста Bр Л- отношение сигнал/шум на выходе приемника, усредненное по случайным компонентам амплитуды.

Выражение (12), определяющее информацию на выходе канала, идентично выражению

(1). Однако чтобы определять пропускную способность канала, оно в соответствии с (2) должно быть максимальным для рассматриваемой (гауссовой) амплитуды. Чтобы убедиться в том, что этого нет, рассмотрим сигнал с равновероятной амплитудой, для которой

Яа)=-

1

(13)

где а є [а1, а 2 ]. Для оценки информации здесь, в отличие от (12), проще использовать иную форму

Ірат.= Н (а е )-Н (а е |а). (14)

Здесь а Е = ^/д/Р7 - отличная от (10) оптимальная безусловная оценка амплитуды, Н(*) - энтропия и ненадежность, определяемые соответствующими распределениями. Нетрудно показать, что распределения амплитуды и ее оценки равны

Р(аЕ |а) ^ ехр

V 2тс

(аЕ -а)2Р^

Р(аЕ )=-

(15)

2(а2 -а1)

Е 1 +2 , (10)

1 + ста р *

где £ - нормированное напряжение на выходе фильтра, согласованного с сигналом ), р * = Е^0 - отношение сигнал/шум, Е* и g0 -соответственно, энергия сигнала ^) из (9) и спектральная плотность мощности шума. С учетом этой оценки, используя соотношение Байеса для вероятностей и априорное распределение амплитуды, имеем для условной плотности вероятности амплитуды

Здесь ф(х) = —-^= Г ехр(-1 Y2)dt - интеграл ве-

л/2^ {

роятности. Эти распределения не приводят к такому компактному выражению для информации, как (12). Поэтому информация (14) была вычислена с учетом (15), и полученные результаты, дополненные информацией (12), приведены на рис. 1 как функции р*. Зависимости для гауссовой амплитуды получены для ста = 0.3; 0.6 и 0.9 от (а2 - а1)/2. При минимальном ста имеем

для гауссовой амплитуды

'а = 0.999 , т.е.

(11)

множества амплитуд можно считать статистически эквивалентными, и больше информации в этом случае передается, как видно из рис. 1, при

2

а

I

равн. V к £

(р,)

^ гаус. (а а ’ Рз У

Рис. 1

Рз

сигнале с равновероятной амплитудой. При других Оа эта вероятность уменьшается до 0.89, 0.72 и множества перестают быть эквивалентными, и преимущество гауссовой амплитуды связано с большим отношением сигнал/шум. Таким образом, выражение (3) не удовлетворяет определению пропускной способности канала связи (2).

Выражение для пропускной способности можно получить, используя пороговое отношение сигнал/шум рз* = 21п М, определяющее условие передачи информации без ошибок [4, с. 144]. Если учесть количество передаваемой при этом информации Н(з) = ^2 М, то получается ,_Н(з) р„ ^ 0.72

С = -

-р„= 1Л4Fsр. (16)

Т8 Т8 21п2 Т8

Здесь использовано соотношение р з* = Вр з1*, содержащее базу сигналов из (1) и отношение сигнал/шум на входе и выходе приемника. Выражение (16) существенным образом отличается от такового из (3). Поскольку число сообщений М> 2, то и рз* > рз,т1П = 21п2, и С в (16) определена в области этих значений рз*. При рз* < рз*т1п информация не может быть передана полностью, поэтому логично считать в этом интервале С = 0.

Заметим, что в случае Н(з)< 1о& М, когда априорные вероятности сообщений Р(?т )ф 1/М, необходимое отношение сигнал/шум не изменяется рз* = 21п М, поскольку оно определяется максимальной для таких сообщений энтропией. Несложно показать, что в этом случае, из-за неизменности матрицы условных вероятностей

р(н? ), информация на выходе канала Р(3.) 1о§2 Р?. ) = Н(з) при к

т

[4, с. 144]. Таким образом, при рз > рз* передача без ошибок реализуется для М сообщений с разными статистическими свойствами.

3. Пространство сигналов

Рассмотрим подробнее, что происходит в пространстве сигналов при изменении условий передачи сообщений в канале связи. Пусть М равновероятных сообщений передаются с использованием оптимального кодирования, при котором перед передачей объединяют к последовательных сообщений [3, с. 66 - 67], а применяемые сигналы ортогональны и спектр их ограничен сверху частотой Fз. Сигнальное пространство для напряжений на входе приемного устройства, как упоминалось во введении, является многомерным евклидовым. Если учесть, что сигналы имеют длительность кТз, то ясно, что база сигналов Вк = FskTs = кВ.

В разделах 1, 2 показано, что количество по-меховых сфер (1), помещающихся в сфере, соответствующей напряжению х(; ) = п(;) + з(^), не связано с числом передаваемых без искажений сообщений и характеризует лишь предельную наполняемость этой сферы. При этом размещение сфер связано с деформацией их и, как отмечено в [1, с. 99], достоверность соотношения (3) может быть связана с удачной компенсацией ошибок. Кроме этого, возникает вопрос о правомерности использования сферы напряжения х(;) = п(;) + з(^) для «наполнения» ее помеховы-ми сферами. Это связано с тем, что для различения сообщений актуально соотношение меж-сигнальных расстояний и радиуса помеховой сферы (8). Поэтому вместо использования сигнального пространства для определения пропускной способности канала (1), (3), целесообразно определить, какие параметры сигнальной структуры в нём влияют на качество передачи сообщений.

Поскольку в канале связи передаётся М сообщений и действует помеха, мы имеем дело с напряжением Х(‘) = Зт ()+ п() > то в сигнальном пространстве следует рассмотреть соотношения

Рекр.(в*м)

(М)

м

Рис. 2

объёмов, связанных с принимаемыми напряжениями. Учитывая, что при хорошем качестве передачи действие помехи незначительно, удобно определить соотношение объёмов сферы, соответствующей напряжению х(?), и увеличенной в М раз помеховой сферы. Эта величина дает представление о соотношении объёмов фигур, образованных действующими напряжениями и сигналами. Для случая передачи с оптимальным кодированием получаем

В/2 ’

у =

V,. _ІІВк Р + Р.))“

Мк ЩкТ

МкУ„

С1+р,1)

М

.(17)

Заметим, что последнее выражение в (17) содержит объём сферы, соответствующий действующему в канале напряжению, нормированному на объём помеховой сферы. Поэтому величину 1/у можно считать объёмной плотностью сигнальных точек в рассматриваемом пространстве. Очевидно, что качество передачи информации улучшается при уменьшении объемной плотности сигнальных точек и ухудшается при увеличении ее. Из (17) следует, что при применении оптимального кодирования и увеличении к уменьшение объемной плотности происходит, если

С1+р ,1)

М

В 2

> 1.

(18)

Таким образом, только при выполнении (18) увеличение числа одновременно передаваемых сообщений уменьшает объемную плотность сигнальных точек 1/у или увеличивает объем пространства у, приходящегося на одно сообщение. В результате сигнальные точки при увеличении к удаляются друг от друга и действие помех ослабевает. Если условие (18) не выполняется, то при увеличении к действие помех только усиливается.

Неравенство (18) позволяет оценить пороговое отношение сигнал/шум р,кр, при котором

(18) оказывается справедливым. Если учесть связь между отношениями сигнал/шум на входе и выходе приемника (рз = Вр3]), то получим

Рз > Рзкр = в(м 2/в -1). (19)

На рис. 2 отношение рзкр/ рз* представлено как функция М при В = 10; 20;... 40. Следует отметить, что рзкр > р = 21пМ и только при

2 <<1 справедливо приближение М2В -1» 2пМ,

которое ухудшается при увеличении М. Таким образом, оценка рзкр в (19) приводит к завышенному и увеличивающемуся вместе с М значению (рис. 2).

Однако существенно, что точная величина и оценка ее из (19) для выхода приемника или условие (8), если гипотезы о сообщении принимаются на входе приемника, показывают, что малые вероятности ошибок можно получить только при р з > 1.

4. Обсуждение результатов

Проведенный анализ показывает, что выражение (3) не удовлетворяет строгому определению пропускной способности канала. Это связано с тем, что для него не выполняется условие максимизации информации по статистике сообщений, которое содержится в определении [3, с. 41]. Поскольку пороговая величина ри энтропия источника определяются логарифмом числа сообщений, зависимость информации на выходе канала от р з* линейная (16). При этом максимум ее для р з >р з* = 21пМ равен энтропии источника. Поэтому можно полагать, что пропускная способность не является актуальной характеристикой канала связи. Кроме того, следует иметь в виду, что условие безошибочной передачи сообщений может быть сформулиро-

вано без использования её и только с использованием порогового р s*. К тому же условие H(s)< CTs может ввести в заблуждение, поскольку передача информации без ошибок возможна в случаях, когда оно не выполняется [4, с. 147; 8, с. 836 - 838].

Соотношение (16) позволяет уточнить связь количества передаваемой информации, отношения сигнал/шум р s и полосы частот Fs. Видим, что информация зависит от Fs только, если она выражается через параметры р s1* и Fs, отнесенные к входу приемника. Этого и следует ожидать, поскольку при оптимальной фильтрации суммируются временные отсчеты сигналов. При этом оценивается энергия сигнала, которая может быть одинаковой для сигналов разной формы. Поэтому количество информации зависит только от р s* и определяется лишь интегральным параметром TsFsps1, что и создает некоторую свободу выбора формы сигналов

(16). Так, например, исследования Котельникова показали возможность уменьшения полосы частот сигнала за счёт объединения временных выборок сигнала [9, с. 72 - 73].

Однако при передаче сообщений возможны ситуации, когда по каким-либо причинам имеются ограничения параметров р s и Fs. В этом случае можно говорить о пропускной способности канала в смысле максимальной величины информации, которая может быть передана по данному каналу связи. Действительно, если

рs < р*max , то из (16) ^едуе^ что Cmax = °.72 X

хр smax/Ts . Аналогичное выражение получается

и при Fs < Fsmax. Тогда Cmax = 144Fsтахрs1max ,

что по существу приводит к ограничению базы

используемых сигналов Cmax = ^^рs1./Ts и количества передаваемых сообщений.

Что касается пространства сигналов, то вряд ли следует использовать его для оценки количества передаваемой в условиях действия помех информации. Такая оценка требует определения вероятностей принятия гипотез, а использование пространственных образов сигналов и помех (1) лишь косвенно связано с определением их и не учитывает целый ряд существенных факторов [1, с. 99]. Однако пространство сигналов оказывается полезным для качественного анализа процесса передачи информации при действии помех. Для этого достаточно оценить в нём соотношение объёмов, отображающих напряжения в канале связи (17). При этом мощность шума используется только для нормировки объёмов, а объемная плотность сигнальных

точек 1/ у (17) дает представление о структуре объема, занимаемого сигналом в нем. Существенно, что этот параметр, не определяя количества передаваемой информации, позволяет получить простое условие передачи её. Действительно, при уменьшении 1/ у сигнальные точки рассредоточиваются и качество передачи улучшается. В результате получается простое условие передачи сообщений при к ^ ж со сколь угодно малыми вероятностями ошибок (18). Важно, что для реализации такой передачи отношение сигнал/шум должно превышать пороговую величину (19). Заметим, что эта величина, как и следовало ожидать, больше единицы и близка к точной оценке ее из [4, с.144] при B >> 1 (рис. 2).

Заключение

Проведенное исследование показывает, что определение пропускной способности C = Fs х log(1 + р s1) не удовлетворяет условию максимизации информации на выходе канала связи

(2) по статистике сообщений [3] ((12), (14), рис. 1). Более точным является выражение (16), которое получено из (2) с использованием минимально необходимого отношения сигнал/шум р s* = 2lnM [4]. Существенное отличие его в том, что логарифмическая зависимость связывает C и количество сообщений источника M, а не отношение сигнал/шум р s1 . Простая связь пропускной способности и производительности источника сообщений (16) и определение условий безошибочной передачи информации только пороговой величиной рs* упрощают использование их для техники связи.

Геометрическое представление сигналов с оценкой объемной плотности их в сигнальном пространстве (17) хорошо отображает процессы взаимодействия сигналов и помех. Однако оно полезнее при оценке порогового отношения сигнал/шум (20), а не пропускной способности канала связи (3).

В заключение автор благодарит профессора, д.т.н. И.Я. Орлова, заведующего кафедрой радиотехники радиофака ННГУ им. Н.И. Лобачевского, за полезные советы.

Список литературы

1. Шеннон К. Связь при наличии шума // Сб. переводов «Теория информации и ее приложения» / Под ред. А.А. Харкевича М.: Гос. изд-во физикоматематической литературы, 1959. С. 82-113.

2. Вайнштейн Л.А., Зубаков В.Д. Выделение сигналов на фоне случайных помех. М.: Изд-во «Советское радио», 1960. С. 443.

3. Шеннон К. Статистическая теория передачи электрических сигналов // Сб. переводов «Теория передачи электрических сигналов при наличии помех» / Под ред. Н.А. Железнова. М.: Изд-во иностранной литературы, 1953. С. 7-87.

4. Литвин М.В. Иная формулировка теоремы Шеннона для дискретного канала с помехами // Труды НГТУ. Радиоэлектронные и телекоммуникационные системы и устройства. Н. Новгород, 2007. Т. 64. Вып.11. С. 141 - 148.

5. Прокис Дж. Цифровая связь. М.: Изд-во «Радио и связь», 2000. С. 788.

6. Королюк В.С., Портенко Н.И., Скороход А.Ф. и др. Справочник по теории вероятностей и математической статистике. М.: Г лавн. ред. физико-математической литературы, 1985. С. 640.

7. Миддлтон Д. Введение в статистическую теорию связи. Т. 2 / Пер. с англ. Под ред. Б.А. Смирени-на, Б.Р. Левина. М.: Изд-во «Советское радио», 1962. С. 830.

8. Литвин М.В. К формулировке теоремы Шеннона для дискретного канала с помехами // Известия высших учебных заведений. Радиофизика. Н. Новгород, 2009. Т.ЬИ. № 10. С. 833-841.

9. Долуханов М.П. Введение в теорию передачи информации по электрическим каналам связи. М.: Связьиздат, 1955. С. 126.

ON CHANNEL CAPACITY AND ITS GEOMETRIC REPRESENTATION

M. V. Litvin

The possibility of obtaining a more accurate estimate of channel capacity and its use in determining the quality of digital data transmission are considered. Based on the signal space analysis, the threshold signal/noise ratio is found at which the digital information transmission can be achieved with an arbitrarily small error probability.

Keywords: message source, source entropy, signal/noise ratio, transmission capacity, optimum code, signal space, error probability, probability of correct decision.