Теорема Шеннона для дискретного канала с помехами и сигналами разных классов Текст научной статьи по специальности «Электротехника, электронная техника, информационные технологии»

Радиофизика

Вестник Нижегородского университета им. Н.И. Лобачевского, 2011, № 4 (1), с. 89-97

УДК 621.391.019.4

ТЕОРЕМА ШЕННОНА ДЛЯ ДИСКРЕТНОГО КАНАЛА С ПОМЕХАМИ И СИГНАЛАМИ РАЗНЫХ КЛАССОВ

© 2011 г. М.В. Литвин

Нижегородский госуниверситет им. Н.И. Лобачевского milt.post@yandex.ru

Поступила вреОакцию 01.07.2010

Исследована передача дискретной информации по каналу связи с помехами в условиях приема сигналов со случайными параметрами. На основе теории оптимального приема показано, что случайность амплитуды сигнала, а также амплитуды и фазы не позволяет успешно применять оптимальное кодирование. В этом случае передача информации без ошибок возможна только за счет увеличения интенсивности сигнала относительно помехи. Случайность начальной фазы сигнала менее опасна, и в этом случае применение оптимального кодирования эффективно. Полученные результаты позволили уточнить формулировку теоремы Шеннона.

Ключевые -лова: дискретное сообщение, передача информации, энтропия источника, случайный параметр сигнала, вероятность правильного решения, неинформативный параметр сигнала, оптимальный фильтр, вероятность ошибки, ортогональный сигнал.

Введение

В работе [1], как впрочем и в [2 - 4], теорема Шеннона для канала связи с помехами и дискретными сообщениями (11-я теорема в [1, с. 40 - 43]) доказывается без учета обработки сигналов при приеме и без рассмотрения классов сигналов, для которых она справедлива. В работах [5, 6] получена иная формулировка теоремы для случая передачи сообщений с использованием оптимального кодирования и сигналов известной формы (детерминированных), в качестве которых рассматриваются классы орто-нормированных сигналов. Доказано, что для этих условий существует отношение сигнал/шум на выходе оптимального приемника р ^ , превышение которого обеспечивает сколь угодно малую вероятность ошибок при передаче сообщений. Все условия, необходимые для такой передачи, учтены в формулировке теоремы.

При передаче информации некоторые параметры используемых сигналов могут приобретать в канале связи случайный характер, например, из-за многолучевого распространения радиоволн, гетеродинирования сигналов. В результате амплитуда и начальная фаза сигналов оказываются случайными. Согласно статистической теории связи, эти особенности сигналов существенны при оптимальной обработке их, они определяют как структуру оптимального приемника, так и качество приема [7, 8].

В связи с этим представляется интересным и важным оценить те изменения в содержании

рассматриваемой теоремы, которые могут быть связаны со случайным характером сигналов. Наряду с этим актуален вопрос о связи качества передачи сообщений с их количеством (к) в передаваемой группе, т.е. динамика качества. Эти вопросы исследуются для упомянутых выше детерминированных и случайных сигналов и являются задачей данной работы.

1. Детерминированный сигнал

В работе [5, с. 147] формулировка теоремы определяет условия передачи информации со сколь угодно малой вероятностью ошибок. При доказательстве ее рассматривалось оптимальное кодирование посредством передачи группы из к последовательных сообщений [2, с. 100]. Ясно, что качество передачи при этом зависит от к . Поэтому прежде чем перейти к исследованию динамики процесса установления качества и учесть влияние случайности сигналов, целесообразно пояснить идею этого доказательства.

Рассмотрим источник с М равновероятными сообщениями, изменяющимися через время Т. Для передачи используются ортонормиро-ванные сигналы sm (?) такой же длительности (т е [1,М]). В канале связи действует аддитивный «белый» гауссов шум со спектральной плотностью мощности g0. Количество информации на выходе канала связи при оптимальных кодировании и приеме равно [5, с. 143]

(2)

kCTs = -[р„ + {ык -1>S]х

х log,P+Mk-ih + (1)

2 Mk

+ Pss log, Pss + (Mk - lh log, Ps.

Здесь CTs - пропускная способность канала в

битах на одно сообщение, Мк - количество сообщений с учётом передачи группы их, Pss, PSs - вероятности правильного и ошибочного приема, соответственно. Поскольку оптимальный приемник ортонормированных сигналов представляет собой многоканальную систему [7, с. 355 - 357], то эти вероятности равны

Ps = Pi (1 - P, )Mk 1 = Pi P,

Ps* =(1 - Pi )P, (1 - P, )Mk -

Здесь P1 и P, - вероятности превышения порогового уровня Е , напряжениями в каналах приемника при условии действия, соответственно, сигнала и шума и только шума. Вероятности P1 и P, определяются с использованием соответствующих плотностей вероятности [7, с. 19, -193]

P1 (Е,) = j pfe| S)dЕ, P, (С,) = j p(c| S )%, (3)

С, С,

где С - нормированные на величину gол/р7 напряжения на выходе фильтров в каналах приемника, согласованных с сигналами sm (t).

Для оценки пропускной способности канала связи в (1) необходимо исследовать вероятность Pss из (,) как функцию Е, и к. Распределения С в (3) гауссовы [7, с. 195], и сомножители Pss равны

P (к, У =

1 -ФК.-

'(?.-VkpS

P2k (Е.) = P2 (к, Е.) =

1 + Ф(^.)'

Здесь ф(х) = —[exp(-12/2)dt - интеграл ве-л/2тс j

роятности, р s = 1 s

js^(t )dt

уменьшения (увеличения) вероятности Pss из (2) очевидны. Если р(к,Е„) и Р2(к,Е.), как функции Е., при увеличении к перекрываются, т.е. близкие к единице значения их располагаются в одной области Е*, то вероятность Pssmax (E.) тоже близка к единице. Если эти области различны, то Pssmax (E.) тем больше отличается от единицы, чем больше расстояние между ними.

Для оценки взаимного положения р(к, Е.), Р2(к, Е.) и смещения их при изменении к удобно использовать точки максимальной крутизны [5, с. 144]. Абсциссы их Е»(к) определяются из уравнений со вторыми производными этих функций по Е». Для р(к, Е.) из (4) максимальная крутизна соответствует значению

. (5)

В случае Р2(к, Е.) из (4) значения Е,2 (к) являются решениями более сложного уравнения 7) exp[-0.5^2 (к)] = ^ (к )1 + Ф[с,2 (к)] л/2л 2

Взаимное положение функций ^.1(к) и Е,2 (к) определяется существованием точки пересечения их. Решение системы из уравнений

(5) и (6) относительно неизвестных Е.(к) дает ответ на этот вопрос. Используя (5), можно из этой системы получить уравнение относительно к

(мк - 2)

. (6)

(4)

t - отношение сиг-

нал/шум, одинаковое для всех сигналов при к = 1, т.е. при передаче одиночных сообщений. Вероятности в (4) являются, соответственно, монотонно убывающей и увеличивающейся функциями Е.. При увеличении к обе функции смещаются вправо, функция р(к, Е.) - без изменения формы, а Р2(к, Е.) - меняя ее. Условия

Мк - 2)ехр(- 0.5кр,) ^72^кР71+ Ф2кр^ . (7)

Точка пересечения существует, если уравнение (7) имеет решение. Нетрудно показать (см. приложение), что решение существует при условии

р, < 21пМ = р^. (8)

Приближенное решение уравнения (6) при к >> 1 равно Е»2пр (к) « V2к 1пМ . При условии

(8) для Е

*2пр

(к) и Е„1(к) из (5) справедливо неравенство ^.[(к) < Е»2пр(к). Поскольку при выполнении (8) имеется точка пересечения, то при к = 0 (слева от нее) неравенство обратное Е.^к) > Е.2пр(к). Таким образом, в области малых к вероятность Р2(к, Е.), как функция Е., расположена левее функции р(к, Е.), а в области больших к функции Р2(к,Е.) и р(к,Е.) меняются местами. Следовательно, при увеличении к функция Р2(к, Е.) сначала «догоняет» р(к, Е.), а затем «перегоняет» ее и оказывается

2

к

Мп -1

2

Pl(Ux)

Р2(к^х)

Р х)

^ ssmaxnp.l 0е, £ х) ООО

правее. При этом Р$$тах (^.) уменьшается и при к ^ ю стремится к нулю, т.к. мера перекрытия функции р (к, £.) и Р2 (к, £.) уменьшается.

При р5 > р^ ситуация иная. Точки пересечения нет (8), и при к функция р (к, £.), располагаясь правее Р2 (к, ^.) и смещаясь с

большей скоростью, «удаляется» от нее. При этом мера перекрытия их увеличивается, и Р$$тах (£.) стремится к единице. На рис.1 представлены вероятность Р^ (к, £.) и ее сомножители (2)-(4) как функции при разных к. Зависимости, полученные при М = 3, к = 1; 5; 9;... 29 и р 5 = 1.5, иллюстрируют рассмотренные выше свойства вероятности правильного приема.

Чтобы оценить динамику вероятности Р$$ (к, £.) при изменении к, обратимся к Р (к, £.) и Р2(к, О из (4). Из монотонности уменьшения и увеличения их при изменении следует, что увеличение Р^ (к, £.) от нулевого значения определяется функцией Р2 (к, £.), скорость изменения которой растет с увеличением к, а следующее затем уменьшение - медленной функцией Р (к, £.) (рис.1). Поэтому максимум вероятности Р$$ (к, £.) можно оценить не точным значением её из (2), а величиной

Р (к, £.2 пр.(к )) , где £.2 пр.(к )^ 2к 1п М - приближенное значение корня из (6). Такая замена полезна, поскольку точная величина максимума определяется сложным, аналогичным (6), уравнением, которое не имеет решения в аналитической форме. Кроме этого, при оценке динамики процесса изменения качества передачи можно с тем же успехом следить за изменением вероятностей в точках, соседних с максимальными значениями ее, поскольку изменения в них коррелированны. На рис. 1 точками показаны при-

Рис.1

ближения P они

ss max пр.'

изменяются аналогично

(кЬ Р1(к, ^.2пр (к)). Видно, что максимумами Р$$ (к, £.) и незначительно отличаются от них.

Если учесть величину вероятности Р (к, £.) из (4) и ^.2пр.(к), то получаем следующее приближение для её максимума

ф(л/ 2к 1п М

,(к у

1-

-VkP s )

(9)

Это выражение согласуется с результатами из [5]. Действительно, только при условии рs > ,ln M увеличение к приводит к

Pss max (к)^ 1. Кроме этого, при р s =р s, из (9) следует Pssmaxпр(к)« 0.5 и независимость его от к, а также и Pss max (к)^ 0 при р s < ,ln M и к . На рис. , представлены точные значения Pss max ,(к) и приближения (9) для тех же M и к, что и на рис.1. Индекс у вероятностей от 1 до 3 определяет значения рs = 1.5; ,.197 = р; 3.5, соответственно.

Выражение (9) позволяет оценить скорость изменения вероятности с увеличением к, которая равна

д/р7 -V^inM

PL

: exp

(к, Е.Ь

к (j, ln M

2^Í2nk

(10)

является нечетной

Видно, что скорость функцией разности -V21пМ . Поэтому

только при р 5 > 21п М она положительна, и вероятность (9) увеличивается, тогда как при отрицательной разности (8) вероятность (9) может только уменьшаться. Положительная производная в (10), как функция к, является монотонно убывающей, и убывание ее усиливается с

(к)

000

Р о

г шахпр.З

ЕНЗП

Р 88шах2^^ 000

^ шахпр.2 (к) ЕНЗП ^ Бзшахі 000 р

г шахпр. ЕНЗО

(к)

Рис. 2

увеличением р5. Вследствие этого Р88тах (к, Е.) быстрее достигает максимального уровня, что важно при оценке числа сообщений к, объединяемых в группу и обеспечивающих необходимое качество передачи.

2. Сигнал со случайной начальной фазой

Сигнал со случайной, неинформативной начальной фазой ф на интервале времени Т представляется известным способом [7, с. 199 -200]

ф) = ■т (0 ехр(- /ф), р(ф| 5 )= 1/2Я . (11)

Здесь зт (^) - ортонормированная функция (сигнал, используемый при передаче), р(ф) -плотность вероятности фазы. Информативная составляющая сигнала зт (^) может, например, состоять из М гармонических сигналов разных частот ехр(/шт^) [7, с. 346 - 347] или сигналов с модуляцией несущей частоты [9, с. 124 - 126]. Наличие у принимаемого сигнала случайных параметров изменяет оценку вероятности Р1 (Е.) из (3), поскольку в соответствии с принятой методикой [7, 8] она определяется с учетом всех принимаемых сигналов. С учетом статистики начальной фазы (11) плотность вероятности нормированной амплитуды напряжений на выходе согласованных фильтров определяется обобщенным релеевским распределением при действии сигнала и релеевским в отсутствие его [7, с. 203 - 205]

р(1 ^ )=е ехР

2

рЙ 5 )=е ехр

( ^2 Л

V "2 у

Здесь р5 - отношение сигнал/шум (4), 10 (*) -

функции Бесселя нулевого порядка. Используя

(12), для сомножителей вероятности правильного приема (2) получаем отличающиеся от (4) выражения

ои

р ^, і)= |р (1 5 к Р2 ^,Е,) =

1 - ехр

М,і -1

(13)

(12)

Как и в случае известного сигнала, исследуем смещение вероятностей (13) как функций от Е. при изменении к по положению точек их максимальной крутизны. Анализ уравнений, определяющих положения этих точек, показал идентичность зависимостей Е.(к) с таковыми для случая известного сигнала (5), (6). Оценки показывают, что при М > 3 и р5 > 3 отношения

абсцисс точек максимальной крутизны Е.(к) для Р (к, Е.), Р, (к, Е.) из (13) к аналогичным абсциссам для вероятностей из (4)-(6) не превышают 1.05 и быстро стремятся к единице. Так, при к > 7 отношение их меньше 1.02. Эта особенность является следствием известного факта - распределение р(Е|5) из (13) при кр■ >> 1 практически не отличается от нормального [7, с. 207]. Приближенное значение Е.2(к) для Р2(к,Е.) из (13) равно V2к 1пМ , т.е. такое же, как и в случае известного сигнала.

Поэтому с учетом (13) были рассчитаны приближенные значения максимума вероятности правильного приема

Р тах„,(к)-Р (к ,л/2к 1п М ) (14)

^ ББшахЗ 0.8 _

еее

Р шахпр.З

ЕНЭП 0.6

Р 88шах2^) □

еее

^ тахпр.2 0.4

ЕНЗП

^ ББшахІ е-

еее

Р тахпр.1 0.2 —

ЕНЗП

■□-'-о-.

0 О

10

Рис. 3

и точные значения его в соответствии с (2), (13). Зависимости этих вероятностей от к представлены на рис. 3. Они определены для тех же M, к и р5, что и для известного сигнала (рис. 2). Видно, что в области малых к приближения существенно отличаются от точных значений. Однако с увеличением к различие уменьшается, поскольку распределение р(Е| 5) из (12) приближается к гауссовому. При этом следует учесть, что с увеличением М качество приближения будет улучшаться, поскольку в этом случае согласно (8) увеличивается необходимая величина ри распределение р(Е|5) изначально оказывается близким к гауссовому.

3. Сигналы со случайной амплитудой

Представим сигнал со случайной амплитудой (неинформативный параметр) в виде а5т (^) при т е [и М ] , где 5т () - рассматриваемая выше ортонормированная функция, а - случайная амплитуда. Рассмотрим случай гауссовой амплитуды [7, с. 196]

1

л/2л<

-ехр

(а-а 0 )2

2а

Р

д/2^1 + ка ар*)

ехр

ехр

(і-а 0УІ кР *

2(1+ка ар *)

-и 2

(16)

Если учесть (16), то для сомножителей вероятности правильного приема Р** из (2) получаем

1 -Ф

Р (к, 1.) =

1 -а^Укр7 V1+каа р *

Р2 (к, 1.) =

2

1 + ф(1.) 2

(17)

Здесь р* - отношение сигнал/шум для *т (ї) из (4), ф(.) - интеграл вероятности из (4). Учитывая идентичность вероятностей (4), (17) и характер зависимости их от к, можно получить аналогичное (9) приближение для вероятности правильного приема

л/2к 1п М - д/а2кр*

V1+каа р*

1 -Ф

„(к у

(15)

2

(18)

■ (21п М)/

а.

со средним значением а0 и дисперсией а а .

После усреднения по сигналам с амплитудой (15) плотность вероятности нормированных на

g0д/р7 напряжений (3) в каналах приемника

определяется гауссовыми распределениями [7, с. 197]

На первый взгляд и здесь р57/^0 определяет величину, начиная с которой применение оптимального кодирования эффективно. Однако это не так, поскольку при увеличении к неизбежно наступит момент, когда выполнится условие каа р■ >> 1. Тогда, как следует из (18), максимум вероятности слабо зависит от к и стремится к величине

1

EH3Q

р

1 тахпр 000 р

1 тахпр EH3Q

000

р

1 тахпр EH3Q р

max 000

Рис. 4

1 + Ф

(к ) =

а,

■УрТ ~у1 2 In M

• (19)

р(а, ф| S )=

а

2 ла;

exp

а

2аа

Усреднение с учетом (21) приводит к плотностям вероятностей нормированных напряжений в каналах оптимального приемника [7, с. 211 - 212]

которая может быть сколь угодно близкой к единице только при условии а 0Л/р7 >>

>> V21пМ + ааЛ/р7 или

(а2 + < К >> 21п М + 2ао^аР,. (20)

Таким образом, оптимальное кодирование эффективно лишь при условии (20), когда отношение сигнал/шум достаточно велико. При этом дисперсия амплитуды является здесь мешающим параметром, а величина а 2р 5* = 21п М не является пороговой, как в случае известного сигнала. Она лишь разделяет случаи увеличения и уменьшения вероятности правильного приема (18) при к .

Зависимости вероятности Ртахпр^(к) из (18)

представлены на рис. 4 для а 0р 5 = 1.5; 2.197; 3.5 (первый индекс от 1 до 3, цифры справа на рисунке) и тех же М и к, что на рис.1 - 3; второй индекс 1 и 2 соответствует а ар 5 = 0.025; 0.25.

4. Сигналы со случайными амплитудой и начальной фазой

Рассмотрим сигнал в виде зт (^)а ехр[- /ф], где информативная компонента амплитуды, как и в разделе 2, является ортонормированным сигналом (11). Случайную неинформативную амплитуду, как принято, полагаем релеевской, случайную неинформативную фазу - равновероятной [7, с. 209 - 211]

exp

pfeiS )=тга

p(%| S )=^ exp

%2

2(1 + а

%2"

2 J

(22)

Сомножители вероятности правильного приема (2), (3) с учетом (22) при передаче к объединенных сообщений равны

pi(к, %J=exp

P2 (к, %.) =

_ 2(1 + а а кр s)_

1 - exp

%

2

(23)

Используя вероятности (23), можно определить приближенное значение Е*пр , при котором

вероятность Pss (k, Е*) максимальна

^ (k) W 2(k In M + ln(1 + ka 2p,)). (24)

Эта величина содержит определенную ранее величину «порога» . При этом вес ее

растет с увеличением к. Поэтому и в этом случае можно использовать приближение (14). Учитывая (23), (24), получаем

Pss max пр. (k, Е * пр. ) ^

« P (k,^2к lnM + 2 ln(l + ka2aps))*

(25)

к In M

(21)

1 + аа кр

Видим, что здесь, как и для сигналов с гауссовой амплитудой, с увеличением к наступит момент, когда ка2ар5 >> 1, и тогда тах (к, £,) не будет зависеть от к

к

M* -1

Р ssmax4^) 000

ssmax.

3(к) 0.6 -

000

Р ssmax2^) q ^ 000 '

Р ssmax 1^) 000 0.2

Рис. 5

ss max k

ln M с 2p

2^ s

(26)

Поэтому передача сообщений со сколь угодно близкой к единице вероятностью правильного приема возможна лишь при достаточно большом отношении сигнал/шум

а2р, >> 1п М . (27)

Зависимости вероятности (25), полученные при тех же М и к, представлены на рис. 5. Индексы 1 - 4 соответствуют а^р5, равным 1.5; 2.197; 3.5; 50.

5. Обсуждение результатов

Прежде всего следует отметить идентичность результатов для известного сигнала и сигнала со случайной начальной фазой (рис. 2, 3). Это объясняется поведением вероятностей р(к,Е*) и р(к,Е*) при увеличении к (3), (4),

(13). Вероятности Р1 (к, Е*) смещаются аналогичным образом, несмотря на то, что распределение Е для сигнала со случайной фазой отличается от нормального при малых р5 и к (12). Это приводит лишь к уменьшению вероятности Р^(к,Е*) в области малых к из-за известного эффекта подавления слабого сигнала шумом [7, с. 120 - 121]. При увеличении к отношение сигнал/шум на выходе приемника увеличивается (12). Поэтому при р5 > р5* (8) и передаче сообщений даже с малыми М распределение (12) при к >> 1 переходит в гауссово (9) и Р^тах «1 (рис. 2, 3).

Иная ситуация наблюдается, если амплитуда и начальная фаза сигналов случайны (15), (21). Если амплитуда сигнала гауссова, то при увеличении к у функции р (к, Е*) изменяется не только положение точки максимальной крутизны, но и крутизна в ней. Она уменьшается, и

области единичных значений р {k, Е*) и

Р2 {к, Е*) не перекрываются, так как смещение точки максимальной крутизны р (к, Е*) вправо компенсируется уменьшением крутизны, и увеличения Pss max (k, Е*) до единицы не происходит. При этом дисперсия амплитуды оказывается мешающим параметром, так как приводит к необходимости увеличения отношения сигнал/шум (20).

Однако при обнаружении с малой достоверностью случайность амплитуды сигнала оказывается даже полезной, и вероятность (невысокая) правильного обнаружения может даже увеличиться [7, с. 213]. Это характерно для зависимостей с первым индексом 1 и 3 на рис. 4,

определенных при аарs = 0.025 и аарs = 0.25 .

Зависим0сти Pmax„.32 (к) и Pmax„.12 (к) ЭТОГ° же

рисунка показывают, что при различных а 0 р s случайность амплитуды по-разному влияет на качество передачи.

Для сигналов со случайными амплитудой и начальной фазой (21) отличие еще больше. Здесь вероятность р (к, Е*) из (23) не изменяет положения на оси Е* , изменяется лишь положение точки максимальной крутизны и ее величина. Поэтому при увеличении к вероятность Pss max (к, Е*) не стремится к единице. Причина та же - не происходит перекрытия функций P(к,Е*), р2(к,Е*), и реализация pssmax(к,О»1 возможна только при условии (27). На рис. 5 такой случай представлен зависимостью

Pmax4 (к) при ааPs = 50 >> ln3 .

Полученные результаты показывают, что приближения (9), (14), (18), (25) определяют динамику процесса установления вероятности правильного приема. Поэтому их можно использовать при оценке числа сообщений в передаваемой группе к, при котором достигается

необходимая величина Р,. При случайных изменениях амплитуды сигналов можно определить и отношение сигнал/шум (р,), при котором обеспечивается требуемое качество передачи (20), (27). При этом увеличение р, полезно, т.к. при этом уменьшается число сообщений в передаваемой группе. В исследованиях Хэмминга, где при доказательстве теоремы Шеннона рассматривается избыточность сообщений, выводы не столь оптимистичны: «... теорема показывает, чего можно достичь, но не говорит ничего о хороших кодах, за исключением того, что они являются длинными и достаточно непрактичными» [10, с. 137].

Что касается формулировки теоремы из [5, с. 147], то возможно следующее уточнение ее: пусть в канале связи с аддитивным «белым» гауссовым шумом для передачи М сообщений применяются ортонормированные сигналы, оптимальный прием их и кодирование посредством однократной передачи групп из к последовательных сообщений. Если обрабатываемые на приемной стороне канала сигналы детерминированные или начальная фаза их равновероятна, то существует пороговое отношение сигнал/шум р,* = 21пМ, при превышении которого увеличение к позволяет передать информацию источника со сколь угодно малой вероятностью ошибки. Если случайными являются амплитуда или амплитуда и начальная фаза сигналов, то порогового отношения сигнал/шум не существует и передача информации с таким же качеством возможна только за счет увеличения отношения сигнал/шум. Для сигнала с гауссовой амплитудой а0Л/р, >> л/21пМ + ааЛ[р~,, если амплитуда релеевская, а фаза равновероятная, то ааЛ/р^ >> л/21п М .

Заключение

Проведенное исследование показало, что случайность параметров сигнала - амплитуды, амплитуды и фазы - существенно влияет на качество передачи информации (9), (18), (25). Действительно, для детерминированного сигнала и сигнала со случайной фазой даже незначительное превышение р,* (8) позволяет передавать информацию без искажений. Для этого необходимо лишь увеличивать число одновременно передаваемых сообщений при оптимальном кодировании (к ). Таким образом, р,* = 21пМ является необходимой и достаточной величиной для реализации передачи без ошибок. Если амплитуда или амплитуда и фаза

сигналов случайны, то при применении оптимального кодирования и к ^ ж вероятность правильного приёма (Р,,) стремится к пределу, отличающемуся от 1 (19), (26). Только увеличение отношения сигнал/шум позволяет в этом случае устранить ошибки при передаче сообщений (20), (27).

Формулировки теоремы в [5, с. 147] и выше (часть 5) сложнее изначальной формулировки из [1, с. 41]. Это усложнение связано с применением методов статистической теории связи [7, 8] при оценке качества приёма сигналов при действии помех. Именно такой анализ показывает, что качество передачи зависит от класса принимаемых сигналов и интенсивности их. Очевидно, что простая формулировка теоремы, в которой не учитываются особенности приема различных сигналов, не даёт правильного представления о сложном механизме передачи дискретных сообщений по каналу связи с помехами.

Дальнейшие исследования этой задачи могут быть связаны с более подробным анализом случайного характера как принимаемых сигналов, так и действующих помех.

Автор благодарит профессора, д.т.н. И.Я. Орлова и сотрудников кафедры радиотехники радиофака ННГУ им. Н.И. Лобачевского за полезные советы.

Приложение

Запишем уравнение (7) следующим образом ехр[к (1п М - р ,/ 2)] = 2 ехр(- кр , / 2) +

+ л/лкр ,/21 + ф0кР,)] ( . )

и далее, уменьшив правую часть его, получим ехр[к(1пМ -р,/2)] =

= 2 ехр(- кр, / 2) + л[жкр^2.

Производная правой части (П.2) по к равна

-р, ехР(- кр,/2) + л/2^р,/4^к . (П3)

Знаки у слагаемых производной (П.3) разные. Отношение их модулей

У1 = 4л/кр, ехР(- кр,/2)/а/2^ . (Д4)

Нетрудно показать, что у1 при кр, = 1 имеет

максимум, равный 4/л/2пе « 0.97. Таким образом, производная второго слагаемого из (П.2) больше, и, следовательно, производная правой части его положительна при всех к и р,. Это тем более справедливо в отношении изначального уравнения (П.1), правая часть которого больше, чем у (П.2). Таким образом, правая часть (П.1) является монотонно увеличивающейся функцией к, большей 2.

Левая часть (П.1) при 1пМ - р,/2 < 0 либо 1, либо убывающая функция к. Поэтому в этих условиях уравнение не имеет решения. Если 1п М - р,/2 > 0, то при условии сколь угодно малого е (е = 1пМ -р,/2) экспонента в левой части (П.1) изменяется медленно, и решение, если оно существует, определяется к >> 1. Отношение правой части (П.1) к левой в этих условиях равно

л/2^р7

exp(ke) ’

(\ у V2^kp7 _

у 2 (<») = lim------—т- = —¡=------- —- = 0.

к^» exp(ks) д/ке exp(ks)

(П.5)

Следовательно, если при ке >> 1 экспонента в (П.1) больше правой части (П.5), то при ке = 0 она меньше. Если учесть монотонность изменения этих функций, то ясно, что они пересекаются и уравнение имеет единственное решение. При увеличении е экспонента изменяется быстрее и пересечение наступает при меньших к.

Список литературы

1. Шеннон К. Статистическая теория передачи электрических сигналов // Сб. переводов «Теория передачи электрических сигналов при наличии по-

мех» / Под ред. Н.А. Железнова. М.: Изд-во иностранной литературы, 1953. С. 7 - 87.

2. Шеннон К. Связь при наличии шума // Сб. переводов «Теория информации и ее приложения» / Под ред. А.А. Харкевича. М.: Гос. изд-во физикоматематической литературы, 1959. С. 82 - 113.

3. Файнстейн А. Основы теории информации / Пер. с англ. И.Н. Коваленко под ред. И.И. Гойхмана. М.: Изд-во иностранной литературы, 1960. 243 с.

4. Хинчин А.Я. Об основных теоремах теории информации // Успехи математических наук. 1956. Т. XI, вып. 1(67). С. 17 - 75.

5. Литвин М.В. Иная формулировка теоремы Шеннона для дискретного канала с помехами // Труды Нижегородского государственного технического университета. Радиоэлектронные и телекоммуникационные системы и устройства. Т. 64, вып.11. Нижний Новгород, 2007. С. 141 - 148.

6. Литвин М.В. К формулировке теоремы Шеннона для дискретного канала с помехами // Известия вузов. Радиофизика. 2009. Том LII. № 10. С. 833-841.

7. Вайнштейн Л.А., Зубаков В.Д. Выделение сигналов на фоне случайных помех. М.: Советское радио, 1960. 443 с.

8. Миддлтон Д. Введение в статистическую теорию связи. Т. 2 / Пер. с англ. Б.А. Смиренина под ред. Б.Р. Левина. М.: Советское радио, 1962. 830 с.

9. Ширман Я.Д., Манжос В.Н. Теория и техника обработки радиолокационной информации на фоне помех. М.: Радио и связь, 1981. 415 с.

10. Хэмминг Р.В. Теория кодирования и теория информации / Пер. с англ. С.И. Гельфанда под ред. Б.С. Цыбакова. М.: Радио и связь, 1983. 176 с.

SHANNON THEOREM FOR A DISCRETE NOISY CHANNEL AND SIGNALS OF VARIOUS CLASSES

M. V. Litvin

Discrete data transmission over a noisy communication channel has been studied for the reception of signals with random parameters. Using the theory of optimum reception, it has been shown that a random signal amplitude, as well as random amplitude and phase, do not allow us to use successfully the optimum coding. In this case, errorless data transmission is only possible at the expense of an increase in signal-to-noise ratio. The random initial phase of the signal is less harmful and in this case the use of the optimum coding is effective. The results obtained have made it possible to formulate the Shannon theorem more accurately.

Keywords: discrete message, information transfer, source entropy, signal random parameter, probability of a correct decision, uninformative signal parameter, optimum filter, error probability, orthogonal signal.