CC BY
135Геннадий ХУДЯКОВ, д. т. н., профессор
khudgi@mail.ru
Еще раз
о формуле Шеннона
В статье будет показано, что классическая формула Шеннона для пропускной способности каналов телекоммуникаций с гауссовскими шумами справедлива только для обычных проводных каналов электросвязи. Для радиоканалов в формулу Шеннона следует ввести фактор «два». Представлены исторические корни абсолютизации «классической формулы». Рассмотрены основные аргументы оппонентов, выступающих против фактора «два».
Введение
В серии статей автора [1-4] обнаружена, обоснована и объяснена неприменимость классической формулы Клода Шеннона СШ(С!) = = В^2(1+С!) к современным цифровым каналам электросвязи. Автор получил целый ряд отрицательных отзывов на эти статьи.
В силу того, что вопрос о пропускной способности современных каналов электросвязи имеет важное практическое значение, а классическая формула Шеннона более полувека назад была возведена в ранг «священной коровы», хотя она оказалась несправедливой для современных цифровых каналов электросвязи, автор попытался еще раз разобраться в сущности, исторических корнях и психологических причинах того недопонимания, которое наблюдается среди специалистов в области современных телекоммуникаций.
Существо классической формулы Шеннона
Как известно, пропускная способность канала электросвязи СШ есть величина максимальной, по всевозможным источникам, скорости передачи информации Уи при заданных технических характеристиках канала [5]. Достаточно точная для наших целей формулировка теоремы Шеннона о пропускной способности канала электросвязи с помехами такова: «Если канал электросвязи можно представить как фильтр нижних частот с частотой среза F и в нем присутствует аддитивный белый гауссовский шум (АБГШ) со средней спектральной плотностью мощности N а средняя мощность сигнала как стационарного случайного процесса есть Р, то пропускная способность такого канала определяется формулой (Шеннона):
Сш^) = F log2(1+Q)[бит/с], (1)
где величина Q = Р/Ы называется "отношением сигнал/шум"».
Формулу Шеннона можно представить также в виде:
Сш(0) = 2^(^)1/2. (2)
Следует подчеркнуть, что формула (1) является асимптотической и может быть получена из анализа «многоуровневого телеграфа» при бесконечно большом количестве неравномерно распределенных уровней и при бесконечно малых промежутках между этими уровнями. Применение Шенноном его «негэнтропийной методики» для оценки пропускной способности источника «непрерывной информации» без избыточности (с равномерно распределенными уровнями) успеха не имело [5, § 26].
В формуле (2) можно выделить два фактора:
• 2F, имеющий размерность [1/с];
• log2(1+Q)1/2, имеющий размерность [бит].
Первый фактор показывает, с какой максимальной скоростью можно передавать (без искажений) различные уровни сигнала по каналу электросвязи, имеющему частоту среза К Второй фактор учитывает влияние шумов типа АБГШ на результат передачи цифровой информации, связанных с этими уровнями.
Первую проблему полностью решил в 1928 г. Гарри Найквист [6]: «Если канал связи имеет частоту среза (частоту Найквиста) F и кососимметричную относительно этой частоты амплитудно-частотную характеристику, то с его помощью можно передавать по многоуровневому телеграфу уровни а1 тока, отстоящие друг от друга на интервал дискретизации Дt = 1/(2F). То есть без межсимвольных искажений можно передавать телеграфные уровни а1 с предельной скоростью V, численно равной величине (2F)».
Ключ ко второй проблеме — как оценить количество информации, которая теряется под воздействием различного рода помех в канале связи, — удалось получить только
через 20 лет (в 1948 г.) К. Шеннону. Он ввел «пятый постулат» теории информации [5, стр. 287]. Этот постулат присутствует неявно: количество информации, содержащейся в символе v, который был получен на выходе канала связи, об информационном знаке u на его входе есть:
I (v, u) = log[p(v/w)/p(v)],
где p(v/ u) — условная вероятность наличия на выходе канала связи символа v при условии, что на его вход поступил знак u; p(v) — полная вероятность появления на выходе канала символа v. При этом: если p(v/ u) = 1 и p(v) = p(u), то потери информации при передаче знака u не происходит; если же p(v/u) = p(v), то в канале связи происходит полная потеря информации о знаке u. Интуитивно понятно, что это положение почти очевидно, но никто до Шеннона прийти к этому не смог!
Далее Шеннон вводит усреднение по всем знакам на входе канала и по всем символам — на его выходе, вводит понятие энтропии источника H (U) и остаточной энтропии (термин equivocation переведен в [5, стр. 277] как «ненадежность») H (U/V) и затем уже оперирует с негэнтропийной методикой оценивания различных каналов и помех: I (V, U) = H (U)-H (U/V).
Из многочисленных результатов, полученных Шенноном с помощью его негэн-тропийного подхода, отметим формулу ^(Q) = 0,5log2(1+Q), которая определяет информационную емкость Е, данного канала связи и которую можно назвать статической формулой Шеннона.
Для получения информационных характеристик динамических каналов электросвязи Шеннон переоткрывает первую теорему В. А. Котельникова [5, стр. 435 и 7, стр. 763]: «Если функция не содержит частот выше V Гц, она полностью определяется своими мгновенными значениями в моменты,
отстоящие друг от друга на 1/(2 V) с». Отсюда можно непосредственно получить классическую формулу Шеннона (1).
Подчеркнем, что асимптотическая оценка (1) относится исключительно к каналам связи, использующим низкие частоты: от 0 до F (Гц). Применять формулу Шеннона (1) к радиоканалам, использующим некоторую полосу высоких частот: от f1 до ¡2 (кГц, МГц, ГГц и т. п.), — непосредственно нельзя. Для такого обобщения нужно вспомнить хорошо забытую теорему IV из работы Котельникова [7]: «Любая функция F состоящая из частот от f1 до может быть представлена так:
F № = F1(t)cos[(ю2+Ю1)t/2] + +F2(í)sm[(ю2+Ю1)í/2],
где ю1 = ю2 = а F1(t) и F2(t) есть некоторые функции, состоящие из частот от 0 до f = (/2-^)/2». На основании теоремы IV можно обобщить формулу Шеннона (1) на радиоканалы: С (0^) = 2F log2(1 + Q) = = 2СШ(0) (поскольку функции F1(t) и F2(t) могут независимо друг от друга переносить одинаковое количество информации).
Заметим, что здесь величина F — предельная частота в спектре передаваемого низкочастотного сигнала. При обычных способах модуляции несущей f0 спектр сигнала автоматически удваивается, а сам радиосигнал имеет двухполосный амплитудный спектр, каждая из полос которого обладает зеркальной симметрией относительно частоты несущей. Хотя формально полоса частот радиосигнала (например, амплитудно-модулированного) Дf = 2F, записывать формулу Шеннона для радиоканала в виде С (0) = Дflog2(1 + Q), где Дf— ширина полосы пропускания линейного тракта радиоканала, нецелесообразно по двум причинам. Во-первых, пропускная способность радиоканалов с однополосной амплитудной модуляцией будет тогда С (0) = 2Дflog2(1+Q). Во-вторых, из теоремы отсчетов формально будет следовать, что интервал дискретизации передаваемого сигнала есть Дt = 1/(2Дf) = 1/(4F), что не соответствует теореме IV Котельникова.
Поэтому частотные характеристики радиоканала («для ясности») целесообразно характеризовать полосой частот проходящего через него низкочастотного информационного сигнала, то есть следует рассматривать радиоканал, относительно передаваемого сигнала, как фильтр нижних частот — аналогично телеграфной линии электросвязи. Тогда в теории ПТИ будет соблюдаться единство терминологии и обозначений.
В этом случае: если удастся построить радиоканал с однополосной модуляцией (обычно на основе несущей с частотой не более 30 МГц), то теоретически его пропускная способность будет С (0) = Дflog2(1+Q); если удастся достаточно точно синхронизировать всю систему радиосвязи, то в соответствии с теоремой IV Котельникова С (Q) = 2СШ^).
Для волоконно-оптических линий связи с амплитудной модуляцией и цифровых радиосистем с амплитудной манипуляцией (модуляцией типа ASK): C (Q) = Cm(Q) = = 0,5Д/ log2(1 + Q). Для цифровых радиосистем с квадратурной амплитудной модуляцией (модуляцией QAM): C (Q) = 2Cm(Q) = = Af log2(1+Q).
Предыстория появления и история развития формулы Шеннона
В обзоре [6] подробно рассмотрена история развития теории оценивания пропускной способности систем электросвязи почти исключительно по первоисточникам. Отметим основные этапы этой истории.
В 1924 г. американский ученый шведского происхождения Г. Найквист определил скорость передачи сообщений (intelligence — тогда еще не было выработано математическое понятие «количество информации») по телеграфной линии формулой: W = K logm, где m — число различимых уровней тока в проводной линии связи, K — некоторая константа.
В 1928 г. Найквист полностью решает вопрос о константе K: K = 2F, где F — частота среза линии связи как фильтра нижних частот с кососимметричной АЧХ. Относительно величины m Найквист высказывает правильные интуитивные догадки: величина m определяется максимально допустимым током Imax в телеграфной линии связи и допустимой, для надежного различения уровней тока, величиной интервала между уровнями Д1. То есть m = 1тах/Д1. В свою очередь, величина Д1 должна быть не менее удвоенного значения интенсивности помех в линии связи.
В том же 1928 г. коллега Найквиста по Бел-ловским телефонным лабораториям Ральф Хартли высказывает (также интуитивные) соображения о пропускной способности радиоканалов электросвязи: «... Максимальная скорость передачи информации (уже используется термин "information", хотя он Хартли не определен), возможная в системе, частотный диапазон которой ограничен некоторой областью (в том числе и высоких частот), пропорциональна ширине этой полосы частот».
В 1940 г. Шеннон переоткрывает первую теорему Котельникова, а в 1948 г. — создает основы прикладной теории информации (ПТИ) как информационной теории электросвязи. Однако свои выдающиеся достижения он опубликовал в абстрактно-математической форме, но на основе обычной классической математики. Поэтому кроме его ближайших последователей (Р. Фано, Дж. Пирса и др.) теоремы теории информации электрорадиоинженеры не восприняли. А «чистые» математики — не признали его математических доказательств (например, его рецензент, крупный специалист в области теории вероятностей Дж. Дуб): в них не было «сигма-алгебры борелевских множеств», «ин-
тегралов Стилтьеса», «меры Лебега» и других атрибутов современной «чистой» математики.
В середине 1950-х годов «чистые» математики (прежде всего — советские: А. Н. Колмогоров, А. Я. Хинчин и др.) на основе результатов Шеннона занялись математически точным и вполне современным обоснованием и развитием абстрактно-математической теории информации (МТИ). Они достигли больших успехов, особенно в области аксиоматического построения теории МТИ и теории кодирования. Прикладные математики пытались развивать аналитические и численные методы теории ПТИ. Однако в силу специфики формул теории МТИ — использование логарифмических функций и др. — им удалось получить только приближенные и асимптотические результаты в некоторых простых или искусственных случаях. Появились также многочисленные прикладные теории информации, в которых нашла успешное применение теория МТИ: это теоретическая лингвистика, экспериментальная биология, инженерная психология и др.
В 1960-х неизбежным стало освоение электрорадиоинженерами математической теории информации. К этому времени математики довели развитие теории МТИ до очень высокого уровня строгости. Однако математиков не интересовали такие «радиотехнические детали», как специфика различных способов модуляции, способы разделения радиоканалов и т. п. Поэтому рассмотрение таких деталей математиками не проводилось. А поскольку математическая подготовка электрорадиоинженеров была «классической», а инженерный индуктивно-конструктивный стиль мышления существенно отличается от абстрактно-дедуктивного — математиков, то инженерам ничего не оставалось делать, как зубрить или упрощать положения теории МТИ.
Некоторые из выдающихся электрорадиоинженеров (например, В. И. Сифоров, Р. Л. Стратонович и др.) не только попытались освоить абстрактно-математическую теорию информации как раздел современной аксиоматической теории вероятностей, но и на этой основе развить и обобщить теорию ПТИ. Следует отметить, что такие попытки, к сожалению, оказались неудачными (например, [8, 9]), а возвратиться на естественный путь развития информационной теории систем электросвязи, намеченный в трудах Найквиста, Хартли, Котельникова и Шеннона, считалось анахронизмом. Хотя любой электрорадиоинженер прекрасно знает, что в радиосистемах с однополосной амплитудной модуляцией скорость передачи информации, по определению, почти в два раза больше, чем в обычной радиосистеме.
И когда в 1980-х годах инженеры занялись проектированием современных цифровых систем радиосвязи, они вспомнили про труды Найквиста [10], отдали дань теореме и формуле Шеннона, но начисто забыли про теорему IV Котельникова. Этой теоремы нет
ни в учебниках [11, 12], ни в радиоэнциклопедии [13], ни во всемирной энциклопедии [14, 15]. А она просто необходима для разработки цифровых систем радиосвязи!
Таким вот образом и образовался вакуум в прикладной теории информации и абсолютизация классической формулы Шеннона. А отсюда — неприятие, по существу достаточно простых, если не очевидных, результатов, полученных автором в серии статей [1-4]. Численным методом, который использован в этих статьях, любой достаточно грамотный электрорадиоинженер-системотехник может, в каждом конкретном случае, оценить не только скорость передачи информации в системе, но оптимальное количество позиций многопозиционных радиосигналов и необходимую кодовую избыточность для реализации проектируемой системы радиосвязи.
Аргументы противников уточнения формулы Шеннона для радиоканалов
Ответим на основные возражения противников уточнения формулы Шеннона.
Возражение 1. Нецелесообразно сравнивать формулы для пропускной способности различных цифровых каналов радиосвязи с классической формулой Шеннона (1): она уже полвека как принята электрорадиоинженерами, и они привыкли к ней.
Комментарий 1. Прикладная теория информации как информационная теория элек-трорадиосистем связи должна быть единой наукой. Формула Шеннона (1) в ней является как бы единичным эталоном для сравнения пропускной способности различных каналов электросвязи. Так, в статье [3] численно решена задача оценки пропускной способности канала электросвязи с ограниченной пиковой мощностью и получена аппроксимация: С (Q) и и Flog2(1+3Q/4). В статье [1] получена аналогичная формула для радиоканала с постоянной мощностью излучения радиопередатчика (например, канала авиационной радиосвязи):
С(0) и 2F[log2(1+3Q)1/2+0,8] и ^[3(1+30)].
Возражение 2. Пропускная способность, оцениваемая с помощью формулы Шеннона (1), является физическим свойством канала электросвязи, определяемым его частотными и энергетическими характеристиками, и не зависит от методов модуляции и кодирования, которые используются в канале (например, [15]).
Комментарий 2. Под каналом радиосвязи обычно понимается [13] «совокупность технических средств и среды распространения радиоволн, которые обеспечивают передачу сигналов от источника к получателю информации». Поэтому современные цифровые каналы радиосвязи включают в себя: АЦП (необязательно), кодер источника, кодер канала, модулятор, радиопередатчик (или источник света — в волоконно-оптических линиях связи), антенно-фидерное устройство (АФУ)
передатчика, среду распространения, АФУ приемника, приемник, демодулятор, декодер, ЦАП (необязательно), а также синхронизатор, в качестве которого в системах радиосвязи третьего поколения используются спутниковые глобальные высокоточные радиосистемы координатно-временного обеспечения (GPS или ГЛОНАСС). При оценивании пропускной способности такого канала электросвязи следует учитывать не только внутренние тепловые шумы приемника типа АБГШ, но и внешние радиопомехи, которые имеют разнообразный характер: аддитивные небелые и негауссовские (например, атмосферные) радиопомехи, неаддитивные помехи, порождаемые многолучевостью и замираниями, и др., а также точность синхронизации цифровой радиосистемы. Поэтому пропускная способность радиоканалов зависит и от способа модуляции, и от способов кодирования, и от точности синхронизации, и от других технических ограничений в радиоканале.
Возражение 3. В современных системах электросвязи для передачи информации применяют n = 10-12 ортогональных сигналов. Представляется тривиальным, что в этом случае скорость передачи информации по сравнению со скоростью, даваемой формулой Шеннона (1), возрастает в 10-12 раз. А если использовать поляризационные свойства радиоволны, переносящей информацию, то скорость можно увеличить еще в 2-4 раза.
Комментарий 3. Это возражение относится к многоканальным системам радиосвязи, для которых характерна проблема разделения каналов радиосвязи. Вопрос о пропускной способности каждого из радиоканалов, используемых в данной многоканальной радиосистеме, решается отдельно.
Возражение 4. Будем характеризовать канал радиосвязи не шириной спектра передаваемого по нему информационного сигнала, а шириной его полосы пропускания. Тогда не нужно будет удваивать формулу Шеннона для радиоканала по отношению к каналу электросвязи типа телеграфной линии связи.
Комментарий 4. Как показано в первом разделе данной статьи и в комментарии 1, величины пропускной способности различных радиоканалов сводятся не только к удвоению правой части формулы Шеннона, но и к различным ее модификациям.
Заключение
Обобщение негэнтропийного подхода Шеннона, который он применил для асимптотического аналитического оценивания пропускной способности аналоговых низкочастотных каналов электросвязи, на цифровые высокочастотные каналы радиосвязи показывает, что при одном и том же значении отношения сигнал/помеха Q современные цифровые каналы радиосвязи могут обладать в два раза большей пропускной способностью, чем низкочастотные аналоговые.
телекоммуникации 1141
Еще в 1956 г. создатель прикладной теории информации Клод Шеннон в заметке «Бандвагон» предупреждал [5]: «...Нельзя забывать, что она (теория информации уровня начала 50-х годов) не является панацеей для инженера-связиста. Очень редко удается открыть одновременно несколько тайн природы одним и тем же ключом. .Поэтому глубокое понимание математической стороны теории информации и ее практических приложений к вопросам общей теории связи является обязательным условием использования теории информации в других областях науки».
Игнорирование этого предостережения, которое относится в одинаковой мере как к «гуманитариям», так и к электрорадиоинженерам, привело к абсолютизации классической формулы Шеннона и к недопониманию новых результатов, получаемых в области оценивания пропускной способности современных цифровых систем радиосвязи. ■
Литература
1. Худяков Г. И. Оценка пропускной способности каналов авиационной цифровой электросвязи // Электросвязь. 2009. № 5.
2. Худяков Г. И., Осипов А. Д. Сравнительная оценка пропускной способности современных цифровых каналов радиосвязи // Радиоэлектроника интеллектуальных транспортных систем. 2010. № 2.
3. Худяков Г. И. Пропускная способность цифровых каналов электросвязи с квадратурной амплитудной модуляцией // Электросвязь. 2010. № 6.
4. Худяков Г. И. О пропускной способности современных цифровых каналов электросвязи // Компоненты и технологии. 2011. № 3.
5. Шеннон К. Работы по теории информации и кибернетике. М.: Иностранная литература, 1963.
6. Худяков Г., Осипов А. Развитие теории оценивания пропускной способности систем электро-и радиосвязи // Компоненты и технологии. 2011. № 7.
7. Котельников В. А. О пропускной способности «эфира» и проволоки в электросвязи // Успехи физических наук. 2006. Т. 176. № 7.
8. Конторов Д. С. и др. Радиоинформатика. М.: Радио и связь, 1993.
9. Лачинов В. М. и др. Информодинамика, или Путь к миру открытых систем. СПб.: Изд-во СПбГТУ, 1999.
10. Феер К. Беспроводная цифровая связь. Методы модуляции и расширения спектра. М.: Радио и связь, 2000.
11. Прокис Дж. Цифровая связь. М.: Радио и связь, 2000.
12. Скляр Б. Цифровая связь. Теоретические основы и практическое применение. М.: ИД «Вильямс», 2007.
13. Радиотехника: Энциклопедия / Под ред. Ю. Л. Мазора, Е. А. Мачусского, В. И. Правды. М.: ИД «Додека-XXI», 2002.
14. Nyqist-Shannon sampling theorem — www.en.wikipedia.org
15. Shannon-Hartley theorem — www.en.wikipedia.org
