Развитие теории оценивания
пропускной способности систем электро- и радиосвязи
Геннадий ХУДЯКОВ, д. т. н., профессор
Александр ОСИПОВ
Развитие и широкое практическое применение современных цифровых технологий в традиционных радиоэлектронных средствах связи вновь сделало актуальным теоретический вопрос о пропускной способности систем электросвязи. Представляется, что широко известная классическая формула Клода Шеннона, математически обоснованная им в 1948 г., применительно к цифровым системам радиосвязи требует уточнения. Разработчики и эксплуатационники современных радиоэлектронных систем не могут воспользоваться, в силу их специфики, многочисленными достижениями математиков в области оценки пропускной способности различных каналов электросвязи. Для практического применения этих результатов приходится вновь рассмотреть, по основным первоисточникам, зарождение, исторический путь, итоги и практические результаты развития проблемы оценивания пропускной способности систем электросвязи.
Введение
Исторический процесс инженерной разработки телекоммуникационных систем — семафорного (оптического) телеграфа, электрического телеграфа, телефона и систем радиосвязи — на определенном этапе своего развития вызвал практическую потребность в теоретическом оценивании эксплуатационно-технических характеристик различных средств электросвязи с точки зрения эффективного использования их технических параметров. Однако, в отличие от пропускной способности составных частей водных, железнодорожных, воздушных, трубопроводных и других транспортных систем коммуникаций, пропускная способность систем транспортировки информации имеет уникальную специфику.
Дело в том, что скорость передачи информации, которую электрические сигналы переносят по каналам электросвязи, имеющим определенные технические характеристики, не определяется непосредственно скоростью передачи этих сигналов. Если в обычной транспортной системе груз в процессе транспортировки может испортиться, то такая система перевозки грузов неприемлема вообще. Вместе с тем, радиоинженеры изобрели такие способы модуляции, а математики — помехоустойчивого кодирования сигналов, при которых, несмотря на различные помехи и искажения сигналов в каналах электросвязи, транспортируемая ими информации «не портится». Поэтому оценивание информационной пропускной способности динамических систем электросвязи, а также информационной емкости статических средств хранения и передачи сообщений сродни определению теплоемкости тел в термодинамике: хотя никакого «теплорода» как «тепловой жидкости» в природе не существует, мы умеем оценивать эту самую теплоемкость.
Поскольку при анализе информационной пропускной способности систем электросвязи в рассмотрение включается такой многозначный термин, как «информация», история развития теории оценивания пропускной способности каналов электросвязи является довольно сложной и запутанной. М. С. Пинскер и Б. С. Цыбаков в предисловии к переводу учебника Р. Галлагера [1] историю развития теории информации с 1948 по 1974 гг. подразделяют на следую-
щие этапы: непонимание, бурный энтузиазм, обширные спекуляции, расхождение инженеров и теоретиков.
Авторы настоящей статьи постарались придерживаться, по возможности, объективной точки зрения на эту историю и рассмотреть развитие проблемы оценивания информационной пропускной способности различных каналов электросвязи (являющейся одной из важнейших прикладных задач теории информации) не с позиций сегодняшнего дня, а строго исторически, по основным первоисточникам.
Начало: основные подходы к решению проблемы. Найквист и Хартли
Один из изобретателей телефона Александр Белл успешно развивал телефонную промышленность в рамках своей фирмы Bell Telephone. Белл довольно быстро понял, что успешное развитие телефонно-телеграфного бизнеса должно быть поставлено на строгую научную основу. Поэтому в штате компании он держал крупных физиков и математиков, а в 1922 г. было организовано подразделение Bell Telephone Laboratories (Bell Labs) и начал выпускаться ставший впоследствии всемирно известным научно-технический журнал Bell Techn. Syst. Journal (BTS J). В подразделениях Bell Labs работали и в BTS J публиковались такие крупные ученые, как Дж. Карсон, Р. Хартли, Г. Найквист, С. Райт, Т. Кэмпбелл, Р. Хэмминг, Л. Макколл, К. Шеннон, Дж. Пирс, Г. Боде, У. Шокли, Дж. Бардин, У. Браттейн, Г. Стибиц и др. И не случайно, что именно Гарри Найквист первым осознал и наметил пути решения задачи оценивания предельной скорости передачи информации по каналам электросвязи, то есть их пропускной способности.
В 1924 гг. Найквист (1889-1976) опубликовал работу [2]. Приводим почти полный перевод аннотации к ней: «В статье обсуждаются два фундаментальных фактора, являющихся составной частью проблемы максимальной скорости передачи сообщений (intelligence) с помощью телеграфа. Эти факторы — суть форма сигнала и выбор кодов. Первый касается наилучшей формы волны, которая должна быть использована в передающей среде, чтобы обеспечить большую скорость без взаимных помех в рассматриваемых циклах передачи либо в соседних; второй имеет дело с выбором кодов, которые позволяли бы передавать
максимальное количество сообщений при данном количестве сигнальных элементов.
Показано, что форма волны зависит определенным образом от типа цепи, по которой должны быть переданы сообщения, и что для большинства случаев оптимальной волной не являются ни прямоугольный импульс, ни полупериод синусоиды, которые довольно часто используются, а волна специальной формы, порождаемая посылкой простого прямоугольного импульса через соответствующую цепь...
Обсуждение выбора кодов показало, что, хотя желательно использовать коды, включающие более двух уровней тока, в этом случае существуют ограничения, препятствующие существенному повышению числа уровней тока, которые используются в телеграфе».
Анализ упомянутых выше форм сигналов ограничивается у Найквиста тем, что он сравнивает спектры прямоугольного импульса, полупериода синусоиды и сигнала, полученного из прямоугольного с помощью специальной IKC-цепи на входе телеграфной линии. Найквист показывает, что спектр последнего сигнала имеет наименьшие «боковые лепестки» вне полосы частот, ограниченной величиной f = 1/тэ, где тэ — длительность элементарной посылки.
Что касается второго фактора, то Найквист пишет буквально следующее [2]: «Скорость, с которой сообщения могут быть переданы по телеграфной линии с заданной скоростью телеграфирования (line speed), определяется темпом посылки сигнальных элементов и может быть определена приблизительно следующей формулой:
W = K logm,
(1)
где Щ — скорость передачи сообщений; т — число уровней тока; К — константа.
Под скоростью передачи сообщений подразумевается число знаков, представляющих различные сведения, фигуры и т. д., которые могут передаваться в данный промежуток времени в предположении, что линия передает заданное число сигнальных элементов в единицу времени».
Обоснование формулы (1) не совсем убедительно и скорее носит интуитивный, чем доказательный характер. с тем, Найквист перечисляет и комментирует основные неизбежные ограничения, препятствующие реализации преимуществ большого числа уровней тока (или напряжения) т > 2 на входе телеграфной линии:
• случайные вариации коэффициента передачи линии;
• интерференция сигналов;
• ограничения по мощности или по напряжению на входе телеграфной линии.
В заключение Найквист осторожно замечает [2]: «Следует отметить, что эта формула была выведена для кодов, имеющих знаки одинаковой длительности, и что ее нельзя считать
ничем иным, как приближением для кодов, длительности знаков у которых неодинаковы. Чтобы установить формулу для последнего случая, следовало бы сделать определенные допущения относительно частотности различных знаков. Можно предполагать, что эта формула будет давать неплохое приближение к рассматриваемым явлениям также и в этом случае, но нельзя ожидать, что она будет точной».
Через четыре года (в 1928 г.) Г. Найквист публикует фундаментальную статью [3], в аннотации к которой пишет: «Чтобы определить степень искажения телеграфных сигналов, нужно рассчитать переходные процессы в телеграфной системе. Эта методика использовалась различными авторами, и их решения справедливы для телеграфных систем с простыми начальными условиями...
Статья «атакует» эту же проблему с альтернативной точки зрения: с использованием характеристик установившегося режима в системе».
Вначале Найквист рассматривает «многоуровневую телеграфию» (в современной терминологии — цифровые системы электросвязи с многопозиционной амплитудной манипуляцией M-ASK), при которой длительности подряд идущих элементарных прямоугольных посылок одинаковы и равны тэ, а каждая элементарная посылка имеет свой индивидуальный (амплитудный) множитель a. Если взять N таких телеграфных посылок, то спектр Фурье последовательности посылок с амплитудами a1, a^ ..., a,, ..., aN будет линейчатым и определяемым «фактором формы»:
F(/„) = 25т(р/лТэЖр/„Тэ) = ^тф/ПТэХ
где sinc(x) = (sinx)/x
Наоборот, если имеется элементарная посылка, спектр которой является равномерным в полосе частот f от f= 0 до f= FH, а вне этой полосы — нулевой, то ее форма есть s^t) = 2FH sinc(2reFHt). Позже эту функцию назвали функцией отсчетов. При t = 0 значение функции отсчетов «э(0) = 2FH, а при tr = r/(2FH); r Ф 0; величина «э(Г = 0.
Отметив этот замечательный математический факт, Найквист переходит к анализу сигналов во временной области.
Телеграфную линию в первом приближении можно считать фильтром нижних частот с частотой среза FH. Поэтому на выходе системы сигнал «вых(^) по отношению к входной прямоугольной посылке длительностью тэ будет «затянутым», и часть энергии предыдущих элементарных посылок будет попадать в интервал времени, отведенный для текущего элемента, что вынуждает уменьшать скорость телеграфирования (скорость поступления на вход телеграфного канала элементарных посылок), то есть подавать элементарные посылки с частотой (0,5-0,7) FH, что характерно для обычного однополюсного двухуровневого телеграфа.
Как истинный инженер-изобретатель, Найквист вводит неожиданный, но почти очевидный критерий отсутствия межсимвольных искажений. Он замечает, что если на выходе телеграфной линии, на которую поступают прямоугольные (элементарные) посылки с различными амплитудами из множества {я^} m (многоуровневая телеграфия), измеряются мгновенные напряжения (или токи) в середине каждой посылки, и если значения измеренных напряжений будут пропорциональны этим амплитудам, то на выходе канала можно будет синтезировать последовательность прямоугольных посылок, подобную входной последовательности. В таком случае, несмотря на межсимвольную интерференцию, имеющуюся на выходе телеграфной линии с ограниченной полосой пропускания FH, передача сообщений будет неискаженной.
В статье [3] Найквист показывает, что такому критерию удовлетворяют сигналы, которые имеют равномерную амплитудно-частотную характеристику в диапазоне частот f от f = 0 до f= FH, то есть s^t) = я^тс(я#тэ), где тэ = 1/(2FH). На выходе канала связи с равномерным коэффициентом передачи \K(f) \ = const в полосе частот f от 0 до FH вклад всех элементарных посылок, предшествующих данной, в середине временного интервала, который соответствует текущей посылке, будет нулевым, и межсимвольных искажений не возникнет.
Телеграфные системы с такими сигналами нереализуемы. Однако Найквист доказывает, что если к сигналу с идеальной прямоугольной амплитудно-частотной характеристикой (АЧХ) добавить сигнал, спектр которого симметричен относительно FH (с точностью до знака), то получившийся суммарный телеграфный сигнал также не будет вносить межсимвольных искажений и будет передавать сообщения со скоростью ут, близкой к величине 2FH, что в 2-3 раза превышает скорость телеграфирования в обычном (однополярном) телеграфе. Правда, для этого в телеграфной системе должна производиться сложная синхронная нелинейная обработка сигналов, которая была успешно реализована лишь в 1980-х годах в системах электросвязи с многоуровневой амплитудной манипуляцией M-ASK.
Найквист показывает (с использованием рядов Фурье), что добавочный сигнал s+(t), который имеет «кососимметричную» реальную ReS+f и симметричную относительно точки f= FH мнимую ImS+f части спектра S+f), не будет вносить линейных искажений в значения сигнала s^t) = Asinc(2pFHt) в точках tm = m/(2FH) = т/тэ.
Значит, добавочный сигнал s+(t) в мгновенные значения идеального телеграфного сигнала s0(t) в середине каждого из элементарных временных интервалов длительностью тэ линейных искажений вносить не будет, но зато может «погасить» колебания идеального сигнала s0(t) при t < 0 и сделать его физически реализуемым.
В статье [3] Найквист приводит простой пример реализации телеграфной системы, которая может передавать сообщения со скоростью Ут = 2FН без межсимвольных искажений. При поступлении прямоугольных посылок на вход такой системы на ее выходе получаются сигналы, представляющие собой затухающие колебания с эквидистантным расположением своих нулевых переходов (как у функции отсчетов!), что и обеспечивает неискаженную передачу сообщений с предельно возможной скоростью.
Далее Найквист получает аналогичные результаты для многоканального телеграфа с частотным разделением каналов, рассматривает телеграфию с произвольной формой элементарных посылок и эквивалентность (дуальность) временного анализа и частотного. Тем самым он полностью решает вопрос о значении коэффициента К в формуле W = K logm: величина К не может превосходить величины 2FН, но может быть достаточно близкой к ней.
Наконец, он возвращается к оценке возможного числа уровней m, используемых для многоуровневой телеграфии. Найквист приходит к выводу, что число m ограничивается максимально возможным (в данной телеграфной системе) количеством уровней токов или напряжений, которое зависит от уровней электрических помех. Найквист заключает ([3], с. 290): «Если помеха непредсказуема, ее абсолютная величина должна быть меньше, чем половина разности между любыми двумя уровнями тока, используемыми для телеграфирования».
Отсюда непосредственно следует формула (Найквист почему-то ее не приводит): W = 2FН%(1тах/1„+1), где W — скорость передачи сообщений (мы бы сказали — информации); FН — частота среза частотной характеристики телеграфного канала; !тах — максимально допустимый ток в телеграфной линии; 1п — максимальный уровень помех в этой линии.
Как видим, Найквист вплотную подошел к созданию математических основ информационной теории систем электросвязи, и его роль в разработке прикладной теории информации (ПТИ) аналогична роли М. Фарадея в разработке электродинамики: К. Шеннону «оставалось только обобщить» результаты Найквиста и провести их строгое математическое обоснование.
В том же в 1928 г. сотрудник Найквиста по В^ Ральф Хартли (1988-1970) на основании анализа переходных процессов в телеграфной системе пришел к следующему качественному выводу [4]: «...максимальная скорость передачи информации, возможная в системе, частотный диапазон которой ограничен некоторой областью, пропорциональна ширине этой полосы частот. Отсюда и следует, что общее количество информации, которое может быть передано посредством такой системы, пропорционально произведению передаваемой поло-
сы частот на время, в течение которого система используется для передачи». Кроме того, он считает, что следующую элементарную посылку нужно передавать тогда, когда переходные процессы в телеграфной линии практически уже затухли. Подчеркнем, что в 1928 г. Хартли уже использует термин information и в качестве меры количества информации (для случая равновероятных дискретных сообщений) вводит логарифмическую меру, предложенную в 1924 гг. Найквистом — logm. В то же время Хартли, по сравнению с Найквистом, делает шаг назад в утверждении относительно переходных процессов в телеграфной линии. Длительная болезнь не позволила Р. Хартли продвинуться по пути, намеченному Найквистом [5], хотя он и обладал достаточной математической подготовкой, чтобы сделать это (в теоретической радиотехнике известно преобразование Хартли).
Итак, в научно-исследовательском институте Bell Labs к 1930 г. были достигнуты следующие позиции в теории ПТИ:
1. Многоуровневая телеграфия позволяет передавать значительно большее количество информации, чем классическая одно-полярная или двухуровневая телеграфия.
2. Количество уровней m в многоуровневой телеграфии ограничено допустимым значением тока или напряжения в телеграфной системе, а также уровнем электрических помех в ней.
3. При допустимом числе телеграфных уровней m количество передаваемой информации пропорционально логарифму числа этих уровней.
4. Скорость передачи информации ограничивается частотой среза коэффициента передачи K(f) телеграфного канала связи как фильтра нижних частот, взятой по уровню половины значения K(f) при f = 0. Независимо от развития теории электросвязи в Bell Labs, советский инженер Владимир Котельников (1908-2005), имевший фундаментальную математическую подготовку [5], в 1932 г. сформулировал и доказал теорему отсчетов теории сигналов, которая в дальнейшем сыграла очень важную роль в теории динамических систем передачи информации. Однако непосредственные научные интересы В. Котельникова, поступившего после окончания аспирантуры в ЦНИИ Связи, не были направлены в сторону прикладной теории информации. Поэтому основы теории ПТИ создал младший коллега и «соперник» В. Котельникова, электроинженер и математик, сотрудник BTL Клод Шеннон.
Создание математических основ теории информации. Клод Шеннон
В статьях К. Шеннона 1940 г. и 1948 г. [6] теория информации как математическая теория электросвязи получила фундаментальные математические основы.
В 1940 г. в статье «Связь при наличии шума» (опубликованной лишь в 1949 г., но сотрудники В^ должны были знать ее содержание) Шеннон впервые предлагает метод «геометрического представления сигналов и помех» в системах телеграфной и телефонной электросвязи, а также в радиовещании, на основании которого он выводит ряд результатов общей теории связи.
Во-первых, при построении метода геометрического представления сигналов Шеннон «переоткрывает» теорему В. А. Котельникова (1932 г., [5]) и приводит ее доказательство, аналогичное доказательству Котельникова, а перед доказательством теоремы замечает [6]: «Это общеизвестный в теории связи факт».
Во-вторых, он неосторожно утверждает [6]: «.любая функция, ограниченная полосой W и временным интервалом Т, может быть полностью определена заданием 2TW чисел».
Следуя Найквисту и Хартли, Шеннон принимает логарифмическую меру количества информации в сообщении и определяет пропускную способность электрического и радиоканала связи следующим образом [6]:
«Если возможно надежно различить в канале Ы функций сигнала длительностью Т, то можно сказать, что канал может передавать ^2Ы битов за время Т. Скорость передачи будет (^2Ы)/Т. Точнее, пропускная способность канала может быть определена как:
г->» Т
Далее Шеннон пытается уточнить понятие «надежно различимые функции сигнала». Он пишет [6]: «Если сигнал имеет мощность Р, то сигнал, измененный наложенной помехой, будет иметь мощность Р+М Число хорошо различимых значений есть К^(Р+Ы)1Ы, где К — небольшая константа порядка единицы, зависящая от того, как истолковывается термин "хорошо различимый"».
Шеннон сам чувствует слабость своей позиции и добавляет [6]: «Трудности, связанные с этим рассуждением, .состоят в подразумеваемом предположении, что для различения двух сигналов они должны отличаться в некоторой точке отсчета более чем на ожидаемое значение помехи». Это положение было высказано Найквистом еще в 1928 г. Если же учесть, что Шеннон предпочитает рассматривать гауссовские помехи, то такой ситуации не может быть никогда.
Тем не менее, он формулирует и пытается доказать Теорему 2 [6]: «Пусть Р — средняя мощность передатчика, и пусть помеха есть белый шум с мощностью N в полосе частот Ж Применяя достаточно сложную систему кодирования, можно передавать двоичные цифры со скоростью С = W ^2[(Р+№)/М] со сколь угодно малой частотой ошибок.»
Далее Шеннон (и вслед за ним многие «чистые» математики, а впоследствии даже ведущие радиотехники!) удивляется: «Это неожи-
данный результат, так как можно было бы ожидать, что уменьшение частоты ошибок требует соответствующего уменьшения скорости передачи и что последняя должна стремиться к нулю с частотой ошибок. Фактически же можно вести передачу со скоростью С, уменьшая ошибки применением более сложного кодирования...». Шеннон забывает, что сложное кодирование требует передачи дополнительных «проверочных символов», что уменьшает скорость передачи самой информации. Кроме того, «по умолчанию» Шеннон полагает, что константа К = 1.
К сожалению, в доказательстве этой важной теоремы имеется существенное противоречие: если сигнал 5 (¿) имеет финитное преобразование Фурье:
¿(ю) = |%(г)ехр(-у'<аг)йй5
где |5(ю)| = 0 при -2геЩ < ю < 2рЩ то он должен иметь бесконечную длительность Т, ограниченную энергию Е5. = j_ccs2(t)dt и, следовательно, бесконечно малую мощность:
Р=ИтМгУ^ = о.
Г->ю ¿1
Далее Шеннон вводит понятие «энтропия помехи» ([6], с. 455-456) с помощью формулы:
Н= 1о§2Х/2тгём
Для гауссовских помех он получает:
Н=
Наконец, Шеннон вводит понятие «энтропия дискретных источников информации» с помощью формулы:
Н= .....,р(и,...,*)*
),..., я),
где р(г, j, ..., 5) — вероятность последовательности символов г, j, ..., 5, а сумма берется по всем последовательностям из п символов.
В Приложении достаточно убедительно доказывается Теорема 4: «Возможно закодировать все последовательности из п символов сообщения в виде последовательностей двоичных цифр таким образом, что среднее число двоичных единиц на символ сообщения равно приблизительно Н, причем приближенное равенство переходит в точное с возрастанием п».
Таким образом, в 1940 г. (через 12 лет после своего старшего коллеги по В^ Г. Найквиста) Шеннон обобщает логарифмическую меру информации на случай независимых не равновероятных знаков источников дискретных сообщений и формулирует первую из основных задач теории ПТИ: снятие с помощью кодера источника дискретных сообщений его естественной избыточности.
В 1948 г. выходит в свет фундаментальная статья К. Шеннона «Математическая теория связи» [6]. В этой статье автор, отмечая важ-
ность работ Найквиста 1924 и 1928 гг. [2, 3] и Хартли 1928 г. [4], ставит своей целью [6] расширить теорию «.с тем, чтобы включить в нее ... влияние шума в канале и возможность экономии за счет учета статистической структуры исходного сообщения и назначения передаваемой информации».
Вначале Шеннон вводит пропускную способность C дискретного канала связи без помех как:
Г->00 X
где N(T) — число допустимых сигналов длительностью T.
Затем он учитывает частотность и статистическую взаимозависимость (на основе теории марковских цепей) появления букв в английских текстах.
В Теореме 2 Шеннон вводит понятие энтропии как меры количества информации, выдаваемой источником дискретных сообщений (ДИС: H(x) = -Sp; logp), совместную энтропию двух множеств сообщений H(x,y) = -E,p( i,j)logp( i,j) и условную энтропию одного множества {y} по отношению к другому {x} Hx(y) = -Sijp(i',j)logpi(j), а также рассматривает свойства различных источников ДИС и операции кодирования и декодирования как переход входного и выходного преобразователей символов с памятью из одного состояния в другое под воздействием приходящих на преобразователи символов.
Наконец, он формулирует основную теорему для канала без помех (о кодировании источника сообщений с целью снятия избыточности источника ДИС), предлагает метод кодирования для снятия избыточности источника ДИС и корректно отмечает, что этот же метод кодирования независимо от него нашел сотрудник Массачусетского технологического института Роберт Фано (род. в 1917 г.).
Далее Шеннон рассматривает канал с помехами, вводит понятие остаточной неопределенности (equivocation) на выходе канала связи Hy(x) как условную энтропию символов на входе канала при условии, что множество выходных символов было каким-либо образом идентифицировано. Отсюда он предлагает вычислять скорость передачи информации по дискретному каналу электросвязи по формуле R = H(x)-Hy(x).
Пропускную способность C дискретного канала с помехами можно тогда определить выражением: C = max[H(x)-Hy(x)], где максимум берется по всем источникам ДИС {x}, которые могут быть использованы на входе такого канала.
Для канала, в котором воздействия помех на передаваемые символы независимы, Шеннон вводит переходную матрицу П, состоящую из вероятностей pj того, что посланный i-й символ на выходе канала электросвязи будет идентифицирован как j-й. Тогда пропускная способность канала будет равна максимуму выражения:
R = -Sy P pj bgS P pj+EyP pj bgpj
или
R = SyPPjlog(pj/Slppj),
где величина Ij = log(p¡)-/S¡P¡p,j) есть количество информации, содержащейся в j-м выходном символе относительно i-го входного знака.
В качестве примера Шеннон приводит помехоустойчивое канальное кодирование Р. Хэмминга.
Таким образом, К. Шеннон создает надежную математическую базу для оценивания информационной емкости статических каналов электросвязи путем расчета, например, численными методами максимума выражения для величины R.
Для перехода к динамическим каналам электросвязи Шеннон снова формулирует теорему отсчетов (уже без доказательства, поскольку он провел доказательство теоремы в 1940 г.!) и соответствующий геометрический метод представления сигналов в линейном пространстве 2TW измерений.
Затем он формально вводит энтропию «непрерывного распределения» по аналогии с источниками дискретных сообщений:
# = PÍX) logPOO dx-
На этой основе Шеннон формулирует очередную теорему.
«Теорема 17. Пропускная способность канала с полосой частот W, в котором имеется белый тепловой шум мощности N, при условии, что средняя мощность передаваемых сигналов ограничена величиной P, равна:
_ P+N
C=W log-».
N
(2)
Поскольку максимальная скорость (rate) передачи сигналов соответствует интервалу Найквиста At = 1/(2W), то это значит, что количество «четко различимых уровней» есть V(P+N)/N.
Он также корректно ссылается на аналогичные результаты Н. Винера ([7], 1948 г.) и У. Таллера ([8], 1949 г.).
Доказательство Теоремы 17, так же как и некоторых других, не очень убедительно. А. Н. Колмогоров по поводу доказательств Шенноном своих теорем заметил [6]: «При необычайном богатстве идей, данных в работах самого Шеннона, изложение в них обычно крайне туманно».
А в рецензии на работу К. Шеннона 1948 г. крупный американский специалист в области теории вероятностей Дж. Л. Дуб отмечал [9]: «Рассуждения Шеннона на всем протяжении статьи носят скорее эвристический, чем математический характер, и не всегда ясно, достаточно ли идеи автора достоверны (honorable)».
Именно «туманный» формально-математический подход не позволил Шеннону оценить пропускную способность системы
электросвязи при ограничении в ее канале пиковой мощности сигналов величиной Р0. Ему удалось получить асимптотическую оценку вида:
С ^ W log2[1+2P0/(peN)] « S W log2(1+0,234P0 /^[бит/с] при P0/N
(3)
Самым выдающимся новшеством К. Шеннона, по-видимому, следует считать аксиоматическое введение информационной меры (энтропия источника ДИС) и математическое определение остаточной неопределенности (equivocation) на выходе канала связи с помехами, которое позволяет оценивать информационные потери, сопровождающие передачу сообщений по каналам связи при наличии в них различного рода помех. Остальные идеи в это время просто «носились в воздухе» и открывались независимо от Шеннона (У. Беннетт, Д. Габор, Р. Фано, У. Таллер и др.).
Интересно и поучительно проследить, как различные авторы подходили к знаменитой формуле Шеннона (2).
В работе [7] 1948 г. Н. Винер, решая задачу оптимальной фильтрации стационарного случайного сигнала ^(t) на фоне шума n(t) по критерию минимальной дисперсии отклонения выходного колебания оптимального стационарного линейного фильтра от сигнала на его входе (критерий Р. Фишера [7]), для распределения по спектру максимального значения отношения «сигнал/шум» получает выражение Q(w) = [ W^(w) +Wn(w)]/Wn(w), где W^(w) и Wn(w) — спектральные плотности мощности стационарного сигнала ^(t) и шума n(t) соответственно.
А поскольку Винер, по совету известного физика-теоретика Дж. фон Неймана, ввел информационную меру количества информации, связанную с плотностью вероятности p(x), не по Фишеру и не по Шеннону, а соотношением
то при гауссовских стационарных сигналах и помехах п(^) для скорости передачи информации он получает формулу [7], в которой нужно считать показатели степени не двойками, а единицами, и которая эквивалентна выражению:
C= — \"\ogQd&.
Н. Винер добавляет [7]: «Именно этот результат и был получен автором и Шенноном.»
Если W^(ю) = Р, Wn(ю) = N, а канал передачи имеет верхнюю частоту среза W, то С = Wlog(1+P/N), что действительно соответствует формуле Шеннона 1940 г.
В 1949 г. В. Таллер в статье [8] рассмотрел передачу информации при наличии шума и пришел к выводу: «Пусть 5 — среднеква-
дратическое значение наибольшего сигнала, который может быть получен в данной системе связи. Предположим (что близко к действительности), что изменение амплитуды сигнала меньшее, чем амплитуда шума, не может быть обнаружено, но что изменение амплитуды, равное шуму, уже обнаруживается. Тогда, если N есть среднеквадратиче-ское значение шума, смешанного с сигналом, то имеется 1+S/N определяющих значений сигнала. Этим определяется s...»
То есть H = k logs, где k — коэффициент пропорциональности, по поводу которого автор статьи ничего не говорит в ее тексте; однако из аннотации к упомянутой статье следует, что k = 1.
Разработка аналитических методов оценивания пропускной способности различных каналов связи
Создав надежную математическую базу для развития информационной теории систем электросвязи, К. Шеннон продолжил исследования в области оценивания пропускной способности различных каналов связи, развивая чисто аналитические, а не численные методы оценки величин R и С. Специфика формул теории ПТИ (конечные суммы, содержащие произведения вероятностей на их логарифмы) позволяет получить аналитические оценки величины С только в весьма ограниченном количестве простейших случаев. Поэтому прикладная теория информации, родившись в трудах инженера-изобретателя Г. Найквиста как методика определения предельно достижимых характеристик различных систем электросвязи, в трудах инженера-математика К. Шеннона «раздвоилась», и получившиеся две ветви теории информации со временем расходились все больше и больше: инженеры на своей конструктивно-индуктивной основе изобретали все новые и новые способы модуляции и обработки сигналов, а математики на своей формально-дедуктивной базе придумывали все более экзотические и патологические абстрактно-математические модели систем передачи информации, позволяющие получить лишь весьма приближенные оценки.
В уже упомянутом предисловии к переводу учебника инженера-математика Р. Галлагера [1] Пинскер и Цыбаков высказали надежду, что этот учебник перекинет «мост между математиками и инженерами». Однако упрощение доказательств теорем формально-математической теории информации, предложенное Галлагером, к взаимопониманию между математиками и инженерами не привело и привести не могло, ибо математики при изложении теории ПТИ невольно навязывают инженерам свой стиль мышления (абстрактно-дедуктивный), в то время как инженеры привыкли мыслить конкретно-индуктивно.
Это расхождение «чисто» прикладной и «чисто» математической теорий информа-
ции наметилось уже в классической работе Шеннона (данная статья и упоминающиеся далее работы Шеннона опубликованы в сборнике [6]).
В 1956 г. в статье «Пропускная способность канала с шумом при нулевой ошибке» Шеннон рассматривает совершенно экзотическую гипотетическую систему связи, для которой, несмотря на наличие помех в канале связи, вероятность ошибки не приближается к нулю, а равна нулю точно. Это возможно в том случае, если существуют выходные символы и входные знаки канала связи, которые переходят только друг в друга, и невозможны переходы других знаков в данные выходные символы. И хотя Шеннон отмечает, что «.не найден метод определения С0 в случае произвольного дискретного канала», он формулирует некоторые теоремы, касающиеся ограничений относительно величины С0. Он также приводит пример вычисления величины С0 для случая четырех входных знаков.
В статье 1957 г. «Геометрический подход к теории пропускной способности каналов связи» Шеннон рассматривает метод вычисления скорости передачи информации R для дискретного канала с помехами и, пользуясь строгой выпуклостью величины R как функции априорных вероятностей источника ДИС и полных вероятностей выходных символов, выявляет свойство выпуклости величины пропускной способности С в зависимости от элементов переходной матрицы П.
В том же году в статье «Некоторые результаты теории кодирования для каналов с шумами» он находит некоторые общие свойства каналов с памятью.
В 1959 г. в работе «Вероятности ошибки для оптимальных кодов в гауссовском канале» Шеннон приводит общие соображения о производительности источника ДИС и пропускной способности дискретного канала связи при заданной неотрицательной мере искажения отдельного знака.
Затем в статье «Двусторонние каналы связи» (1960-1962 гг.) он предлагает общий абстрактно-математический метод нахождения области значений пропускной способности двустороннего канала связи.
В работе 1967 г. «Нижние границы вероятности ошибки для кодирования в дискретных каналах без памяти» [10], написанной Шенноном в соавторстве с Галлагером и Берлекампом, уточняются нижние границы для минимальной вероятности ошибки, которые могут быть достигнуты при использовании блокового кодирования в дискретных каналах без памяти при наличии шумов в последних.
В дальнейшем научные интересы К. Шеннона переместились в область разработки автоматов для жонглирования и летающих дисков [5]. Поэтому в течение последующих сорока лет непосредственного участия в развитии теории информации он уже не принимал, и различные ее направления развивали его ученики и последователи.
В 1966 г. Е. Гильберт в кратком обзоре [11] подвел итоги развития теории информации за 18 лет. Он отметил: «.многие инженеры-практики считают, что теория информации содержит слишком много идеализаций, чтобы помочь им в решении реальных проблем. На это трудно возразить; малое число реальных систем связи, разработанных с 1948 г., демонстрируют решающее влияние со стороны теории информации. Более того, ранние изобретения, такие как телеграф Морзе, вокодеры, компандоры и системы ИКМ, показали, что инженеры могут достигать с помощью «обычной интуиции» результатов, близких тому, что предсказывает теория информации. На это еще в 1957 г. Дж. Пирс (ученик Шеннона) ответил, что теория информации дает понимание, которое направляет инженера, но не решает его конкретных проблем. В 1958 г. Фано (ставший последователем Шеннона) разъяснил, что теория информации вскоре станет существенным инструментом в разработке все более сложных систем связи».
И далее Гильберт добавляет: «Мода существует и в науке. Кто в 1900 г. мог предвидеть забвение, которому предадут современные математики кватернионы и эллиптические функции? Быть может, к 2000 г. теория информации будет существовать только в виде малого числа никем не читаемых научных трактатов, хранимых библиотечными сотрудниками в качестве одиноких памятников впустую растраченных жизней. Чтобы предотвратить эту перспективу, теория информации должна обеспечивать инженеров более реалистическими результатами, чем некоторые общие соображения. Я надеюсь показать, что глубокая пропасть между теорией и практикой в настоящее время сужается».
Что касается оценок пропускной способности каналов связи, то Гильберт констатирует наличие только классических результатов Шеннона:
• пропускная способность симметричного бинарного канала связи
С = [1+р 1о8Р+(1-р) 1о8;(1-р)]/Т; (4)
• пропускная способность непрерывного гауссовского канала с аддитивным гаус-совским шумом
С = W (5)
В заключение обзора [11] Гильберт отмечает: «Теория информации является очень активной областью исследований в СССР.; однако там центр тяжести приходится на чисто математические исследования, анализ результатов которых я в обзор не включил.
С инженерной точки зрения, теория информации пышно расцвела за 18 лет вследствие данных ею обещаний относительно усовершенствования систем связи. Результаты тео-
рии все еще существуют почти исключительно на бумаге. Однако теоретические работы становятся все ближе к практике. Между тем, счет страниц в журналах, посвященных теории информации, показывает, что это поле деятельности все еще расширяется».
Характерным примером «чисто» математического пути исследований, проводившегося в СССР, могут послужить две статьи Б. С. Цыбакова: «Пропускная способность векторного гауссовского канала без памяти» [12] и «Иной подход к нахождению пропускной способности гауссовского векторного канала» [13]. Эти статьи разделены по времени на 40 лет.
Векторным называют канал связи с несколькими входами на передающем конце и несколькими выходами на приемном. Математическая модель векторного канала допускает наличие «перекрестных» искажений между различными входными сигналами, учитывает, что среда, в которой происходит распространение сигналов, является диспергирующей, а также учитывает возможные статистические зависимости между флуктуа-ционными шумами, которые накладываются на сигналы, принимаемые на различных выходах векторного канала связи.
В статье [12] показано, что произвольный векторный канал рассматриваемого типа эквивалентен некоторому каноническому векторному каналу, состоящему из определенного числа параллельно работающих независимых гауссовских каналов без памяти. На практике такой векторный канал может быть реализован, например, с помощью частотного или временного уплотнения в многоканальной линии связи. Описанный векторный канал представляет собой параллельное соединение некоторого количества обычных каналов. По существу, решение этой задачи эквивалентно нахождению канонического представления векторной случайной величины, имеющей заданную корреляционную матрицу.
В статье 2006 г. [13] Цыбаков поднимает вопрос о пропускной способности векторного канала с памятью, рассмотренного в 1974 г. Бранденбургом и Вайнером (Brandenburg L. H., Wyner A. D.). В отличие от них в статье [13] дается иной подход к нахождению пропускной способности, которая ищется как максимум взаимной скорости передачи информации между входом (удовлетворяющим данному ограничению на мощность) и выходом. Выражение для пропускной способности, отличное от полученного Бранденбургом и Вайнером, Цыбаков выводит методом канонического представления шумов в векторном канале связи, имеющем заданную матричную спектральную плотность мощности шума. Пропускная способность каждого из эквивалентных канонических каналов связи по-прежнему определяется классической формулой Шеннона.
В 1999 г. В. В. Прелов подвел итоги развития аналитических методов теории информации
в Институте проблем передачи информации (ИППИ) РАН за 38 лет [14]. Автор замечает: «Для широкого класса каналов не удается аналитически вычислить их пропускную способность. В этих случаях значительный интерес представляет исследование асимптотического поведения пропускной способности при различном поведении тех или иных параметров, характеризующих систему передачи информации, а также разработка численных методов приближенного определения пропускной способности». Прелов отмечает лишь одну работу сотрудников ИППИ, в которой предложен численный метод нахождения пропускной способности [21]. Сам В. В. Прелов в течение 30 лет проводил исследования асимптотических методов расчета пропускной способности различных каналов связи.
Как видим, «чистым» математикам К. Шеннон открыл необъятное поле деятельности для формально-математических исследований пропускной способности абстрактных «каналов связи», которые (исследования) никак не связаны со статистическими характеристиками реальных систем электросвязи, рассматриваемых в интенсивно развивавшихся в это же время статистической радиотехнике и статистической радиофизике. От прикладной теории информации как информационной теории систем электросвязи требовалось конструктивно рассматривать связь статистических характеристик таких систем с предельно достижимыми информационными характеристиками, оптимальное количество «различимых уровней сигналов» (Найквист, Шеннон, Таллер) и оценку скорости передачи информации при оптимальном количестве этих уровней. Именно такие задачи теории ПТИ изначально ставились Найквистом, Хартли и Шенноном. «Чистые» математики продолжали свои дедуктивные формально-математические исследования абстрактных каналов связи: векторные, негаус-совские, с памятью, со стиранием, с обратной связью, с перезапросом, с фильтрацией, с нарушением синхронизации, с сингулярными каналами и т. д. и т. п.
Например, в работе [15] определена пропускная способность многолучевых каналов связи в условиях медленных замираний. Статистика каждого из лучей описывается обобщенной гауссовской моделью. Пропускная способность определяется как в условиях раздельного приема, так и в условиях невозможности раздельного приема. В первом из этих случаев анализируются два способа комбинирования лучей: некогерентное сложение и синфазная обработка сигналов. В результате проведенного анализа показано, насколько и при каких условиях многолучевой канал имеет меньшую пропускную способность, чем это определяется формулой Шеннона.
Таким образом, несмотря на огромные интеллектуальные усилия «чистых» математиков, для прикладных целей инженеры-разработчики до сих пор имеют лишь результаты, полученные Шенноном в 1948 году:
С, бит/с 5
4
3
2
1
О
• точную формулу для пропускной способности симметричного бинарного канала связи (4);
• асимптотическую формулу (5) — для канала с гауссовским сигналом и аддитивным гауссовским шумом;
• приближенную зависимость (3) пропускной способности канала связи с ограниченной пиковой мощностью сигналов и аддитивным гауссовским шумом.
Если учесть, что в симметричном бинарном канале связи величина
Р = —г=— | ехр [-(и-С/0)2/ (2 <т„2)] du = = [l+erf(N/g/2)]/2,
Q - U07ct„2,
где erf(z) — интеграл вероятностей (функция Лапласа):
2 Г 2 2
erf (z) = —¡= exp(-i ) dt, л/л Jo
а в формуле (3) для равномерного на промежутке [-U0, +U0] распределения сигналов отношение сигнал/(гауссовский шум) есть Q = U02/(3an2), то имеющиеся в распоряжении инженера-разработчика варианты зависимости пропускной способности C от величины отношения Q сводятся к кривым 1, 2, 3, показанным на рисунке.
Разработка численных методов оценивания пропускной способности каналов связи
Ранее упомянутый нами Вайнер (Wyner A. D.) в 1974 г. составил обзор достижений в теории информации за восемь предыдущих лет [16]. Относительно пропускной способ-
5 4
3 2
1
ности он отмечает: «Важная проблема, которая не поддается решению уже в течение ряда лет, — нахождение эффективного алгоритма для численного расчета пропускной способности дискретного канала без памяти ^МС), а также производительности дискретного источника без памяти (DMS)».
Первая проблема сводится к решению математической задачи так называемого «выпуклого программирования» для формулы Шеннона скорости передачи информации:
R = РРу РРу +ЕуР Ру НРщ
при условии Р{ > 0 для I = 1, ..., N и 2 р = 1.
По-видимому, первым, кто (уже в 1953 г.!) приступил к разработке численных методов расчета пропускной способности каналов при наличии помех, был Сабуро Мурога. В статье [17] он вывел формулы для расчета пропускной способности дискретного канала с квадратной несингулярной переходной матрицей и при условии, что все Р1 строго положительны, а также (во второй части статьи) учел (с использованием цепей Маркова) статистическую связь поступающих в канал связи элементарных сообщений (знаков).
Через 19 лет Сугуру Аримото [18] разработал итеративный алгоритм расчета пропускной способности произвольного дискретного канала без памяти и доказал его сходимость. При этом Аримото рассматривает каналы, которые имеют на входе алфавит из т символов, а на выходе — из п (п ф т) символов, то есть каналы с прямоугольными переходными матрицами.
Ричард Блаут в статье [19] независимо от Аримото развивает также итеративный алгоритм вычисления пропускной способности дискретного канала с произвольной прямоугольной переходной матрицей: с использованием теоремы Куна-Таккера выпуклого программирования.
Все это — чисто математические алгоритмы вычислений для достаточно абстрактных моделей каналов связи. У. Иттли в 1974 г. попытался решить задачу численного расчета для конкретного непрерывного канала электросвязи с аддитивным шумом и с ограниченной пиковой мощностью в канале [20]. Как раз эту задачу не удалось точно решить аналитическими методами К. Шеннону в 1948 г. [6]. В результате в статье [20] Иттли, как «чистый» математик, доказывает две теоремы.
В первой утверждается, что если аддитивный шум имеет симметричную кусочно-непрерывную плотность вероятности специального вида (с плоской вершиной), то пропускная способность «непрерывного» канала с ограниченной пиковой мощностью может быть достигнута при бинарном дискретном источнике с равными априорными вероятностями двух знаков такого источника.
Во второй теореме Иттли доказывает, что при кусочно-непрерывной несимметричной плотности вероятности аддитивного шума пропускная способность «непрерывного» канала связи с ограниченной пиковой мощностью может быть реализована при наличии на входе канала бинарного дискретного источника с различными (соответствующими асимметрии плотности вероятности шума) априорными вероятностями знаков источника.
Заключение
Таким образом, поставленные практическим инженерным развитием различных систем телекоммуникаций проблемы теоретического оценивания предельно достижимых характеристик этих систем и разработки методов их реализации привели к созданию математической теории информации (МТИ) как раздела теории вероятностей, а также теории кодирования сообщений.
Если теория кодирования находила широкое практическое применение, то МТИ, по мере ее разработки, все более усложнялась и отрывалась от практических потребностей разработчиков телекоммуникационных систем, которые создавали все более совершенные методы модуляции и обработки сигналов в системах электросвязи и которые нуждались в простых и понятных для них способах оценивания, например оптимального количества сигнальных позиций в современных цифровых системах, скорости передачи информации в таких системах, а также необходимые для реализации этих скоростей способы канального кодирования.
Проведенный анализ показал, что, уже начиная с работ К. Шеннона, развитие теории информации пошло по «чисто математическому» пути. Надежды Е. Гильберта на то, что «глубокая пропасть между теорией и практикой в настоящее время сужается», высказанные еще в 1966 г. в обзоре [11], не оправдались. Поэтому современный инженер все
/ / /
/ / / / / /
/ / / / // // — X / ✓ ________ У *
/ ' ____ ________ _____ / /
—---
0,1 0,3 1 3 10 30 Q= 100
Рисунок. Результаты расчетов пропускной способности типовых каналов электросвязи: 1 — симметричный бинарный канал; 2 — «непрерывный» канал с ограниченной пиковой мощностью; 3 — гауссовский «одномерный» канал; 4 — канал с модуляцией N-QAM; 5 — гауссовский «двумерный» канал С « 2Wlog2(1+Q)
еще не имеет в своем распоряжении простых и надежных способов оценивания информационных характеристик каналов связи, которые позволили бы ему, на основе стандартных пакетов прикладных программ, вычислять ожидаемые характеристики разрабатываемых им систем электросвязи.
В результате, например, в фундаментальных инженерных монографиях Прокиса [22] и Скляра [23] для оценивания инженерами-разработчиками пропускной способности своих цифровых каналов электросвязи они имеют:
• у Прокиса — формулу Шеннона для симметричного бинарного канала (4) и классическую формулу Шеннона (5);
• у Скляра — только формулу Шеннона (5). Кстати, Прокис отмечает [22]: «.цифровая модуляция несущей по амплитуде и фазе позволяет конструировать сигналы, которые соответствуют двумерным векторам и пространственным диаграммам сигналов».
Казалось бы, из этого следует, что цифровые радиоканалы должны обладать почти в два раза большей пропускной способностью, чем это следует из «одномерной» формулы Шеннона. Однако Прокис продолжает: «Если мы хотим сконструировать сигнал, соответствующий вектору большей размерности, мы можем использовать или временную, или частотную, или обе области для того, чтобы увеличить размерность пространства».
Но это как раз и характерно для многоканальных систем электросвязи, у которых теоретически можно получить, за счет расширения рабочей полосы частот, сколь угодно большую пропускную способность системы электросвязи в целом.
Ясно, что для современных инженеров-разработчиков и эксплуатационников современных цифровых систем электросвязи всего этого явно недостаточно.
Один из авторов настоящего обзора попытался вернуться к «точке поворота», в которой путь развития теории информации безвозвратно повернул в сторону абстрактных формально-математических построений. В статье [25], с использованием формулы Шеннона для скорости передачи знаков R дискретного источника сообщений по каналу электросвязи с гауссовскими шумами
способности цифровых каналов электросвязи и интерпретацию результатов этих расчетов. Разработанная в статье [26] методика численной оценки пропускной способности (было получено ~ ^2(1+0,760>); на рисун-
ке — кривая 4) и оптимального количества уровней N0 радиоканалов с квадратурной амплитудной модуляцией N-QAЫ позволяет (практически всегда) рассчитать пропускную способность, оптимальное количество уровней и скорость передачи информации R0, соответствующую этому количеству уровней, как при гауссовских, так и при негауссовских помехах, а также при различных ограничениях в каналах электросвязи, для различных источников ДИС и т. д. и т. п. Здесь открывается довольно широкое поле деятельности для инженеров-исследователей, которые могут самостоятельно, используя пакеты прикладных программ типа MathCad, MathLab и т. п., а также на основе известных результатов статистической радиотехники, не прибегая к посредничеству «чистых» математиков, строить содержательные математические модели своих конкретных цифровых систем электросвязи, оценивать их пропускную способность С, а также вычислять оптимальное количество сигнальных позиций N0 и реальную скорость передачи информации R0 по этим каналам связи. И уже исходя из расчета коэффициента информационной надежности X = R0/1og2N0 получившихся систем электросвязи заимствовать у «чистых» математиков необходимые для реализации таких систем коды источников сообщений (для снятия избыточности источников) и помехоустойчивые (избыточные) канальные коды.
Наконец, в статье [27] по методике Шеннона аналитически выведена асимптотическая формула для оценки пропускной способности цифрового канала радиосвязи с квадратурной амплитудной модуляцией CQAы. При любом значении Q величина CQAы ровно в два раза больше, чем величина С, соответствующая классической формуле Шеннона. Именно величина CQAы = 2 С (на рисунке — кривая 5) и является пределом скоростей передачи информации R с помощью современных цифровых систем радиосвязи. ■
Литература
f л
Pij
им
приведены результаты численного оценивания пропускной способности СР5К современных авиационных каналов электросвязи с многопозиционной фазовой манипуляцией N-PSK. При больших значениях отношения сигнал/шум Q(Q > 10) величина СЫ_Р5К оказалась почти на 1 (бит/с) больше, чем величина С, получаемая по формуле Шеннона.
Пришлось продолжить развитие численных инженерных методов оценивания пропускной
1. Галлагер Р. Теория информации и надежная связь. М.: Советское радио, 1974.
2. Nyquist H. Certain Factor Affecting Telegraph Speed // Bell. Syst. Tech. J. V. 3. 1924. № 2.
3. Nyquist H. Certain Topics in Telegraph Transmission Theory // Trans. AIEE. V. 47. 1928. № 2. (Репринт. изд.: Proc. IEEE. V. 90. 2002. № 2)
4. Hartley R. V. L. Transmission of information // Bell Syst. Tech. J. V. 7. 1928. № 3. (На русском языке: Теория информации и ее приложения. Сб. переводов. М.: Физматгиз, 1959)
5. Худяков Г. И. Теорема отсчетов теории сигналов и ее создатели // Радиотехника и электроника. 2008. № 9.
6. Шеннон К. Работы о теории информации и кибернетике. Пер. с англ. М.: Изд-во ИЛ. 1963.
7. Вине Н. Кибернетика, или Управление и связь в животном и машине. М.: Наука. 1983. (Оригинал первого изд. 1948 г.)
8. Tuller W. G. Theoretical limitations on the rate of transmission of information // Proc. IRE. V. 37. 1949. № 5. (На русском языке: Теория информации и ее приложения. Сб. переводов). М.: Физматгиз. 1959.
9. Doob J. L. Shannon, C. E. A mathematical theory of communication // Mathem. Reviews. V. 10. 1949. № 2.
10. Shannon C. E., Gallager R. G., Berlekamp E. Lower bounds to error probability for coding on discrete memoryless channels // Information and Control. V. 10. 1967. Part I: № 1. Part II: № 5.
11. Gilbert E. N. Information Theory after 18 Years // Science. V. 152. 1966. № 3720.
12. Цыбаков Б. С. Пропускная способность векторного гауссовского канала без памяти // Проблемы передачи информации. 1965. Т. 1. № 1.
13. Цыбаков Б. С. Иной подход к нахождению пропускной способности гауссовского векторного канала // Проблемы передачи информации. 2006. Т. 42. № 3.
14. Прелов В. В. Теория информации в Институте проблем передачи информации // Радиотехника. 1999. № 12.
15. Кловский Д. Д., Сойфер В. А. Пропускная способность многолучевых каналов // Проблемы передачи информации. 1972. Т. 8. № 1.
16. Wyner A. D. Recent Results in the Shannon Theory // IEEE Trans. V. IT-20. 1974. № 1.
17. Muroga S. On the Capacity of a Discrete Channel // J. Phys. Soc. Japan. Part I: v. 8. 1953. № 4. Part II: v. 11. 1956. № 10.
18. Arimoto S. An Algorithm for Computing the Capacity of Arbitrary Discrete Memoryless Channel // IEEE Trans. V. IT-18. 1972. № 1.
19. Blahut R. E. Computation of channel capacity and rate-distortion function // IEEE Trans. V. IT-18. 1972. № 4.
20. Oettli W. Capacity-Achieving Input Distributions for Some Amplitude-Limited Channel // IEEE Trans. V. IT-20. 1974. № 3.
21. Введенская Н. Д., Добрушин Р. Л. Вычисление на ЦВМ пропускной способности каналов связи с выпадением символов // Проблемы передачи информации. 1968. Т. 4. № 3.
22. Прокис Дж. Цифровая связь/Пер. с англ. М.: Радио и связь, 2000.
23. Скляр. Б. Цифровая связь. Теоретические основы и практические применения / Пер. с англ. М.: Изд. Дом «Вильямс», 2007.
24. Маковеева М. М., Шинаков Ю. С. Системы связи с подвижными объектами: Учеб. пособие. М.: Радио и связь.
25. Худяков Г. И. Оценка пропускной способности каналов авиационной цифровой электросвязи // Электросвязь. 2009. № 5.
26. Худяков Г. И. Пропускная способность цифровых каналов электросвязи с квадратурной амплитудной модуляцией // Электросвязь. 2010. № 5.
27. Худяков Г. И. О пропускной способности современных цифровых каналов электросвязи // Компоненты и технологии. 2011. № 3.