Главные достижения теории информации Текст научной статьи по специальности «СМИ (медиа) и массовые коммуникации»

УДК 621.397

И. А. Зубакин

Санкт-Петербургский государственный электротехнический университет "ЛЭТИ" им. В. И. Ульянова (Ленина)

| Главные достижения теории информации

Дан обзор главных достижений теории информации К. Шеннона за 65 лет. Отмечено, что парадигма теории информации не только эволюционно развивается, но и породила новые крупные направления, новые парадигмы: квантовая теория информации, алгоритмическая теория информации и доминантная теория информации. Статья посвящена 65-летию теории информации и 50-летию издания книги Шеннона "Работы по теории информации и кибернетике" на русском языке.

Энтропия, эпсилон-энтропия, скорость передачи информации, пропускная способность канала связи, кодирование источника, кодирование канала, квантовый канал, сложность, принцип доминантной информации

Классическая (шенноновская) теория информации. Годом рождения теории информации принято считать 1948 - год выхода в свет работы американского ученого К. Шеннона "Математическая теория связи" [1].

До 1948 г. учеными разных стран были заложены предпосылки для появления теории информации. Элементы этой теории можно обнаружить в таких существовавших к 1948 г. системах связи, как телеграф, передача сигналов с использованием амплитудной модуляции (АМ), частотной модуляции (ЧМ), импульсно-кодовой модуляции (ИКМ) и др.

Одним из направлений теории информации является сокращение избыточности передаваемых сообщений. Эта проблема была осознана задолго до становления самой теории. В 1837 г. изобретатель телеграфа С. Морзе сконструировал код, учитывающий статистику букв английского алфавита, что явилось первым практическим примером статистического кодирования дискретного источника с помощью неравномерного кода. Код Морзе до сих пор находит практическое применение, что является неоспоримым доказательством его высокой эффективности.

Еще одним результатом, полученным задолго до разработки теории информации, является закон зрения Вебера-Фехнера о логарифмической связи стимула и реакции - первый в истории науки информационный закон.

В 1916 г. М. В. Шулейкин и в 1922 г. Дж. Карлсон независимо друг от друга ввели понятие спектра сигналов: Шулейкин применительно к АМ-сигналам, Карлсон - к ЧМ-сигналам.

В 1928 г. Р. Хартли ввел логарифмическую меру информации и указал способ ее определения в частном случае. Он подчеркивал желание

отмежеваться от физиологии, надо полагать - от Вебера и Фехнера.

Важный принцип установлен в 1924 г. Г. Найк-вистом и К. Купфмюллером: по каналу связи с полосой частот Е за время Т можно передавать не более 2ЕТ значений телеграфного сигнала, кото -рый может быть полностью восстановлен на приемной стороне. Развивая это утверждение, В. А. Ко -тельников ввел в теорию связи теорему отсчетов, согласно которой непрерывный сигнал с ограниченным спектром при определенной частоте дискретизации может быть полностью восстановлен на основе его дискретных отсчетов, взвешенных сдвинутыми 8тс-функциями. Эта теорема сыграла важную роль в становлении теории информации.

В 1946 г. Д. Габор осознал важность произведения полосы частот и длительности сигнала и предложил принцип частотно-временной неопределенности.

Таким образом, к моменту выхода в свет пионерской работы К. Шеннона был заложен фундамент, на котором и смогла появиться теория информация как обобщение разрозненных идей его предшественников, которым (идеям) он дал законченную формулировку. В этом смысле теорию информации Шеннона часто называют замкнутой.

Аксиоматика Шеннона включала непрерывность связи вероятности и информации (в его терминологии - энтропии), аддитивность информации и ее логарифмическую меру. Относительно опорного понятия шенноновской теории информации А. Н. Колмогоров писал: "... я настаиваю на той идее, что основным понятием, допускающим обобщение на совершенно произвольные непрерывные сообщения и сигналы, является

© Зубакин И. А., 2013

13

не непосредственно понятие энтропии, а понятие количества информации I (Е,, т) в случайном объекте £ относительно объекта п" [2].

В своей работе К. Шеннон указал на два направления исследований в теории информации: сокращение избыточности сообщений (кодирование источника) и передача сообщений с минимальными искажениями по каналам связи с шумом (кодирование канала).

На основе введенного К. Шенноном понятия энтропии дискретного источника он доказал важные теоремы для неравномерного и равномерного кодирования источника, показав, что и в первом, и во втором случаях энтропия является важнейшим показателем (индикатором) экономности кодирования. Для неравномерного кодирования источника им предложен способ кодирования, основанный на принципе дихотомии. Независимо от него этот способ был предложен Р. Фано. Несколькими годами позже Д. Хаффман предложил еще более эффективный алгоритм кодирования. Эти алгоритмы были первыми важными практическими результатами в первой области исследований, подтвердившими теорему, согласно которой средняя длина кодового слова любого префиксного кода не может быть меньше энтропии источника сообщений.

Важное направление в теории кодирования источника указал А. Н. Колмогоров, введя в 1965 г понятие универсального кодирования, т. е. кодирования источников, статистические характеристики которых заранее неизвестны. Впоследствии Б. М. Фи-тингоф создал универсальные коды, избыточность которых минимальна для целого класса источников. В этом направлении работали отечественные (Б. Я. Рябко, Ю. М. Штарьков и др.) и зарубежные (Р. Галлагер, П. Элайс, Я. Зив и др.) ученые. За рубежом важные результаты были получены Я. Зивом и А. Лемпелем. Их идея словарного алгоритма сжатия впоследствии имела множество версий, в разное время разработанных различными исследователями. Алгоритмы кодирования источника, основанные на этой идее, нашли широкое применение для сжатия текстовых файлов и файлов изображений в компьютерной технике. Достаточно сказать, что эта идея воплощена во всех архиваторах.

Адаптивные алгоритмы, основанные на предварительном измерении параметров статистических моделей, описывающих поведение источников, и на дальнейшем кодировании сообщений с учетом этих параметров, занимают промежуточное положение между универсальными и специально подобранными для определенного источника кодами.

Поскольку большинство источников порождают информацию в аналоговом виде, возникает необходимость ее преобразования в цифровой вид. Для непрерывных источников К. Шеннон ввел очень важное понятие - скорость создания информации при данной точности воспроизведения (в терминологии А. Н. Колмогорова - эпсилон-энтропию), которое позволяет выбирать среди алгоритмов преобразования аналогового сигнала в цифровую форму близкие к оптимальным. При этом важная задача - определение эпсилон-энтропии для источников информации с разными статистическими характеристиками. Учениками А. Н. Колмогорова и зарубежными учеными определена эпсилон-энтропия для стационарных и нестационарных источников.

Кодирование аналоговых источников информации с помощью ИКМ и дифференциальной модуляции (ДМ) было изобретено еще до появления теории информации. Эти методы широко применяются не только в современных системах связи, но и в устройствах памяти для хранения больших объемов аналоговой информации на разных носителях (запись аудио - и видеосигналов). Важные результаты с позиции теории информации получены для эпсилон-энтропии при ИКМ, а также при исследовании помехоустойчивости последней. Дальнейшим развитием ИКМ явились ДМ и дифференциальная ИКМ.

Широкое распространение среди скалярных методов кодирования аналоговых источников информации (в частности, звука и видео) нашел метод кодирования с преобразованием, который оказался достаточно эффективным.

Некоторые из упомянутых алгоритмов кодирования источников широко применяются в системах передачи факсимильных сообщений, в системах звукового и телевизионного вещания, при сокращении избыточности компьютерных файлов и в других областях.

Важнейшей характеристикой канала связи является его пропускная способность. На основе введенного К. Шенноном понятия количества взаимной информации между двумя сообщениями (сигналами) он доказал свою главную теорему, являющуюся фундаментом его теории. Согласно этой теореме по любому каналу связи можно передавать информацию без искажений, если скорость передачи меньше пропускной способности канала связи. Утверждение теоремы явилось сенсацией для инженеров связи, так как они были убеждены, что уменьшить искажения сигналов при передаче через канал связи с шумом можно только увеличением их мощ-

ности или уменьшением скорости передачи информации, повторяя передачу одного и того же сигнала несколько раз. Так, в 30-х гг. XX в. для борьбы с шумом в канале связи при передаче телеграфных сигналов использовалось автоматическое повторение сигналов (французская система Вердена).

Для каналов связи отечественными и зарубежными учеными развивались строгие методы вычисления пропускной способности; получены приближенные, а в ряде случаев точные формулы для пропускной способности в следующих случаях: векторные гауссовские каналы связи, каналы связи с замираниями уровня принимаемого сигнала, асинхронные каналы связи с синхросимволом, безошибочно воспроизводимым на выходе канала (точные формулы); каналы связи с памятью, каналы связи с негауссовским шумом, каналы с выпадением символов и т. д. (асимптотические формулы).

Важным результатом теории информации стало введение показателя надежности связи для различных моделей каналов связи и определение асимптотических формул для него (оценки снизу и сверху). Этот показатель является связующей нитью между теорией информации и теорией потенциальной помехоустойчивости В. А. Котель-никова. Сравнивая показатели надежности оптимального кода и кода, выбранного при проектировании системы связи, можно определить целесообразность применения последнего.

Важным результатом второго направления исследований стало доказательство С. О. Райсом и К. Шенноном факта, что почти любой случайно выбранный достаточно длинный код является идеальным, т. е. обеспечивает максимально возможную помехоустойчивость, при этом с увеличением его длины вероятность ошибки уменьшается по экспоненциальному закону. Основанное на методе максимального правдоподобия оптимальное декодирование таких кодов характеризуется огромной сложностью, что неприемлемо для практики. В связи с этим множество исследований в рамках второго направления теории информации было направлено [3]:

- на построение кодов с регулярной структурой и высокой способностью коррекции ошибки;

- определение потенциальных возможностей коррекции ошибок с помощью кодов с заданной избыточностью;

- разработку алгоритмов декодирования, реализующих потенциальные возможности коррекции ошибок данным кодом, сложность которых

растет с ростом длины кода по степенному, а не по экспоненциальному закону;

- согласование кодов, корректирующих ошибки, видов модуляции и алгоритмов декодирования со статистическими характеристиками каналов связи.

В рамках второго направления исследований были разработаны блочные коды (Р. Хемминг), итеративные коды (П. Элайс), сверточные коды (П. Элайс и др.), циклические коды (Е. Прейндж), коды БЧХ (Р. К. Боуз, Д. К. Рой-Чоудхури, А. Хоквингем), каскадные коды (Д. Форни), тур-бокоды (К. Берроу и др.) и т. д.

Открытые К. Шенноном и доказанные им "на кончике пера" (правда, порой не математически строго) фундаментальные закономерности передачи сообщений по каналам связи дали мощный толчок для дальнейшего развития методов кодирования источника и канала, конспективно рассмотренных в [3], [4]. Выборка лишь особо значимых работ по теории информации за полвека содержит 440 ссылок [4]. Актуальность дальнейшего развития теории информации не уменьшается, так как наступивший век глобальной связи требует не только технологического, но и теоретического обеспечения увеличения пропускной способности каналов связи.

Важным теоретическим направлением развития теории информации К. Шеннона стало укрепление ее фундамента математически строгим доказательством составляющих ее теорем. Не сразу значение работы К. Шеннона для чистой математики было осознано учеными. В дальнейшем за разработку математических аспектов теории информации взялись крупные математики: отечественные ученые А. Н. Колмогоров (с учениками), А. Я. Хинчин, Р. Л. Стратонович и др., а также зарубежные ученые Б. МакМилан, А. Файнстейн, Дж. Вольфовиц и др.

Рассмотренные главные достижения теории информации получены в рамках парадигмы К. Шеннона. Наряду с этим указанная теория стимулировала появление квантовой теории информации [5]-[7], алгоритмической теории информации [2], [8], [9] и доминантной теории информации [10]—[12].

Квантовая теория информации опирается на квантовую механику и изучает общие закономерности передачи, хранения и обработки информации в системах, подчиняющихся законам квантовой механики. Квантовая теория информации использует математический аппарат матричного и операторного анализа, некоммутативной теории вероятностей для исследования потенци-

альных возможностей таких систем. В рамках этой теории изучается фундаментальное понятие квантового канала связи, рассматриваются его энтропийные и информационные характеристики и др.

Алгоритмическая теория информации. Классическая (шенноновская) теория информации измеряет количество информации, заключенной в случайных величинах (процессах). А. Н. Колмогоров предложил измерять количество информации в конечных объектах с помощью теории алгоритмов, определив сложность объекта как минимальную длину программы, порождающей этот объект. Данное определение послужило основой для алгоритмической теории информации. Основные свойства сложности объекта (колмогоров-ской сложности) были исследованы в 70-е гг. XX в. К. П. Шнорр и ученик Колмогорова Л. А. Левин установили связь понятия сложности с алгоритмическим определением случайности, предложенным учеником Колмогорова шведским математиком П. Мартин-Лефом. При этом они ввели понятие монотонной сложности. Левин и позднее Г. Чей-тин ввели понятие префиксной сложности, которое "оказалось не только философски важным, но и технически удобным" [9]. Понятие колмогоровской сложности - одно из базисных понятий теории алгоритмов, имеющее фундаментальное значение.

Доминантная теория информации концентрирует свое внимание на порождении сигнала, что актуально, в частности, для видеоинформатики. Главными допущениями теории К. Шеннона являются отказ от учета смысла и ограничение спектра сигналов. Опираясь на первое допущение, он ввел понятие количества информации, а на второе - доказал упомянутую ранее теорему о неискаженной передаче (при этом предполагается, что спектр сигнала ограничен некоторой частотой). Но какой ценой достигается такая неискаженная передача? Ценой бесконечного увеличения задержки кодируемого и декодируемого сигналов и бесконечного увеличения сложности кодирующего и декодирующего устройств. Таким образом, бесконечные время и сложность тратятся для сведения к нулю лишь части ошибок, так как первоначально ошибка внесена в сигнал при ограничении его спектра некоторой частотой. Не лучше ли оптимально перераспределить ошибку между источником и каналом? Какой должна быть система связи - идеальной или оптимальной? Для ответа на эти вопросы необходимо было понять, что такое информация как таковая? Теория

информации К. Шеннона, дав меру количества информации, не давала ответа на этот вопрос.

Для понимания природы информации важной подсказкой стала мысль А. Н. Колмогорова: «Однако так как "информация" по своей природе не обязана быть (и в действительности не является!) скалярной величиной, то никакие аксиоматические исследования указанного направления не могут ответить на вопрос о том, сколь полно характеризует величина I(£,, т) интересующую нас информацию» [2]. Но как учесть смысл? Идея авторов статьи [12] состояла в том, чтобы расширить рамки применения теории Шеннона не отказом от меры количества информации, а отказом от некоторых допущений. Была предпринята попытка учесть если не смысл, то качество информации.

Опираясь на учение А. А. Ухтомского о доминанте и гештальт-психологию, авторы статьи [12] в качестве выхода из обозначенного А. Н. Колмогоровым "тупика скалярной информации" ввели принцип доминантной информации, согласно которому информация - это триединство цели, качества и количества. При этом качество информации определяется целью системы. Авторами принципа информация разделена на три вида: доступная наблюдателю (получателю) информация, доминантная информация и фоновая (шумовая), причем доминантная информация есть разность между доступной информацией и мешающей информацией о фоне и шуме.

Главным результатом теории доминантной информации стало уравнение связи [10], или информационное уравнение, в левую и правую части ко -торого вошла взаимная информация при соответствующих условиях (ограничениях). В число последних входит формализованное понятие качества информации, которое количественно оценивает насыщенность доступной информации доминантой.

Уравнение связи показывает, что при достижении равновесия (по Нэшу) эпсилон-энтропия источника информации и эпсилон-пропускная способность канала связи сходятся в "седловой" точке и сравниваются.

Приняв за основу взаимную информацию, для систем передачи зашумленных сигналов были сформулированы дополнительные аксиомы [11]:

1. Аксиома априорного равноправия сигналов. Существует взаимная информация между выходным сигналом и любым из компонентов входного воздействия - доминантным сигналом, фоновыми сигналами и шумами.

Получатель имеет дело с доступной информацией, состоящей не только из доминантной информации, но и из информации о входном шуме (шумовой информации). Шумовая информация является взаимной информацией между входным шумом и суммой шумов в выходном коде, доступном получателю. Она равна разности доступной и доминантной информации.

2. Аксиома повышения качества информации. Кодирование и декодирование сигналов (в том числе зашумленных) имеет целью повышение качества доставленной получателю информации о доминантном сигнале.

Из нее следует, что качество информации должно быть оценено количественно с учетом соотношения различных видов взаимной информации в системе передачи зашумленных сигналов. Для этого потребовалось сформулировать дополнительную аксиому информационного риска.

3. Аксиома информационного риска. Информационный риск определяется взвешенной суммой потери информации о доминантном сигнале и прохождения информации об остальных компонентах входного воздействия.

Из нее следует, что оптимизация кодирования зашумленных сигналов должна использовать критерий минимума информационного риска.

4. Аксиома измерения качества информации о зашумленном доминантном сигнале. Качество информации определяется отношением потенциальной доминантной информации к информационному риску.

Решения уравнения связи для непрерывной [10]-[12] и смешанной [13] систем наглядно показали конструктивный характер доминантной теории информации, в частности, благодаря обоснованию финитной полосы частот сигналов не как априорной данности, принятой К. Шенноном и В. А. Котельниковым, а как результата решения оптимизационной задачи. При этом максимум

качества полученной информации достигается при усечении спектра по пороговому отношению "сигнал/шум", которое определяется назначаемым проектировщиком отношением цен потери доминантной информации и шумовой информации.

Формализуя взгляд на теорию семантической информации, в которой главным понятием является образ, в [10] предложена формула для числа образов, в которую входит двойной логарифм, отражающий два вида (этапа) накопления. Первый логарифм описывает накопление энергии стимула и превращение ее в информацию (синтаксическую - буквы, пикселы). Второй логарифм -накопление синтаксической информации и превращение ее в семантическую.

Доминантная теория информации родилась в телевидении, поскольку телекамера, как отмечал еще Р. Хартли, выступает в роли как источника, так и кодера источника. При этом кодирование источника в телекамере реализуется фотоприемником, который сжимает информацию на три-четыре порядка, а кодирование канала производится в процессе развертки. Дополнительные устройства кодирования источника сжимают информацию еще на один-два порядка. Все создатели каналов связи восприняли букву текста К. Шеннона, забыв о духе его идей, поэтому все исследования в данной области были сконцентрированы на передаче заданного сигнала, но телевидение и возникшая на его основе видеоинформатика вывели на передний план проблему порождения сигнала, которую нельзя рассматривать без учета формализованного качества информации.

В заключение можно выразить надежду на то, что мечта Макса Планка о слиянии наук в области информационной техники воплотится в создание новых систем, разработчики которых будут опираться и на теорию Шеннона, и на ее ветви - квантовую, алгоритмическую и доминантную теории информации.

СПИСОК ЛИТЕРАТУРЫ

1. Шеннон К. Работы по теории информации и кибернетике. М.: Изд-во иностр. лит., 1963. 832 с.

2. Колмогоров А. Н. Теория информации и теория алгоритмов. М.: Наука, 1987. 304 с.

3. Быховский М. А. Пионеры информационного века. История развития теории связи. М.: Техносфера, 2006. 376 с.

4. Verdu S. Fifty years Shannon theory // IEEE Trans. on information theory. 1998. Vol. IT-44, № 6. P. 2057-2078.

5. Холево А. С. Введение в квантовую теорию информации / МЦНМО. М., 2002. 128 с.

6. Холево А. С. Квантовые системы, каналы, информация / МЦНМО. М., 2010. 328 с.

7. Валиев К. А., Кокин А. А. Квантовые компьютеры: надежды и реальность. Ижевск: РХД, 2001. 352 с.

8. Успенский В. А., Семенов А. Л. Теория алгоритмов. Основные открытия и приложения. М.: Наука. Гл. ред. физ.-мат. лит., 1987. 288 с.

9. Верещагин Н. К., Успенский В. А., Шень А. Кол-могоровская сложность и алгоритмическая случайность. М.: МЦНМО, 2013. 576 с.

10. Хромов Л. И. Теория информации и теория познания. СПб.: Русское философское общество, 2006. 200 с.

11. Цыцулин А. К. Теория линейного кодирования зашумленных сигналов // Вопр. радиоэлектроники. Сер. Техника телевидения. 2009. Вып. 2. С. 16-40.

12. Хромов Л. И., Цыцулин А. К. Основания космической видеоинформатики // Вопр. радиоэлектроники. Сер. Техника телевидения. 2011. Вып. 1. С. 6-31.

13. Зубакин И. А., Фахми Ш. С., Цыцулин А. К. Решения уравнения связи // Вопросы радиоэлектроники. Сер. Техника телевидения. 2008. Вып. 2. С. 9-27.

I. A. Zubakin

Saint-Petersburg state electrotechnical university "LETI" Main achievements of information theory

The review of the main achievements of information theory of C. Shannon in during sixty five years is given. It is noted that the paradigm of the information theory not only evolutionarily develops, but also generated the new large directions, new paradigms: quantum information theory, algorithmic information theory and dominant information theory. Article is devoted to sixty fifth anniversary of the information theory and to the fiftieth anniversary of the edition of Shannon's "Works on Information and Cybernetics Theory" in Russian.

Entropy, epsilon-entropy, information transfer rate, channel capacity, source coding, channel coding, quantum channel, complexity, principle of dominant information

Статья поступила в редакцию 18 октября 2013 г.

УДК 621.391.2

В. А. Данилов Северо-Кавказский филиал Московского технического университета связи и информатики

Л. В. Данилова

Ростовский государственный университет путей сообщения

Аппроксимация законов распределения огибающей квазигармонического случайного процесса негауссовского типа

Рассмотрена оптимальная аппроксимация заданного распределения вероятностей упрощенным показательным распределением. Исследовано качество аппроксимации при двух членах суммы в показателе.

Оптимальная аппроксимация, распределение огибающей, качество аппроксимации

При решении задач статистической радиотехники, связанных с негауссовскими входными воздействиями, возникает необходимость в вероятностном описании помеховых сигналов простыми аналитическими функциями. Такие задачи возникают, например, при построении приемных устройств, адаптивных к распределению негауссовских помех, воздействующих на вход приемника.

Исчерпывающей характеристикой негауссов-ской помехи с независимыми выборочными значениями является одномерная плотность вероятности (ПВ) щ (х). Помимо этой функции можно также рассматривать связанную с ней характери-

стическую функцию Ql (у) - преобразование Фурье данной ПВ.

Описание помехового сигнала с помощью функций щ (х), 01(у) характерно для негауссов-ского случайного процесса с широкополосным спектром. Если помеховое колебание является узкополосным случайным процессом (УСП), то вместо этих функций целесообразно задавать распределение огибающей W (А), А > 0, связанное с функцией 01 (у) интегральным соотношением вида [1]

W ( Л)

f Q (х) J0 (Лх) xdx,

© Данилов В. А., Данилова Л. В., 2013