Один из способов кодирования информации источника Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 621.372(075)

ОДИН ИЗ СПОСОБОВ КОДИРОВАНИЯ ИНФОРМАЦИИ ИСТОЧНИКА

И. М. Белюченко

Предложен новый способ кодирования информации, позволяющий сокращать ее избыточность.

A new information source coding technique allowing to reduce information redundancy are proposed.

На сегодняшний день существует много способов сокращения избыточности. Одни основаны на управлении параметрами аналого-цифрового и цифро-аналогового преобразований, другие - на специальных преобразованиях (типа Фурье) сигнала на передающем конце, дискретного косинусного преобразования и других с последующей передачей коэффициентов преобразований и восстановлением сигнала при приеме. Тем не менее, считать достигнутым компромисс между избыточностью и надежностью информационного обмена, а также аппаратурной сложностью кодеков (кодеров-декодеров) не приходится, так как слишком многообразны требования и условия информационного обмена. Поэтому практически всегда может найти применение новый способ кодирования информации, который сокращает избыточность и не сложен в реализации.

В данном способе цифровая передача информации от источника основана на дискретизации непрерывных сигналов и квантовании отсчетов. Максимально достижимый период дискретизации Т0 определяется по Котельникову как Т0 = 1/(2^т), где ¥т - верхняя частота спектра сигнала. Однако на практике по разным причинам этот период существенно меньше (нестационарность самого сигнала, требования простоты и универсальности алгоритмов восстановления сигнала при приеме, необходимость выдачи цифрового потока в канал связи с постоянной скоростью и т.д.). В результате последовательные отсчеты сигнала оказываются коррелированны, а сам цифровой поток обладает избыточностью.

Отличительной особенностью последовательности отсчетов непрерывной функции при телеизмерениях является ограниченное число членов условного распределения отсчетов. На практике это число значительно меньше общего числа квантов в шкале.

Другими словами, приращение последующе -го отсчета между последовательными опросами не превосходит определенной величины:

ИФ1Д'<)-Д'ы)И§. т

Можно использовать ограничения на разность 1-го порядка для экономного кодирования источника. При существовании такого ограничения энтропия одного отсчета определяется, в основном, условным распределением {Р .■} :

* ^ "/,/е1,3

I =2

Н=-£ Р £ Р 1о§ Р . (2)

|=1 ИИ

Максимальное значение Н достигается при равномерном условном распределении Нтах = ^2С.

Обозначим первичный алфавит источника А1 {Л}—, где N = 2- число квантов в шкале;

I - число разрядов кода отсчета.

Вводим алфавит вторичного кода

А2 {л, } _, где N > К > С. Отличительной осо-

2 < ] >,=1 ,К бенностью вторичного кода являются:

однозначная нумерация квантов внутри участка шкалы, содержащего К квантов, при этом разрядность нового кода |~1о§2 К], где [ ] - оператор максимального целого сверху;

каждый из участков шкалы N/K должен отличаться своим порядком нумерации квантов;

повторение нумерации участков допускается при определенном удалении их друг от друга на шкале при обязательном отличии нумерации соседних с ними участков;

на границах соседних участков не должно быть одинаковых символов вторичного кода на любой последовательности из С квантов.

Иллюстрация нового способа кодирования приведена на рис.1, где первичный алфавит (А1) содержит N = 20 символов, вторичный (А2) - К = 4 символа при С = 3 (отсчет О, может повторить предыдущее значение 01 или измениться на ±1 квант).

N > K > С, где C - число членов условного распределения отсчетов {Р^ у } = .

_/=1с

Операции В1-кода состоят в следующем:

1. Делим измерительную шкалу на Ъ/К участков, расположенных последовательно на шкале (рис.2). Оцифровка амплитуды отсчетов от 1 до N по числу квантов.

а - кодограмма; б - операц^ «прие^ 3

На рис. 1, а: кодограмма передачи - 1, 4, 3, 2,

2, 4, 4; S(t) - непрерывный сигнал датчика.

Назовем предлагаемый код BI-кодом.

Операции кодирования и декодирования (рис.1, а) происходят следующим образом. Шкала датчика содержит двадцать квантов, порядковый номер каждого из них представляет символ алфавита A1. При четырех символах нового кода шкала ^2 содержит 20/4 = 5 участков, отличающихся нумерацией. На границах участков выполнено условие неповторения символов вторичного кода в последовательностях длиной в три кванта. Например, на границе перврго и второго участков последовательности шкалы в три кванта нумерация такая: 3, 4, 2 и 4, 2, 1 (слева направо).

При дискретизации и квантовании сигнала датчика S(t) получена следующая последовательность отсчетов: 6, 7, 8, 9, 9, 10, 10 в символах алфавита A1 и 1, 4, 3, 2, 2, 4, 4 в символах алфавита ^2, которая передана каналом ^вязи. 2 3 4

При приеме информации (рис.1, б) символ 1 имеется в каждом из участков. Двухсимв^ьное 4 сочетание 1, 4 имеется на трех участках. Трехсимвольное сочетание 1, 4, 3 опознается однозначно.

При рассмотрении алгоритма операций BI-кода, исходными данными будут: измерительная шкала, содержащая N квантов (N < 2Z); l - разрядность двоичного кода; алфавит источника Ai {Л} _jn , имеющий N порядковых номеров

квантов шкалы; вторичный алфавит A2 KL jk , содержащий K символов номеров квантов шкалы

Рис. 2. Вид измерительной шкалы

2. Нумерация квантов каждого из участков в 4 символах алфавит^А2 долЖна о^ичатЬсЯ. Прф-1

дельное число вариантов такой нумерации К!. В 4 случ2Ъ К! <Ъ/К воЗможнЗ повторение р1анее использованной нумерации при соблюдении условия обязательного отличия нумерации на соседних участках.

3. На границах соседних участков не должно быть одинаковых символов алфавита ^2 на любой последовательности из С квантов. Это обеспечивает однозначную нумерацию членов условного

распределения {р,у }=^N в пределах любого

’ }=1ё

стка шкалы, содержащего С квантов (рис. 3).

уча-

12

3

Рис. 3. Один из участков шкалы

4. На основе пп. 1-3 формируется кодовая таблица, которая устанавливает соответствие подмнож^Этв из Ъ/К си8волов£алфавШа А 1о^ но- 12 му из символов алфавита А2. Последовательность отсветов в алфавите Арперек2дируетЪя в сле- 3

довательность символов алфавита А2 и используется при передаче (рис. 4).

(А

Пример 1. Рассмотрим кодирование при N = 20;

К = 4; C = 3.

Кодовая таблица

Символ A1 1,6,11,16,19 2,5,9,14,18 3,8,12,15,20 4,7,10,13,17

Символ А2 1 2 3 4

Последовательность А1 (6, 7, 8, 9, 9, 10, 10) перекодируется в последовательность А2 (1, 4, 3, 2, 2, 4, 4) и производится передача.

Прием информации происходит следующим образом.

1. В соответствии с кодовой таблицей производится перевод последовательности символов А2 в последовательность символов А1.

2. После перевода в символы алфавита А1 проверяется выполнение неравенства (Oi - 0+) < С/2. Для последующего декодирования составляются последовательности символов алфавита А1, для которых выполняются эти неравенства.

3. Операции пп. 1 и 2 повторяются до снятия неоднозначности приема. После этого продолжается однозначный прием и снимается неоднозначность ранее принятых отсчетов в алфавите А1 (на начальном участке).

Пример 2. Рассмотрим процесс декодирования при ограничении на разность 1-го порядка - это простой случай.

Пусть имеется последовательность А2 (1, 4, 3, 2, 2, 4, 4)

Первый такт.

Принят первый символ А2-1. Символы А^ 1, 6, 11, 16, 19 - О1. Второй такт.

Приняты два символа А2-1,4. Символы Ау. 4, 7, 10, 13, 17 - О2 разности |О2 - О^: 3 1 1 3 2 .

Проверка условия: |О2 - О1\ < 1.

Оставлены последовательности А1: 6, 7;10, 11; 16, 17.

Третий такт.

Приняты три символаА2-1,4, 3.СимволыА1: 3, 8, 12, 15, 20- О3

- 7 10 17 -разности |О3 - О2|: 1 2 2 .

Проверка условия: |О3 - О2| < 1.

Оставлена последовательность А1: 6, 7, 8.

Четвертый такт.

Приняты четыре символа А2-1,4,3,2.Символы А{.2, 5, 9, 14, 18-О4.

- - 8 - -разность |О4 - О3|: 1 .

Проверка условия: |О4 - О3| < 1.

Принята однозначная последовательность А1: 6, 7, 8, 9.

Математическое ожидание минимальной длины однозначно опознаваемого ТМ-текста.

Определим минимальную длину текста, допускающего однозначное определение отсчетов измеряемого сигнала - так называемое «расстояние единственности» по Шеннону [1]. Допустим, что при передаче информации равномерно в интервале С появляются последующие символы А2. Шкала содержит 21 квантов. В алфавите А2 1-й символ текста допускает (21/К) -значное соответствие

символам A1, 2-й - в среднем (2l/K)(C/K) -значное, 3-й - (2l/K) (С/К)2-значное,..., q-й символ А2 -(2l/K)(C/K)q-1 - значное соответствие символам A1. Приравняв последнее выражение к единице, получаем следующую формулу:

q = '- ‘0g2C . (3)

’ log 2 К - log 2 C ' '

Величина q представляет собой математическое ожидание минимального числа символов A2, допускающих однозначное опознание последовательности отсчетов в алфавите A1 при приеме. Зависимость может быть интерпретирована следующим образом.

Информация о номере участка, которому принадлежит первый символ кода A2, может быть передана log2(2l/C) дв. ед. Поскольку передается log2K дв. ед. вместо необходимых log2C дв.ед., то этот избыток информации в каждом отсчете, равный (log2K-log2C), идет на покрытие «информационного долга» по номеру участка. Чтобы покрыть этот «долг» полностью, потребуется

log2 (2l / C)

q=-

отсчетов.

1св2 (К / с )

Обычно отрезок текста длиной не меньше q отсчетов допускает однозначное опознание при приеме, поскольку каждый сигнал алфавита А2, помимо необходимой, содержит избыточную информацию.

Приближенная формула (3) позволяет проанализировать основные зависимости исследуемого способа передачи. График q(K) приведен на рис. 5.

При К=С «информационный долг» по первому отсчету не может быть восполнен. При К = 21 каждый отсчет опознается однозначно без привлечения последующих.

Ограничение на разность 1-го порядка С является функцией периода опроса Т0 (рис. 6). Общие очевидные закономерности: при Т0 = 0 С(0)=0, при То^да С( Т0)^21. Функция С(Т0) -монотонная неубывающая.

Для реальных контролируемых процессов, в зависимости от точности измерений, можно рекомендовать К = (4 V 8). При данных значениях К и I =7 получаем, что С = (3 V 5 V 7).

Значения «расстояний единственности» при этом будут следующими:

7 - 1се24

q3,4 =

log2 4 - log2 3

= 12,5;

Рис. 5. График средней величины однозначно опознаваемого текста q(K)

_ 7 - 1оВ28 я 6

q5,8 - ~ 6

q7,8

^ 8 - 1о§2 5

7 - 1о§2 8 1о§2 8 - 1оё27

21.

Рис. 6. Зависимость ограничения на разность 1-го порядка С от периода опроса Т0

Исследование ограничений на разности высших порядков. Допустим, существует ограничение на разность 2-го порядка

|Д0 ) -АО +1)| < —-.

(4)

В этом случае энтропия ТМ-текста из N отсчетов определяется равенством

Ы ,_21 у _21

Н _-^ р 1о§2 р - X Р. X р ’0§2 Ру -

,_1 ,_1 у _1

, _21 у _21

-(N - 2)Х Р X Р X '0^2 Рм . (5)

м у_1

При Т0/Т >> 1 полагаем

!’_-Х р X Р X Р? 1о^2 Рт .

(6)

._1 у_1

1-у|<

с2

При использовании алфавита А2 из К символов (К > С2) в сообщениях будет содержаться информация о предыдущих отсчетах. Тогда для компенсации «информационного долга» о первых двух отсчетах (21 - 1о§2— - ^2С2) дв. ед. потребуется текст, содержащий q2 сигналов алфавита А2:

21 - 1о§2 С1 - 1оВ2 С2

q2

1о§2 К

1о§2 С2

(7)

Текстовое сообщение, содержащее в среднем q2 отсчетов, декодируется при приеме однозначно.

Если имеются ограничения на разности ^го порядка, минимальное из которых С^.

С

\/(г,) - / (/,_,) < -,

I)

ь'т-&яи)

(8)

(N)

С

N

то при ТУТ » п существует принципиальная возможность передавать последовательность отсчетов измеряемого сигнала Д/% при использовании \0g2K дв. ед. на один отсчет, где К>Сы. При этом каждый отрезок текста, содержащий в среднем qn отсчетов, представляет «расстояние единственности» и декодируется при приеме однозначно.

Ограничения на разности меньшего чем п порядка уменьшают «расстояние единственности». «Информационный долг» по первому отсчету 1og2K/CN и т.д.

Средняя оценка «расстояния единственности» qn определяется выражением

qn _

----. (9)

1о§2 К - 1оВ2 Сп

Пример 3. Рассмотрим более сложный случай, чем в примере 2. Построим шкалу при ограничениях на разность 2-го порядка С2 = 5 и разность 1-го порядка С1 = 7. Произведем «передачу» и «прием». Выбираем размер вторичного алфавита А2: К =2|1о§25|= 8. Процесс «передачи» (плавная линия) и «приема» (ломаная линия) изображен на рис. 7.

Первый такт.

Символу А2 соответствуют символы А \ -

7,15,23,32,40.

Второй такт.

-+

комг

Последовательности символов А2 - 7,3 соответствуют последовательности символов А1 - 15,18; 32,30;

32,34, удовлетворяющие условию | А11< 3.

Третий такт.

Последовательности символов А2 - 7,3,4 соответствуют последовательности символов А1 - 15,18,20;

32,34,37, удовлетворяющие условиям | А11< 3 и

|А? |<2.

Четвертый такт.

Последовательности символов А2 - 7,3,4,8 соответствует последовательность символов А1-

15,18,20,21, удовлетворяющая условиям | А11< 3 и

| А2 |< 2 . Последовательность 32,34,37,35 не удовлетворяет условию

| А2 |< 2 : (0+2 - 20,+1 + О,) = |35-2-37+32| = 5. После четвертого такта производится однозначный прием.

Для В1-кода с параметрами [I = 5,34^ =34),К=8, С1= 7, С2=5] оценка «расстояния единственности» q2= 7,8 отсчетов.

Передается текст сигналов А2: 7,3,4,8,8,7,4,4,2. При «приеме» производится селекция последовательностей, у которых разность 1-го порядка не больше ±3 и разность 2-го порядка не больше ±2. Алгоритм оценки определяется соотношениями

|А11_| О,+1 - О, |< 3,

\АІ |_| 0,+2 - 20,+1 + О, |< 2.

Оценка производится по значениям отсчетов в символах А1.

Следует отметить, что формула (9) получена в предположении равномерных условных распределений вида 0Н и 0Ип и является пессимистической.

у УЧ

Индексация В1- кодов. В1-коды различаются порядком используемых ограничений п, их величиной Сп, размерами алфавита А2-К. На размер шкалы измерений (размер алфавита А1) ограничений нет.

В общем виде индексация представляется как В1-(п, К, Сп)

Пример 4. Произведем индексацию кодов.

1. Код В1-(1,4,3). Ограничена разность 1-го порядка; размер алфавита А2 - 4...2 дв. ед. на символ А2, С1 = 3 кванта, (0,+1 - О,) < 1 - условие ограничения.

2. Код В1-(2,8,5). Ограничена разность 2-го порядка; размер алфавита А2 - 8.3 дв. ед. на символ А2, С2 = 5 квантов, |0,- - 20,+1 +0,+2| < 2 - условие ограничения.

Ниже приводятся проверочные уравнения В1-кода для ограничений различного порядка:

1) код В1-1 -

|А1 |_| 0+1 - О, |< С-;

2) код В1-2 -

|А? |_|0,+ 2 - 20,+1 + О, |< С2,

|А ,|< Ь,

| А,+1|<С-, С2 < С1;

3) код В1-3 -

|А3 |_| 0,+3 - 30,+2 + 30,+1 - О, |< С3,

|а2+1|< %;

|а? |<С2, С3 <с2,

|а1+2 |< —■;

|А1 +1< |;

| а1 |< С1, С3 < С1; и т.д.

Рис. 7. Пример «передачи» и «приема» В1-кода (2,8,5)

С ростом порядка кода существенно возрастает объем вычислительных операций при декодировании. Кроме того, большинство локальных физических процессов описываются дифференциальными уравнениями 1-го, 2-го порядка (ограничены скорость и/или ускорение). Поэтому ожидать применение В1-кода, использующего ограничения выше 2-го порядка, маловероятно.

Предложенный способ кодирования информации источников измерительной информации основан на кодировании последовательности коррелированных отсчетов. Он использует естественные ограничения на производные физических процессов, которые для цифровых измерений представляются ограничениями на разности соответствующих порядков. Способ сравнительно прост в реализации и позволяет в несколько раз сократить избыточность измерительной информации.

ЛИТЕРАТУРА

1. Шеннон К. Теория связи в секретных системах //. «Работы по теории информации и кибернетике». -М:. ИЛ, 1963.

2. Шеннон К. Математическая теория связи //. «Работы по теории информации и кибернетике». -М:. ИЛ, 1963.

3. Хэмминг Р. Теория кодирования и теория информации. -М:. Радио и связь, 1983.

4. Белюченко И.М., Безруков А.А. Способ непрерывного импульсного преобразования. -А.с. 85972, 1975.

5. Белюченко И.М. Преобразователь цифра-аналог. -А.с.163534, 1981.

Поступила 02. 04. 2006