Слабоуниверсальное равномерное по выходу кодирование дискретных стационарных источников*) Текст научной статьи по специальности «Математика»

УДК 621.391.15

Слабоуниверсальное равномерное по выходу кодирование дискретных стационарных источников*-1

В.К. Трофимов

Доказано существование слабоуниверсального равномерного по выходу кодирования для множества всех стационарных дискретных источников. Получены необходимые и достаточные условия существования универсального равномерного по выходу кодирования множества стационарных дискретных источников.

Ключевые слова: энтропия, кодирование, избыточность, стоимость кодирования, источник сообщений.

1. Основные определения. Постановка задачи

Из-за возрастающего потока и объёма информации большое значение имеет проблема сжатия (кодирования) информации [1]. Решение этих проблем значимо и при создании большемасштабных распределённых вычислительных систем [2]. Методы сжатия информации в таких системах, как правило, используют параллельные информационновычислительные технологии.

Настоящая работа посвящена кодированию информации, порождённой источником, в её классической форме, предложенной К. Шенноном [1]. Для постановки задачи и формулировки основных утверждений приведём основные определения и обозначения.

Пусть буквы конечного алфавита А = {а1,а2,...,ак}, 2 < к < , порождаются источником

в. Мера, заданная на последовательности букв, порождаемой источником, определяет тип источника. Если вероятности порождения букв независимы, то источник называют бернул-

лиевским. В этом случае Рв( а -) = в-, в1 + в2 +... + вк = 1. Если же вероятность появления оче-

к

а/а- ) = в, Ев = ^ 1 =1 к, и

¿=1

источник называют марковским. Если вероятность появления очередной буквы зависит от 5 предшествующих букв, т.е. Рв (а- /у) = ву-, где V е А5 , то источник в называют марковским

с памятью 5 . Следует отметить, что для любого слова V е А5 , 0 < 5 < ^ , выполняется равен-

к

ство Ев = 1. Множество всех марковских источников с памятью 5 обозначим П 5. Дис-

М

кретный стационарный источник в задаётся всеми условными распределениями вероятностей Рв(а-¡У) = вУ1 порождения источником букв а-, - = 1,к , при заданных V предшест-

к ___

редной буквы зависит от предыдущей, то Рв(аі/а]') = ву, Е^в = 1’ і = 1,К, и в этом случае

*) Работа выполнена при поддержке Российского фонда фундаментальных исследований (грант № 09-07-00095-а) и Совета по грантам Президента РФ (ведущая научная школа № НШ-2121.2008.9)

вующих, v Е As, s любое целое неотрицательное число. Здесь, как и выше, при любом заданном v, v Е As выполняется равенство:

k

Y0vj = 1; s = 0,1,2,...

j=i

Множество всех стационарных источников обозначим .

Если и - произвольное слово в алфавите A , то через Pß (и) обозначим вероятность слова и , порождённого источником ß. Число |и| букв в слове и назовём его длиной. Энтропию

источника ß обозначим H(ß). Как известно [3, 4], если ß - стационарный источник, то

1

H(ß) = -lim - X Pß (и) log Рв(и). (1)

П иеАп

Здесь и в дальнейшем log x = log2 x, 0log 0 = 0 .

Для бернуллиевского источника ß его энтропия H0(ß) определяется равенством

H„(ß) = ~Xß logß . (2)

i=1

Если ß - марковский источник с памятью s , то его энтропия Hs (ß) находится по формуле

H,(ß) = -X ßv Xß logß ■ (3)

veAs i=1

где ß0v - начальные стационарные вероятности слов v, v Е As. При s = 0 из (3) получаем соотношение (1). Если ß - произвольный стационарный дискретный источник и H (ß) - его энтропия, то справедливо равенство [2, 3]

H (ß) = lim Hs (ß). (4)

Рассмотрим Т - конечное полное множество слов во входном алфавите. Множество Т -полное, если оно префиксное и при любом непустом слове и (в алфавите A ) множество слов T и и уже не префиксное. Множество Т назовём кодовым. Примером кодового множества может служить множество всех слов длины n взятых в алфавите A, т.е. An ; множество An \ a1,..., ak , не является кодовым, потому что оно не полное.

'----V---'

n

Пусть ß - произвольный источник из Пs, Т - произвольное кодовое множество. Обозначим через ß(T) марковскую цепь, состояниями которой являются слова из Т, а переходные вероятности Pß(T)(и/v), и, ve T, индуцируются источником ß. Будем рассматривать только марковские источники с памятью s, переходные вероятности которых строго положительны. Тогда для любых u,ve T выполняются неравенства PffCT)(и/v) > 0, поэтому

для марковской цепи ß(T) существует стационарное распределение Pß^ (и) > 0, и е T .

Средняя длина слова d(T,ß) для множества Т , как доказано в [5], равна

d (T ß) = X Pt)(u)| u|. (5)

ueT

В этой же работе доказаны тождества Вальда, которые имеют вид

X Pß0T, (и) • Г (и) = (d(T, ß) - s + 1)ß0v, (6)

ueT

X P,0t,(u) • r,v(U) = (d(Tß) - s)ß0,,ß„ , (7)

ueT

где rv (u), rVi (u) - число вхождений блоков v, vat, v e As , в слово u , соответственно, s = max (s,1)

2. Полубесконечная последовательность букв, порождаемая источником в, однозначно разбивается на последовательность слов из фиксированного кодового множества Т. Полученная последовательность слов из Т с помощью отображения р переводится в слова выходного алфавита В, который, не уменьшая общности, можно считать двоичным. Из неравенства Мак-Милана - Крафта [3, 4] следует, что самое общее из всех возможных дешифрируемых кодирований р такое, что множество слов в выходном алфавите p(T) = {p(u), u e T} является префиксным. Если длины всех слов некоторого множества D равны между собой, то говорят, что D состоит из блоков; в противном случае - из слов переменной длины. В зависимости от видов множества Т и p(T) логически возможны следующие виды кодирований:

1) кодирование, отображающее блоки в слова переменной длины (обозначается BV );

2) кодирование, отображающее слова переменной длины в блоки (обозначается VB );

3) кодирование, отображающее слова переменной длины в слова переменной длины (обозначается VV);

4) кодирование, отображающее блоки в слова переменной длины (обозначается BB).

Итак, всякое кодирование р однозначно определяется тройкой (T, р, p(T)). Среднее

число букв выходного алфавита при кодировании типа О, О = BV, VB, VV , приходящихся на одну букву входного, назовём стоимостью кодирования и обозначим через Ca(T, в,р). В [5] доказано, что стоимость кодирования типа О, О = BV, VB, VV , для произвольного кодового множества Т и любого источника в, ве О.s, 0 < s < ^, определяется равенством

Эффективность кодирования р как обычно [1, 3, 4] будем оценивать разностью между стоимостью кодирования CС(T, в, р) и энтропией источника H(в). Эта разность в дальнейшем называется избыточностью кодирования и обозначается гс ^, в, р), т.е.

Избыточностью универсального кодирования типа С для множества источников П и с заданной сложностью N назовём величину Ra(N, П)

Здесь нижняя грань берётся по всем кодированиям р, для которых кодовое множество

T имеет не более чем ^ слов. Построение хорошего кодирования при заданной сложности -основной вопрос при изучении передачи сообщений по каналу без шума. Решение поставленной задачи позволяет ответить на вопрос: «Какой избыточности можно достигнуть при заданной сложности кодирования?»

Если множество источников П состоит из единственного источника, то мы имеем дело с кодированием известного источника, которое подробно изучено для различных типов кодирования, например, в работах [1, 3, 6-12]. Универсальное кодирование марковских источников различных типов также хорошо изучено. Подробную библиографию по этому вопросу можно найти в [13, 16]. Особо отметим работу В.Ф. Бабкина, Ю.М. Штарькова [14], в которой изучалось BV кодирование для стационарных источников. В частности,

(8)

Го (T, в, р) = Co(T, в,р)-H (в).

(9)

R0(N, О) = inf sup r0(T, в, р).

(10)

р веО

в этой работе было доказано, что существует последовательность БУ кодирований р!^ такая, что для любого стационарного источника в избыточность кодирования гБУ (Лк, в, рк) стремится к нулю. В тоже время легко показать, что это стремление к нулю не является равномерным по в, более того при N ^<х> избыточность универсального кодирования множества всех стационарных источников Ябу (N, П^) стремится к бесконечности. Вопрос о равномерной сходимости гБУ (ЛN, в, р1Я) в [14] не исследовался. Кодирование, построенное в [14], получило название слабоуниверсальное кодирование. При построении слабоуниверсального БУ кодирования основная сложность состоит в определении отображения р^,, так как область определения при таком кодировании определена - это множество всех слов длины N в алфавите Л. При построении кодирования типа УБ основная трудность состоит в конструировании области определения кодирования PN, т.е. в определении кодового множества ТN .

В настоящей работе предложен метод универсального равномерного по выходу кодирования для множества марковских источников связанности 5 , получена верхняя оценка избыточности, которая примерно в два раза лучше оценки автора [15]. Доказано существование слабоуниверсального кодирования типа БУ для множества всех стационарных дискретных источников и сформулированы необходимые и достаточные условия существования универсального кодирования для произвольного множества источников О, П е Пт.

2. Равномерное по выходу кодирование марковских источников

В этом параграфе будет предложен метод кодирования марковских источников с памятью 5, получена оценка избыточности предложенного метода и доказана его универсальность. При доказательстве основного утверждения параграфа нам потребуются следующие понятия и обозначения. Марковский источник в связанности 5 задаётся начальным распределением вероятностей воУ появления блока V за первые 5 шагов работы источника и вероятностями вщ появления буквы аг- после блока V , аг- е А , V е Л5 . Отсюда следует, что вероятность Рв(и) порождения слова и , |и| > 5 , начинающегося блоком V, V е А5, источником в определяется равенством

На множестве источников П5 определим КТ - распределение £У(в) [13], которое задаётся формулой

уеЛ5 1=1

(11)

к

(12)

Проинтегрировав вероятность слова и, порождённого источником в, по множеству источников П5 , если на П5 задана плотность (0(в), получим [13]:

Ps (и) =

III

к

кп2

ks

ПГ [ г„ (и) +1 П ----. (13)

гГ,(и) + 2

где Г(z) - гамма-функция от z . Используя для функции Г(z) формулу Стирлинга в виде

log Г( z) = logV2n + ^ z - log ^ z - 2 ] - z log e + c (z) log e, (14)

1 1 где постоянная c(z) удовлетворяет неравенствам ^log(e -1) — c(z)loge —^loge , из (13) по-

лучаем

-logPs(u) = X rv(u)Fs(u) + -^-21X logrv(u) + c . (15)

veAs 2 veAs

Здесь Fs (u) - квазиэнтропия u , определяемая равенством

F(u)=- X XvN>°gvrr.

ve As|ul - si=1 rv(u) rv(u)

Сформулируем и докажем основное утверждение параграфа.

Теорема 1. Для любого фиксированного s, 0 — s <, существует последовательность кодирований pN типа VB, для которых избыточность кодирования rVB (Тм ,0,pN) при

любом источнике в, в е Q s, удовлетворяет неравенству

r (p вТ ) — k (k -!) + 2 logd (Tn,0) + c

rVB (PN, в, TN ) —

2 ds (Т„ .в)

где постоянная с не зависит ни от в, ни от Тм.

Доказательство. Как уже отмечалось ранее, каждое кодирование определяется тройкой (Т, р, р(Т)), где Т - область определения Т, р(Т) - область значений отображения р. Для равномерного по выходу кодирования область значения отображения р опреде-

Г” 1 ІІТІІ ~~I

ляется достаточно просто. В этом случае р(Т) = В1 1, где |~х\ - наименьшее целое, боль-

шее или равное х, ||Т|| - мощность множества Т. Таким образом, при построении равномерных по выходу кодирований вся сложность заключается в построении кодовых множеств Тм, N = 1, 2,....

Зафиксируем произвольное натуральное N, в кодовое множество ТN включим все слова и , для которых выполняется неравенство

< к1* (16)

Р, (и)

и в тоже время существует буква а^, а^ е Л, такая, что для конкатенации слова и и а^ выполняется неравенство

1

Fs (ииі)

> kN . (17)

Совершенно очевидно, что построенное таким образом кодовое множество TN является конечным, полным, префиксным множеством слов во входном алфавите, т.е. TN - кодовое множество. При равномерном по выходу кодировании каждому слову u ставится в соответствие слово PN (u) , u е TN , длины ["log|TN||"I, т.е. при любом u е TN выполняется равенство

\Pn (u)| = PM\TJ] . (18)

Оценим избыточность предложенного метода кодирования. Из определения избыточности (9) и из (18) имеем

%(Т„,в,9„)= (Т°Єв^"■! +, -Н(в). (19)

ds (ТN . в)-S + 1

Кодирование (ры - дешифруемое, поэтому величина гУБ (Тм,фм,в) неотрицательна. Найдём верхнюю оценку этой величины. Из соотношения (16) следует, что при любом и, и е Тм , справедливо неравенство

Fs(и) - ~Гм •

Просуммировав последнее неравенство по всем словам и из Тм и учитывая, что в силу полноты ТК выполняется равенство X Ря (и) = 1, получим:

s 4

иєТ n

kN - ||Tn|| . (20)

Из (19) с учётом (20) и (17) следует

Е С. ) (u)i°g TnI 1

rVB (ТN ,в,Ф. ) < —-------------;-;---------H (в) +—;---- <

ds (Tn. в) ' 1 ds (Tn,в)

Е вт.)(u)!°gkN

< ^-------------Г----------H (в)+--;------------------------------------T < (21)

ds (Т. в) ' ' ds (Т.. в)

- Е Рв(ТN) (u)l°g Ps (uaj ) 1

<^1.-------- ------ -----------H (в) +

й, Т ,в) й, Т ,в)

Из определения средней вероятности Р, (иа]) слова иа] по множеству источников ^,,

свойств гамма функции и (13) для слова и, заканчивающегося блоком V, справедливо равенство:

— — гч (и) +3

Р, (иа і) = Р, (и)-------^

v

Отсюда следует, что

- log Ps (uUj ) = - log Ps (и) + log

rv (uaj ) + :

rvj(u)+2

Так как для любого слова и, и е Тк , всегда выполняется неравенство

к-)+2,, к

-----2—u - s + —,

1 1 2

3

rvj(u)+2

то из (22) вытекает соотношение

— I

log Ps (иа]) — - log Ps (и) + log I \u\-s + — |.

к

2

Отсюда и из (21) получаем

■VB (TN ,0PN ) —

X p0(tn ) (и)log Ps(u) X p0(tn )(и )log Iu - s+21+1

-----H (0) +

ueT

к

ds (Tn , 0)

ds (Tn , 0)

(22)

Значение log Ps (u) определяется равенством (15), учитывая которое последнее неравенство можно переписать в виде

X X Рот,)<»r,(u)Fs (“)

b (T, ,0,Р,)— ’"a'“Tn к -1

d, (T, -0)

Н (0) +

~T~ XX Р0т,)(и )log ra(u) + c X P0(T,) (и )log I И - s + 2

+ 2 veAs ueTN______________________________+ ueTN V 2

ds (T,, 0)

(23)

Из определения квазиэнтропии Fs (u) неравенства Иенсена для функции - х log х, тождеств Вальда (6), (7) и определения величины d (TN, 0), см. (5), получаем

XX Р0т,)(") rv(u)F, (u)

ds (T, ,0)

Н (0) — 0

(24)

Из неравенств Иенсена для функции log х, тождеств Вальда (6), (7) и равенства (5) заключаем, что

X P0(TN) log(l и\- s ) — log ( ds (ТN ,0)- s )

(25)

Так как, по определению, ra(u) — \u\-s, то, используя (25), имеем

X Р°(Т N) log rv( u )— X P0(TN) log (I u\ - s ) — log ( ds (TN ,0)- s ) . (26)

2

Из (23) и соотношений (24), (25), (26) окончательно вытекает

r (Т 0 П )— ks(к-1) logd(TN,0) . logd(тN,0) + с

rvB(тN-O.Vn ■-Щ0Г + d {TN ,0) •

где с не зависит от 0. Теорема доказана.

Из доказанной теоремы следует, что для множества Q s марковских источников с памятью s , 0 — s <ж, существует универсальное равномерное по выходу кодирование. В самом деле, пусть

ds (Tn ЬШЧ (Т, ,0).

Тогда справедливо следующее утверждение.

Следствие. Для избыточности Rvb (N, Q s) универсального равномерного по выходу кодирования с заданной сложностью N справедлива оценка

R i , Q \ — к (к -1) + 2 log ds (Tn ) , с

Rvb (N^Qs) —-----;-------, lT ч + ч ^ (27)

2 ds (TN ) ds (TN )

где с не зависит от 0, т.е. существует универсальное равномерное по выходу кодирование для множества источников Qs.

Доказательство. Утверждение следствия вытекает непосредственно из теоремы. Согласно определению величин Rvb (N,Qs) и r(TN,0,ф,), имеем

Rvb (N^Qs) — sup r(T,,0,Ф,) • (28)

0eQs V '

По построению кодовое множество TN содержит не более кч кодовых слов. Учитывая,

что при х, стремящемся к бесконечности, функция log х является убывающей, из неравен-

х

ства (28) и теоремы 1 вытекает справедливость оценки (27). Правая часть (27) не зависит от 0 и с ростом N стремится к нулю, потому что

ds (ТN) > u(N) = min u ,

ueT N

а u ( N ) стремится к бесконечности с ростом N. Таким образом, доказано, что избыточность Rvb (N,Qs) универсально равномерного по выходу кодирования стремится к нулю, т.е. для множества источников Qs существует универсальное кодирование.

Следствие доказано.

3. Кодирование типа VB для стационарных источников

В этом параграфе будут доказаны основные утверждения работы. Имеет место утверждение.

Теорема 2. Для множества всех стационарных источников Qx существует слабоуниверсальное равномерное по выходу кодирование.

Доказательство. Каждый стационарный источник 0, 0e , задается условными

вероятностными распределениями 0s(ai^), ai e A , ve As , s = 0,1, 2,... появления буквы ai после блока v. Таким образом, каждый стационарный источник 0 определяет последова-

тельность марковских источников Qs, s = 0,1, 2,..., при s, стремящемся к бесконечности, энтропия Н (ßs) источника ds не возрастая сходится к энтропии Н (в) источника в, точнее, справедливы соотношения:

Н (во )> H (в )> Н в )>... > Н в )> Н в+1 )>...,

(29)

lim H (ва) = H (в).

s——^

Для любого фиксированного s, 0 < s < ^, определена стоимость кодирования

Суд (Т,в,ф) (см. (8)). Покажем, что стоимость кодирования С(TSN ,в,ф*) для кодирования

типа УВ, предложенного ранее, при N и s, стремящимися к бесконечности, существует и равна энтропии источника Н (в). Для этого нам нужно установить, что избыточность кодирования гУВ (TSN, в, (psN) для стационарного источника в, ве , стремится к нулю с ростом N и s.

Согласно определению (19) имеем

Г 1 Г$

•Л)

УБ(т. ,0,qfN ) =--------l0g ТN|1-----------Н (в)

V n ’ ds (TN ,es) - s +1

(30)

или

Vb (tN ,в, ):

d. (TN в) - s +1

- H (в)

+[ H (в)-H (в)].

(31)

В равенстве (31) первое слагаемое в правой части, согласно следствию из предыдущего параграфа, ограничено асимптотически сверху величиной

к (к -1) + 2 log ds (Т,)

2 ds (П) ' (32)

Из соотношений (29) и (32) следует, что с ростом s второе слагаемое также стремится к нулю. Если выбрать

. = о (tog d. (ТN)- tog tog us (TN)).

то первое и второе слагаемые правой части равенства (31) стремятся к нулю одновременно с ростом N . Тогда из (30) вытекает, что

Ит Гуд (TN,в^ ) = ^

N —<х ' '

т- е- Нт с (ТN Д ^ ) = Н (в).

N ——^

Теорема доказана.

Из теоремы 2 следует, что существует кодирование, при котором для любого фиксированного источника в из его избыточность стремится к нулю. Однако это стремление не является равномерным по множеству источников . Как доказано в теореме 1 и её

следствии, для множества марковских источников П , с памятью 5 стремление к нулю избыточности является равномерным по П,. Нижеследующее утверждение даёт ответ на вопрос о равномерной сходимости к нулю избыточности для произвольного множества источников П с , т.е. о существовании универсального равномерного по выходу кодирования

для подмножества множества источников .

Теорема 3. Для существования универсального равномерного по выходу кодирования для множества источников П необходимо и достаточно, чтобы при ,, стремящемся к бесконечности, энтропия Н (в,) сходилась равномерно по в, ве П к энтропии Н (в).

Доказательство. Необходимость. Пусть Н(в,) сходится равномерно по 9 к Н (в) на множестве П, при я — ж. Согласно определению, для любой последовательности кодовых множеств {Т5}, N = 1,2,..., 0 < я < ж, справедливо равенство

г (т N ,в,л ) = ^ (тя ,в, )+н (в,)-н (в).

Так как г (Т^, 9,, ФN) ^ 0 , то из последнего равенства имеем

н(в,)-Н(в)< г(ТN,9,й, ) = г(ТN,в,) + Н(в,)-Н(в). (33)

В качестве Т^ возьмём кодовые множества, построенные при доказательстве теоремы 1. Согласно следствию, из (27) и (33) имеем:

г,д,Ф,)< ^^+Н(в)-Н<в>' (34)

По условию теоремы, существует ,0, такое, чтобы для всех ве П, при , > ,0 выполнялось

неравенство

£

0 < Н(в,)-Н(в)< 2. (35)

(*'-»-1) + 2^„ (та )+с

Величина ---------------г-------- не зависит от в и при N — ж стремится к нулю,

2^ (Т№)

£

следовательно, существует N0 такое, что при N > N0 эта величина меньше Таким образом, при сделанных предположениях избыточность г (т*[^ ,в,фN) стремится к нулю равномерно относительно множества источников П.

Достаточность. Если Н (в,)- Н (в) не стремится к нулю равномерно по множеству П, то из (32), точнее, из нижней оценки (33), следует, что для любой последовательности кодовых множеств ТО, избыточность г(тN ,в,фN) не стремится к нулю равномерно по множеству П .

Теорема доказана.

Литература

1. Шеннон К. Математическая теория связи. Работы по теории информации и кибернетике. - М.: ИЛ., 1969. - С.243-332.

2. Хорошевский В.Г. Архитектура вычислительных систем. - М.: МГТУ им. Н.Э. Баумана, 2005.

3. Фано Р. Передача информации. Статистическая теория связи. - М.: Мир, 1965. - 440 С.

4. Галлагер Р. Теория информации и надёжная связь. - М.: Сов.радио, 1974. - 720 C.

5. Могульский А.А., Трофимов В.К. Тождество Вальда и стоимость кодирования для цепей Маркова // VII Всесоюзная конференция по теории кодирования и передачи информации. Доклады // Теория информации. - Москва-Вильнюс. 1978. - ч.1. - C.112-116.

6. Кричевский Р.Е. Связь между избыточностью кодирования и достоверностью сведений об источнике // Пробл. передачи информ. - 1968. - Т.4. №3. - С.48-57.

7. Гильберт Э.Н., Мур Э.Ф. Двоичные кодовые системы переменной длины // Кибернетический сборник. - М.: ИЛ, № 3, 1961. - C. 103-141.

8. Ходак Г.Л. Оценки избыточности при пословном кодировании сообщений, порождаемых бернуллиевским источником // Пробл. передачи информ. - 1972. - Т.8. № 2. - С.21-32.

9. КИоёак G.L. ^ding оГ Markov Sources With Low Redundancy // Proc. of 2nd International Бутр. On Inform. Theory Tsahkadzor, Armenia. USSR, 1971, Akademiai Kiado. Budapest. -1973. - p.201-204.

10. Jelinek F., Shneider K. On Variable-Length to Block Coding // IEEE Trans. Inform. Theory. -1972. - v.18, no.6. р. 756-774.

11. Трофимов В.К. Эффективное кодирование блоками слов различной длины, порождённых известным марковским источником // Обработка информации в системах связи. -Л.:ЛЭИС, 1985. - С.9-15.

12. Ziv J. Variable-to-Fixed Length Codes are Better than Fixed-to-Variable Length ^des for Marcov Sources // IEEE Trans. Inform. Theory. - 1990. - v.36, no.4. - р. 861-863.

13. Krichevskii R.E., Trofimov V.K. The Performace of Universal Encoding // IEEE Trans. on Inform. Theory. - 1981. - v. IT-27, no. 2. - p.199-207.

14. Shtarkov Yu.M., Babkin V.F. Combinatorial Encoding for Discrete Stationary Sources // In 2nd Internat. Sуmр. On Inform. Theory Tsahkadzor, Armenia. USSR, 1971, Akademiai Kiado. Budapest. -1973. - p.249-256.

15. Трофимов В.К. Равномерное по выходу кодирование марковских источников при неизвестной статистике // Пятый международный симпозиум по теории информации. Доклады. Москва - Тбилиси, 1979. - ч.П. - C.172-175.

16. Krichevsky R. Universal Compression and Retrieval. - Dordrecht/Boston/London: 1994. - 219 p.

Статья поступила в редакцию 15.05.2010;

Трофимов Виктор Куприянович

Профессор, доктор технических наук, декан факультета информатики и вычислительной техники, заведующий Кафедрой высшей математики Сибирского государственного университета телекоммуникаций и информатики. Область научных исследований - теория информации, кодирование информации, порождаемой дискретным источником, оценка сложности кодирования.

Тел.&факс: (383)269-82-70; e-mail: trofimov@sibsutis.ru

Weaklyuniversal variable-to-fixed length codes of stationary sources. V.K. Trofimov

Weaklyuniversal VB coding is proved to be for stationary sources set. Necessary and sufficient

conditions of existing universal VB coding of stationary sources set owe obtained.

Keywords: entropy, coding, redundancy, capacity, source.