CC BY
3УДК 123.456.789
Оценка избыточности универсального кодирования произвольного множества источников без памяти
В. К. Трофимов
Получена нижняя оценка избыточности универсального кодирования произвольного множества источников без памяти, совпадающая по порядку убывания с верхней оценкой, полученной автором ранее.
Ключевые слова: кодирование, избыточность, энтропия, хранение и обработка информации, источник сообщений.
1. Введение
В настоящей работе рассматривается вопрос о кодировании блоков, порожденных источником без памяти, словами различной длины в том случае, когда источник не известен, но известно множество, которому он принадлежит.
Если источник полностью известен, то данный вопрос решен в [2, 3], если же источник полностью не известен, то оптимальное кодирование предложено в [4, 5]. При этом скорость убывания избыточности в первом случае равна q / n, во втором - (c2log n) / n, где n - длина кодированного блока, q, С2 - постоянные, не зависящие от n .
В [1] автором предложен метод универсального кодирования, который зависит от массивности множества источников, определяемой 8 -энтропией этого множества. Как было показано в [1], в зависимости от массивности заданного множества источников скорость убывания избыточности изменяется в пределах от q / n до (c2 log n) / n .
Целью настоящей работы является получение нижней оценки скорости убывания избыточности, совпадающей с верхней оценкой из [1], и установление факта, является ли предложенное в [1] кодирование асимптотически оптимальным.
2. Основные определения
В данной работе мы будем использовать определения и обозначения, введенные в работе [1]. Напомним кратко основные из них. Как и прежде, буквы конечного входного алфавита A = {^1,^2,...,a-k} , 2 < к порождаются бернуллиевским источником, т.е. источником без
памяти, с вероятностями P© (a-i) = 0/, i = 1, к , 01 +02 + ...©к = 1.
Таким образом, источник 0 однозначно определяется числами ©i, i = 1, к , сумма которых равна единице. Верно и обратное утверждение. Как обычно, An - множество всех слов (блоков) длины n в алфавите A. В этом случае произвольная полубесконечная последовательность букв алфавита A , порождаемая источником 0 , однозначно разбиваются на слова (блоки) длины n.
Каждое из слов u, u е Ап с помощью отображения ф отображается в слово ф( u) конечного выходного алфавита В. Не уменьшая общности, можно считать, что B = |0,1} . Мы берем только такие изображения ф, чтобы ф(Ап) = |ф(и),u е An} являлось префиксным, т.е.
рассматриваются только дешифруемые кодирования [6]. Стоимость кодирования ф обозначим как с (n, 9, ф) [6]. Здесь и в дальнейшем:
с(п,9,ф) = - X р9(u)>(u)|, (1)
п .п
uеAn
где р (u) - вероятность порождения слова u длины п источником 9, ^(u)| - число букв выходного алфавита в слове ф^) .
Энтропию источника 9 обозначим H(9). По определению
к
H (9) = -X9 log 9i,
i =1
здесь и в дальнейшем logx = log2 x, 0log0 = 0. Разность между с (n,9, ф) и H(9) обозначим через r (п, 9, ф) и назовем избыточностью кодирования ф .Таким образом:
r (п, 9, ф) = с(п, 9, ф) - H (9) (2)
Величина Я(п, Q), определяемая равенством
R(u, Q) = inf sup r(п, 9, ф), (3)
ф 9eQ
называется избыточностью универсального кодирования для множества источников Q, Q при заданной сложности п. В равенстве (3) нижняя грань берется по всем дешифруемым кодированиям ф, определенным на множестве входных слов Ап. Если Q содержит единственный источник 9о, то поведение R(^ 9о) полностью изучено в [2, 3], где установлено, что R(^ 9о), как правило, убывает со скоростью с/п. Если же множество источников Q совпадает с Qo, то в [4] доказано асимптотическое равенство
к -1 log п
Rn С" о)
2
-f ( Л -Р ( \
здесь и в дальнейшем f (n) ~ g (n), если lim-= 1; f (n) < g (n), если lim-< 1.
П^Ж g (n) g (n)
В работе автора [1] для произвольного множества Qcfi0 предложено кодирование, которое позволяет получить асимптотическую оценку
D ( Q) < Vvn(Q) с
Rn (n, Q) < -+ -, (4)
n n
где h (Q) - s -энтропия Q [6].
В настоящей работе установлена нижняя оценка для Rn (n, Q), асимптотически совпадающая с верхней оценкой (4), и тем самым доказано асимптотическое равенство, когда h^(Q) ^ да, при n :
n
Я(п,О) ~ ^(0) + -. (5)
п п
В том случае, когда |О| = т, т < да, то
^ < я (п, о)< 1ogm+-.
п п п
Наряду с минимаксным подходом, который характеризуется избыточностью универсального кодирования для множества источников О, определяемого равенством (3), можно использовать среднюю избыточность Я(п, О) универсального кодирования для множества источников О, определяемую равенством:
Я(п, О) = Г г(п, 0, ф)^(0), (6)
* О
где ^(0) - распределение вероятности на множестве источников О.
Хорошо известно, что для любого множества источников О и произвольной меры ^(0) всегда выполняется неравенство:
Я(п, О) > Я(п, 0). (7)
Именно этим неравенством мы будем пользоваться для получения нижней оценки для Я(п, О).
3. Оценка избыточности универсального кодирования произвольного множества источников без памяти
Для доказательства основного результата настоящего параграфа докажем ряд вспомогательных утверждений.
Для а = 2/-\/п построим минимальную 8 -сеть о(2Д/п) для источников О. Тогда согласно [7] справедливы неравенства
||о(1/>/п)|| > ||о( 2д/п)|| > 2| |о(1д/п)|| . (8)
Каждый из источников О^Д/п ) накроем кубом со стороной 1/\[п . Полученное множество источников обозначим о(2Д/п), а через д(о(2Д/п)) - меру множества о(2Д/п) с
плотностью / (0) = С /^П/=|0у .
Для множества источников О и о(2/-у/п) выполняется соотношение ОеО(2/л/п), поэтому
Я (п, О( 2Д/^))> Я(п, О). (9)
Используя кодирование, предложенное в [1], для Я(п,о(^^л/п)) и для Я(п,О) в силу определения о( 2/-ч/п) имеем
Я(п,О(^тп)) < + С±; (10)
я(п,О) < ^А/^М + ^. (11)
п п
Из [1] следует, что всякое универсальное кодирование для Я(п, П(2/4н )) , которое позволяет получить оценку (10), является универсальным кодированием и для множества источников О.
Таким образом, если мы докажем, что для Я(п, О(2Д/п )) выполняется асимптотическое равенство
Я(п,О(2/ТП)) ~ ^ (О , (12)
п
то для Я(п, О) будет выполняться то же самое тождество. Таким образом,
Я(п,П(2Д/я))~ Я(п,О) . (13)
Для доказательства асимптотического равенства (12) нам необходимо получить нижнюю оценку для Я(п, О(2Д/п)), асимптотически совпадающую с верхней оценкой из (10).
Для получения нижней оценки Я(п, О(2/-\/п)) воспользуемся неравенством (7). Докажем утверждение, позволяющее получить нижнюю оценку для Я(п, О(2/>/п)).
Лемма. Для средней избыточности Я(п,О(2/>/п)) множества источников о(2/-\/п) выполняется неравенство:
Я(п, О(2Д/п)) > ^(О) + С .
п п
Доказательство. Обозначим через |(О(2Д/п)) меру множества источников О(2Д/п) с плотностью / (б) = с / ^у/ц^б". Согласно определению средней избыточности получаем:
Я(п,О(2/>/н")) = М Г _/(^ г(п,0,ф)d(0) . (14)
ф О(2Д/п) |(О(2/7п))
Согласно теореме Шеннона [2, 6] правая часть (13) достигает своего минимума при кодировании ф0, которое каждому слову и , и £ Ап ставит в соответствие слово ф0(и) длины
/ (0)
ф0(и)
^ ^Р0 (и ) d (0).
Так как для любой положительной функции g (0) выполняется неравенство
¿^^0)d0<г d0,
О(2/>/п) Оо
то
>- 1о§ | Г (0) Р0(и^0 + 1о§ |(О(2Д/п")).
ф0(и)
Р0( и )с Оо
Принимая во внимание равенство
|а(Я(2Д/п)) = с|| О(2/>/п)||/^ 12
и определение k/^ (П), получаем:
I n I k -1
|Ф%)| > - log f (0) Po(u)d 0 + /у^ (П)--— log п + с •
Умножив обе части на p)(u) и просуммировав по u, получаем
£ P0(u).|ф%)| >- £ P0(u)1og f (0)P0(u)d0 + h^(П)-logn + С•
u^An ue An
Разделим обе части последнего равенства на п и вычтем из обеих частей неравенства энтропию H (0) • Учитывая определения, данные выше, получаем:
/ п 0ч ^ / п-0 ч VVn(0) k -1 log п с ....
r(n, 0, ф ) > r(n, 0, ф ) + ----— + — , (15)
п 2 n n
где кодирование ф0 каждому слову u ставит в соответствие слово ф0 (u), для которого
= -log f (0)P0 (u)d0 • В [5] доказано, что для любого источника 0 е П0 выполняется неравенство:
Ф%)
Из (15) с учетом (16) имеем:
/ а 0ч ^ k -1 log п с ....
r(п, 0, ф°) > —--z- + - • (16)
2 п п
г 0 0ч > hl/jn(0) С
r(п, 0,Ф0) >--ь — • (17)
п п
Из (14), используя (17), получаем
R(n, П(2/л/П)) > (П) + С •
п п
Лемма доказана^ □
4. Избыточность универсального кодирования произвольного множества источников без памяти
Основное утверждение работы можно сформулировать в виде утверждения. Теорема. Для произвольного подмножества источников О, О с Од для избыточности
Я (п, О) универсального равномерного по входу кодирования выполняется асимптотическое равенство
Я (п, О)~ ^ + С.
п п
Доказательство. Верхняя оценка Я(п,О) следует из асимптотического неравенства (4), доказанного в [1]. Нижняя оценка вытекает из леммы очевидного неравенства
Я(п, О(2/ 4п) > Я(п, О(2/\[п) и соотношения (13). Теорема доказана. □
5. Заключение
Получена нижняя оценка избыточности универсального кодирования через £-энтропию множества источников, совпадающая с верхней оценкой, доказанной в [1]. Тем самым получено асимптотически точное значение избыточности для произвольного множества источников без памяти.
Литература
1. Трофимов В. К. Универсальное кодирование произвольного множества источников без памяти // Вестник СибГУТИ. 2018. № 4. С. 30-34.
2. Шеннон К. Математическая теория связи. Работы по теории информации и кибернетике. 1963. С. 243-332.
3. Кричевский P. E. Длина блока, необходимая для получения заданной избыточности // ДАН СССР. 1965. Т. 171, № 1. С. 37-40.
4. Кричевский Р. Е. Связь между избыточностью кодирования и достоверностью сведений об источнике // Проблемы передачи информации. 1968. Т. 4, № 3. С. 48-57.
5. Kriokevsky R. E., Trofimov V. K. The Performance of universal encoding // IEEE Transactions on Information Theory. 1981. V. 27, № 2. P. 199-207.
6. Галлагер Р. Г. Теория информации и надежная связь. М.: Советское радио, 1974.
7. Витушкин А. Г. Оценка сложности задачи табулирования. М.: Гос. изд. физико-математической лит., 1959. 228 с.
Статья поступила в редакцию 09.09.2019.
Трофимов Виктор Куприянович
д.т.н., профессор, зав. кафедрой высшей математики СибГУТИ (630102, Новосибирск, ул. Кирова, 86), e-mail: trofimov@sibsutis.ru.
Evaluation of the universal coding redundancy of an arbitrary set of sources without memory
V. K. Trofimov
This article considers a lower estimation of the universal coding redundancy of an arbitrary set of sources without memory coinciding in decreasing order with the upper estimation obtained by the author in the previous work.
Keywords: coding, redundancy, entropy, storage and processing of information, message source.
