CC BY
10
2020
Прикладная теория кодирования
№ 47
ПРИКЛАДНАЯ ТЕОРИЯ КОДИРОВАНИЯ
УДК 519.728
ТЕОРЕТИЧЕСКИ ЭФФЕКТИВНОЕ АСИМПТОТИЧЕСКИ ОПТИМАЛЬНОЕ УНИВЕРСАЛЬНОЕ КОДИРОВАНИЕ ЧАСТИЧНО ОПРЕДЕЛЁННЫХ ИСТОЧНИКОВ
Частично определённый источник порождает независимо с некоторыми вероятностями символы заданного основного алфавита и неопределённый символ. Кодирование источника должно обеспечить точное воспроизведение основных символов, а неопределённые символы допускают замену (доопределение) любыми основными символами. Кодирование считается эффективным, если имеет полиномиальную оценку сложности кодирования и декодирования. Оно асимптотически оптимально, если обеспечивает среднюю длину кода, асимптотически равную энтропии источника. Кодирование универсально, если оно не зависит от вероятностей символов источника. Описан метод эффективного асимптотически оптимального универсального кодирования частично определённых источников.
Ключевые слова: недоопределённый источник, частично определённый источник, универсальное кодирование, полиномиальный метод, энтропия источника, квазиэнтропия слова, частотный класс, комбинаторная энтропия, представительное множество.
DOI 10.17223/20710410/47/4
THEORETICALLY EFFECTIVE ASYMPTOTICALLY OPTIMAL UNIVERSAL CODING OF PARTIALLY DEFINED SOURCES
L. A. Sholomov
Federal Research Center "Computer Science and Control" of RAS, Moscow, Russia
Let A0 = {ai : i e M} be a finite alphabet of basic symbols, A = {aT : T e T}, T C 2M, — an alphabet of underdetermined symbols. Any symbol ai, i e T, is considered to be a specification of the symbol aT. The symbol aM, denoted by *, is called indefinite. An underdetermined source X generates symbols aT e A independently with probabilities pT. The entropy of the source X is the quantity
where the minimum is taken over the set of probability vectors Q = (qi, i e M), log x = log2 x. For source X, we consider separable block coding with a block length of n. Encoding K of underdetermined words v e An should ensure that the code K(v)
Л. А. Шоломов
ФИЦ «Информатика и управление» РАН, г. Москва, Россия
E-mail: levshol@mail.ru
of word v allow one to recover some specification of v. Coding is universal if it is independent of the probabilities pT, T <E T. Characteristic of coding quality is average code length
T(ra) = - E p(v)|K(v)|,
n v€An
where p(v) = pTl ... pTn is the probability of the appearance of the word v = aTl ... aTn at the source output, |K(v)| is the codeword length for v.
Earlier, the author established that for arbitrary source X and for any block coding method, the inequality l(n) ^ H(X) holds, and that there is universal block coding, for
log -
which l(n) ^ H(X) + O (-). The upper bound here is obtained by random coding
which only establishes existence of the estimation, but does not provide an appropriate algorithm. Important for applications are issues of complexity of procedures. Coding method considered theoretically effective if the complexities of coding and decoding are estimated by a some polynomial of the size n of problem. This paper presents a polynomial coding method for underdetermined sources whose alphabet has the form A = A0 U {*} = (ao, a1,..., am—1, *}. Such sources are called partially defined. For them, entropy can be explicitly expressed:
m— 1
H(P) = (1 - p*) log(l - p*) - E Pi log Pi.
i=0
The main content of the paper is the proof of the following result.
For a partially defined source X, there is an universal method of block coding that
provides an estimate of the average length of the code
г» < h(p) + )
v logi/2 n '
and allows you to encode and decode using RAM-programs with complexity O(n2). An analogue of this result is also valid for other types of undetermined sources whose entropy is explicitly representable.
Keywords: underdetermined .source, partially defined .source, universal coding, polynomial method, source entropy, quasientropy of a word, frequency class, combinatorial entropy, representative set.
Введение
Под недоопределёнными данными понимаются последовательности недоопределён-ных символов. Каждому такому символу соответствует некоторое множество символов основного алфавита, любым из которых он может быть замещен (доопределён). Считается, что последовательности порождаются источником, генерирующим символы недоопределённого алфавита А независимо с некоторыми вероятностями. Задача кодирования такого источника состоит в том, чтобы каждой порождаемой им последовательности сопоставить двоичный код, позволяющий восстановить некоторое доопределение последовательности (но не её саму). Рассматривается блоковое кодирование источника, при котором последовательности разбиваются на блоки некоторой длины п и производится кодирование блоков — слов длины п в алфавите А. Качество кодирования характеризуется средней по блокам длиной кода, приходящейся на символ источника [1]. Кодирование универсально, если оно не зависит от вероятностей символов.
С недоопределённым источником X связывается энтропия Н(Х) [2], роль которой подобна роли энтропии Шеннона для полностью определённых источников. В [3] (см. также [2]) доказано, что при любом способе кодирования недоопределённого источника X средняя длина кода не меньше Н(Х) и что существует его универсальное кодирование, обеспечивающее среднюю длину кода, асимптотически равную Н(Х). Этот результат получен с использованием метода случайного кодирования, который лишь устанавливает факт существования указанной асимптотически оптимальной оценки средней длины кода, но не обеспечивает соответствующего алгоритма и потому не позволяет утверждать что-либо нетривиальное о сложности кодирования.
Вопросы сложности процедур важны для приложений. В теории сложности принято считать процедуру эффективной, если она является детерминированной и её сложность (число элементарных операций) оценивается сверху полиномом от размера задачи. Это понятие эффективности фактически не зависит от модели вычислений, ибо для основных моделей переход от одной из них к другой связан с не более чем полиномиальным изменением числа операций. Применительно к задачам кодирования теоретическая эффективность подразумевает, что полиномиальными должны быть процедуры кодирования и декодирования. Чтобы иметь возможность говорить о степени полинома в оценке сложности, следует уточнить модель вычислений. В качестве модели будем использовать РАМ-программу [4] с подходящим набором операций. Отметим, что оценки сложности носят асимптотический характер и теоретическая эффективность ещё не означает, что процедуры являются «практически хорошими» при реальных значениях параметров.
В данной работе представлен полиномиальный (квадратичный) метод асимптотически оптимального кодирования недоопределённых источников, имеющих более частный вид. Они порождают лишь полностью определённые и неопределённые символы и названы частично определёнными. Отметим, что в приложениях чаще всего встречаются недоопределённые данные такого вида. В случае двоичного основного алфавита понятия недоопределённого и частично определённого источников совпадают.
Распространение описанного в работе эффективного метода кодирования частично определённых источников на случай недоопределённых источников общего вида затруднено тем, что в общем случае энтропия Н(Х) задана неявно как минимум некоторой функции и её явное выражение удаётся найти лишь в редких случаях, к которым относится и случай частично определённых источников. Явное выражение энтропии используется при кодировании. Метод применим и к другим типам источников с явно выразимой энтропией (например, к рассмотренным в [5]). Отметим, что в предлагаемом эффективном методе остаточный член в асимптотической оценке средней длины кода значительно хуже, чем в неэффективном методе из [3].
Приведём известные результаты, относящиеся к проблематике данной работы. Имеется тесная связь рассмотренной в работе вероятностной задачи кодирования недоопределённого источника с детерминированной задачей кодирования класса слов с заданными частотами вхождения недоопределённых символов (см. лемму 10 данной работы). В терминах [6] можно детерминированную задачу кодирования недоопределён-ного слова понимать как задачу построения двоичной программы вычисления некоторого его доопределения. В случае двоичных недоопределённых слов в качестве способа вычисления довольно естественно рассматривать схему из логических элементов (неветвящуюся программу [4, 7]), реализующую булеву функцию, последовательность значений которой совпадает с этим словом. Двоичное представление этой схемы можно считать кодом слова, и длина этого кода определяется сложностью схемы.
Идея воспринимать схему как код реализуемой функции восходит к К. Шеннону [8] и лежит в основе развитого им мощностного метода получения нижних оценок сложности схем. О. Б. Лупанов [9] разработал общий метод синтеза схем — принцип локального кодирования, позволивший получить асимптотически точные оценки сложности для многих классов функций и систем. В частности, этим методом Лупанов реализовал асимптотически наилучшим образом полностью определённые функции от п аргументов, принимающие N1 единичных значений (для всех N1, удовлетворяющих минимальному естественному ограничению). Построение асимптотически наилучших схем этот принцип связывает с кодированием функций, удовлетворяющим ряду требований. Некоторые приёмы такого кодирования использованы в данной работе.
Работа Э. И. Нечипорука [10] об асимптотически наилучшей реализации недоопре-делённых двоичных матриц с заданным числом булевых элементов вентильными схемами глубины 2 явилась пионерской в области синтеза недоопределённых управляющих систем. Метод этой работы с ипользованием принципа локального кодирования позволяет строить асимптотически наилучшие схемы из логических элементов для булевых функций от п аргументов, определённых на N наборах при больших значениях N = N(п). В [11] предложены методы повышения степени определённости функций путём сведения к функциям от меньшего числа аргументов, определённым примерно на том же числе наборов. Это позволило решить задачу наилучшего синтеза схем в широком диапазоне значений параметра N. Окончательный результат получен в [12], где использован другой способ повышения степени определённости функций.
Детерминированной задаче кодирования двоичных частично определённых слов с заданными частотами появления символов соответствует задача схемной реализации частично определённой функции, заданной на N наборах и принимающей N0 нулевых и N1 единичных значений. Полное решение задачи построения асимптотически наилучших реализаций при всех значениях параметров (^ N0, N1), удовлетворяющих минимальному ограничению, получено А. В. Чашкиным [13]. Результаты для некоторых диапазонов значений (^ N^,N1) были опубликованы ранее в [14-16]. Вклад каждой из этих работ в решение общей задачи охарактеризован в [13]. К этой проблематике примыкает результат из [17] об асимптотически минимальной реализации вентильными схемами глубины 2 многозначных частично определённых матриц с заданными частотами символов.
В работе [18] рассмотрены функции, значениями которых являются недоопреде-лённые символы общего вида, и описан асимптотически наилучший метод их схемной реализации (при некотором двоичном представлении символов). Другое решение той же задачи — более структурированное — имеется в [19]. Рассматриваемая в этих работах постановка задачи связана с несколько упрощённым понятием энтропии, которое использует лишь мощности доопределяющих множеств для символов и не учитывает их структуру. Это понятие согласовано с задачей протыкания системы комбинаторных кубоидов [18], но в задаче кодирования недоопределённых слов и источников даёт завышенные значения.
В перечисленных работах решается в разных постановках задача построения асимптотически наилучших по сложности схем для недоопределённых функций, но не рассматриваются вопросы сложности самих процедур построения схем. Развитые там методы включают либо вероятностные, либо неэффективные комбинаторные построения и потому не могут служить основой эффективных методов кодирования недоопре-делённых слов. Исключение составляет работа [20], в которой описан эффективный способ получения двоичной программы для вычисления булевой функции, заданной
на N наборах. Эта программа имеет асимптотически минимальную длину и строится со сложностью, почти квадратично зависящей от размера исходных данных.
1. Основные понятия и формулировка результата
Задан конечный алфавит А0 = {а0,а\,... ,ат-\} основных символов. Каждому непустому подмножеству Т множества М = {0,1,... ,т — 1} соответствует символ ат, называемый недоопределённым. Основные символы а^ будем также рассматривать как недоопределённые символы, соответствующие одноэлементным подмножествам {г} С М. Доопределением символа ат считается всякий основной символ а^, г Е Т. Символ ам, доопределимый любым основным символом, называется неопределённым и обозначается *.
Выделена система Т С 2м некоторых непустых множеств Т С М и ей сопоставлен недоопределённый алфавит А = {ат : Т Е Т}. Под доопределением слова
V = ат1 ... аТ[ Е А1 понимается любое слово и> = а¿1 ... а^ Е А10, полученное из V заменой каждого символа каким-либо его доопределением.
Рассматривается источник X, порождающий символы ат Е А независимо с вероятностями рт, £ рт = 1. Он обозначается (А, Р), где Р = (рт, Т Е Т), и назы-т ет
вается недоопределённым источником. Задавшись некоторым набором вероятностей Я = (?г, г Е М) основных символов, введём функцию
Н(Р,Я) = — £ Рт 1с§£ ^ (1)
тет ¿ет
(здесь и дальше логарифмы двоичные). Энтропией источника X назовём величину
Н(Х ) = Н(Р ) = ш1п Н(Р,Я). (2)
Для недоопределённых источников она играет роль, подобную той, какую для полностью определённых источников играет энтропия Шеннона (подробнее см. в [2]).
Дальше считаем, что вероятности Рт всех символов ат Е А строго положительны, ибо в случае рт = 0 символ ат можно исключить из рассмотрения (а множество Т — из Т). Очевидно, что Н(Х) ^ 0. Нас интересует случай, когда энтропия Н(Х) строго положительна. С учётом соглашения рт > 0 необходимое и достаточное условие
положительности энтропии (имеющееся, например, в [2]) приобретает вид Р| Т = 0.
тет
Рассматривается блоковое кодирование последовательностей, порождаемых недоопределённым источником X. Выходные последовательности источника разбиваются на куски некоторой длины п (блоки) и каждый блок — слово V длины п в алфавите А — заменяется его кодом К(V) при некотором способе кодирования К. Считается, что кодирование является двоичным и разделимым. Последнее означает, что по произвольной конкатенации К(VI) ... К(V.,) кодовых слов образующие её слова К(VI), ... , К(V.) восстанавливаются однозначно. К кодированию К недоопределённых слов
V Е Ап предъявляется требование, чтобы оно обеспечивало возможность нахождения по коду К(V) какого-либо доопределения слова V. Кодирование источника (А, Р) называется универсальным (при заданной длине п блоков), если оно не зависит от набора вероятностей Р.
Качество кодирования К будем характеризовать средней длиной кода
4п) = п £ р(^К(V)!, (3)
п vеAn
приходящейся на символ источника [1]. Здесь p(v) = рт1 .. . Ртп —вероятность порождения источником X слова v = а^ ... атп; |K(v)| —длина кодового слова для v. В [3] получен следующий результат (см. также [2]).
Теорема 1. Для произвольного недоопределённого источника X с H(X) > 0
1) при любом способе K блокового кодирования имеет место неравенство
^ H(X);
2) существует универсальное блоковое кодирование K, для которого
'log п
^ ^ H(X) + о(l0^).
п
Верхняя оценка теоремы 1 получена методом случайного кодирования, который лишь устанавливает факт существования указанной в теореме асимптотически оптимальной оценки средней длины кода, но не обеспечивает соответствующего алгоритма. В данной работе представлен полиномиальный метод кодирования недоопре-делённых источников более частного вида. Недоопределённый источник X = (А, Р) называется частично определённым, если его алфавит имеет вид А = А0 и {*} = = {а0, а1,..., ат-1, *}. Ему соответствует набор вероятностей Р = (р0, р1,... , рт-1, р*). Для частично определённого источника энтропия (2) допускает явное выражение (см. [2], а также п. 3° леммы 1 данной работы):
т- 1
Н(Р) = (1 - Р*) 1о§(1 - Р*) - Е Рг logPi.
i=0
При условии положительности всех рг эта величина строго положительна тогда и только тогда, когда т ^ 2.
Основное содержание работы составляет доказательство следующего результата.
Теорема 2. Для частично определённого источника X = (А, Р) с положительной энтропией
1) при любом способе К блокового кодирования справедливо неравенство
^ Н(Р);
2) имеется метод К универсального блокового кодирования, обеспечивающий оценку средней длины кода
Ф ^ н(Р) + о(1о^)
^ log2 п '
и допускающий кодирование и декодирование РАМ-программами сложности 0(п2).
Замечание 1. При доказательстве верхней оценки средней длины кода остаточный член фактически получен в виде О ( ф(п) Г—g—g—^ ), где ф(п)
| —:- , где ф(п) — произ-
V log n J )
вольная растущая функция (см. лемму 11). Оценка теоремы соответствует значению ф(п) = (loglogn)1/2. Её можно улучшать, беря в качестве ф(п) меньшую функцию.
Распространение теоремы 2 на общий случай недоопределённых источников затруднено тем, что доказательство использует явный вид энтропии H(X), который удаётся найти лишь в редких случаях.
2. Квазиэнтропия недоопределённых слов и ее свойства
Основной результат работы относится к частично определённым алфавитам (и источникам), но изложение будем вести, как правило, для недоопределённых алфавитов общего вида, учитывая возможность распространения результата работы на другие случаи. Если факт относится лишь к частично определённым данным, это будем отмечать явно.
Для слова v Е An обозначим через Гт (v) число появлений в нем символа ат,
£ rT(v) = |v|, и положим r(v) = (rT(v), T Е T). Квазиэнтропией слова v назовём т ет
r(v)
величину h(v) = |v| H^-j—j-J. С учётом (1) и (2) она может быть переписана в виде
h(v) = mini - £ гт(v) log £ qA. (4)
Q L тет iет J
Отметим, что точным аналогом принятого для полностью определённых дан-
r(v)
ных понятия квазиэнтропии (см., например, [21]) является H^-j—j-J. Но величина (r(v)\
—j-J оказывается более удобной, поскольку измеряется в тех же единицах, что
и алгоритмическая энтропия (сложность по Колмогорову [6]), а также комбинаторная (см. далее).
Сначала приведём некоторые свойства энтропии H(X), которые понадобятся для изучения квазиэнтропии. Более детальное рассмотрение этих (и других) свойств энтропии имеется в [2]. Лемма 1.
1°) Энтропия Н(Р) неотрицательна и не превосходит logm.
2°) Функция Н(Р) вогнута, т. е. для любых Р, P1 и числа в, 0 ^ в ^ 1, выполнено
Н(вР + (1 - в)Р') ^ вН(Р) + (1 - в)Н(Р').
3°) Энтропии источника X = (A, Р) и образованного из него исключением неопределённого символа * = aM источника X' = (A',P'), где A' = A \ {*}, Р' =
= (рт, T Е T \ {M}), р'т = Рт—, связаны соотношением
1 р*
Н(Р ) = (1 - р*)Н(Р').
4°) Для частично определённого источника (A, Р), где A = {a0, a^ ... , am-1, *}, Р = (p0,p1,... ,рт-1,р*), энтропия достигается в (2) на наборе
Q = (^ (5)
V1 - р* 1 - р* 1 - р* /
и принимает значение
m_ 1
Н(Р) = (1 - р*) log(1 - р*) - £ Pi log pi. (6)
i=0
Доказательство. Начнём с утверждений п. 1°. Неотрицательность энтропии очевидна. Верхнюю границу энтропии получим, вычислив Н(Р, Q) на наборе Q = = (1/m,... , 1/m):
| T|
Н(Р) ^ - Y1 рт log — = logm - Y1 рт log |T| ^ logm. т m т
Для доказательства п. 2° рассмотрим набор ф, на котором достигается минимум функции Н(0Р + (1 - 0)Р', ф). Имеем
Н(0Р +(1 - 0)Р') = -0 £ рт 1с§£ дг - (1 - 0) Е рТ ^Е & ^ 0Н(Р) + (1 - 0)Н(Р'),
теТ гет т еТ гет
что и требовалось доказать.
Докажем п. 3°. Из того, что для любого набора вероятностей ф = (дг,г € М) выполнено Е qi = 0, следует равенство гем
- Е рт^ Е qi = -(1 -р*) Е -, Рт ^ Е qi.
т еТ гет т еТ\{м} 1 - р* гет
Взяв минимум по ф, приходим к утверждению п. 3°.
Применим к частично определённому источнику из п. 4° утверждение п. 3°. Имеем
H(P ) = (1 - p*)H(P') = (1 - p*)min{ — Е log дЛ. (7)
„• CW 1 — Р* J
Как известно, указанный минимум достигается на наборе (5). Подставляя это значение Q в (7) и преобразуя с учётом равенства Е Рг = 1 — Р*, приходим к (6). ■
геи
Следующая лемма 2 содержит необходимые для дальнейшего свойства квазиэнтропии слов.
Лемма 2.
1°) Квазиэнтропия h(v) неотрицательна и не превосходит nlogm. 2°) Если слово v2 получено из v1 перестановкой символов, то h(v2) = h(vi). 3°) Если r(v2) отличается от r(v1) лишь в компоненте r*(^), то h(v2) = h(v1). 4°) Квазиэнтропия конкатенации v1v2 удовлетворяет неравенству
h(viv2) ^ h(vi) + h(v2).
5°) Если v2 — продолжение слова v1, то h(v2) ^ h(v1).
6°) Если vax — результат приписывания к слову v символа ат, то
h(vaT) ^ h(v) + log(e|v|).
7°) Квазиэнтрпия слова v в частично определённом алфавите A = |ао,а1,..., am-1, *} задаётся выражением
h(v) = (|v| — r*(v)) log(|v| — r*(v)) — E ri(v)logri(v) (8)
геи
и достигается в (4) на наборе
q = / ro(v) r1(v) rm-1(v) \ (g)
V|v| — r*(v)' |v| — r,(v^-' |v| — r*(v)/' Доказательство. Пункт 1° следует из п. 1° леммы 1.
Пункт 2° вытекает из определения квазиэнтропии и того, что для слов v2 и v1 с одним и тем же составом символов имеет место |v2| = |v1| и r(v2) = r(v1).
Докажем п. 3°. Обозначим через и г2 слова, полученные из ^ и г2 удалением всех символов *. По условиям п. 3° имеем |г>1| = |гх| — гДг^) = |г2| — г*(г2) = |г>21 и г(г'1) = г(г2), а потому
ад) = ). (10)
тд АО т гт (г1) Г* (г1) К 1
Из п. 4 леммы 1 при рт = —,—,— с учетом равенства I--.—— = -—г выводим
М М Ы
н( ГТ) = П h( ГТ )•
V vi / vi V v' /
Домножив обе части на |г11, приходим к равенству ^(г1) = Л,(г1). Аналогично доказывается, что Л.(г2) = Л,(г2). Из этих равенств и (10) получаем Л.(г2) = ).
Для доказательства п. 4° воспользуемся вогнутостью энтропии (п. 3° леммы 1) при
р = гЫ Р = гМ ие- |г1|
|vi| ' |v2| |vi| + |v2|'
Имеем ^1 + ^1 ^ H(1 = H(^).
|Vi| + |V2| V|vi| ' |Vl| + N V |V2| / V |vi| + Ы / V^ \)
Домножив обе части на |vi| + |v2| = |viv2|, получаем h(vi) + h(v2) ^ h(viv2).
Чтобы доказать утверждение п. 5°, представим v2 в виде v2 = viw, после чего в соответствии с п. 4° придём к h(v2) ^ h(vi) + h(w) и воспользуемся неотрицательностью квазиэнтропии h(w) (п. 1°).
Докажем п. 6°. Пусть v = aTl ... «T]v|, v' = vaT. Обозначим через Q = (qo,qi, . ..,qm-i) набор, на котором в (4) достигается квазиэнтропия h(v). Возьмём некоторое значение s G T и образуем набор Q' = (q0, q/,..., ql-1), где q/ = (|v| . )qs + —,
|v| |v|
q' = d | . i )qi для остальных i G M. Набор Q' удовлетворяет условию |v|
' |v| - 1 ^ ^ 1 |v| - 1 , 1 E q' =,, E qi + гт = , , + гт = 1. ieM |v| i€M |v| |v| |v|
С учётом этого имеем
h(v') ^ - Е rTi(v/) logE qj = - E rTi(v) log E qj - log E qj ^
ieM jeTi ieM jeTi jeT
| v| - 1 1 | v| - 1
< - E rTi(v) log E i i qj - log гт = - E rTi(v) log E qj- |v| log , , + log|v| =
ieM jeTi |v| |v| ieM jeTi, |v|
= h(v) - |v| log(1 - -¡—) + log |v| ^ h(v) + loge + log |v| = h(v) + log(e|v|). | v|
r(v)
Утверждение п. 7° вытекает из п. 4° леммы 1 при P = ——— с учётом равенства
| v|
Y, ri(v) = |v| - r*(v). ■
ieM
Замечание 2. Выражение (8) может быть записано в виде, не зависящем от |v|: h(v) = I Е ri(v)\ log Е ri(v) - Е ri(v)logri(v). (11)
ieM ieM ieM
3. Частотные классы недоопределённых слов и их комбинаторная энтропия
Пусть задано конечное множество S недоопределённых слов в алфавите A. Скажем, что некоторое множество слов в алфавите A0 доопределяет S, если в нём найдётся доопределение каждого слова из S. Обозначим через N(S) минимальную мощность множества, доопределяющего S. Величину log N(S) будем называть комбинаторной энтропией множества слов S.
Для заданного набора r = (гт , T Е T) натуральных чисел положим l = Е Гт
и обозначим через Kl(r) класс всех слов длины l в алфавите A, в которых символ aT Е A встречается rT раз (т.е. с частотой rT/l). Такие классы называют частотными. Вместо записи N(K (r)) будем использовать Nl(r). Комбинаторной энтропии класса Ki (r) соответствует обозначение log Nl (r). Всякое доопределяющее множество для класса Kl(r) будем называть доопределением класса Kl(r).
Все слова v Е Kl(r) имеют одинаковую квазиэнтропию h(v) = lH(r/l), которую будем обозначать hl(r) и называть квазиэнтропией класса Kl(r).
Следующий результат из [3] (см. также [2, 22]) показывает, что квазиэнтропия частотного класса приближает его комбинаторную энтропию с точностью O(log l).
Утверждение 1. Справедливы оценки1
Верхняя оценка здесь получена методом случайного кодирования, который доказывает лишь существование доопределяющего множества для класса Кг (г), обеспечивающего эту оценку, но не даёт алгоритма. Ту же оценку комбинаторной энтропии мы получим ниже конструктивным построением доопределяющего множества с использованием градиентной процедуры (называемой также жадным алгоритмом, методом наискорейшего спуска, методом вычерпывания).
При осуществлении градиентной процедуры доопределения множества слов Б используется некоторое базовое множество Д всюду определённых слов, из которого заимствуются доопределения слов множества Б. Паре (Б, Д) сопоставляется таблица с элементами 0 и 1, в которой строки соответствуют словам V Е Б, столбцы — словам и Е Д, и на пересечении строки V и столбца и помещается 1, если и доопределяет V, и 0 в противном случае. В терминах этой таблицы градиентная процедура доопределения множества Б представляет собой последовательность шагов, на каждом из которых в таблице, полученной к данному шагу, выбирается столбец с максимальным числом единиц и вычёркиваются строки, содержащие в нём единицы. Совокупность выбранных столбцов к моменту, когда все строки окажутся вычеркнутыми, соответствует доопределяющему множеству для Б. При оценке его мощности используется следующее утверждение, доказанное рядом авторов как обобщение леммы Нечипорука из [10] (оно имеется, например, в [23]).
Утверждение 2. Во всякой таблице с элементами 0 и 1, имеющей Ь строк, d столбцов и содержащей в каждой строке не менее а единиц, градиентная процедура позволяет выделить
столбцов так, что для любой строки имеется выделенный столбец, содержащий в ней 1.
1 Всюду в работе буквой С с индексом обозначается константа, абсолютная либо зависящая от мощности алфавитов Ао и А.
т еТ
hl(r) — C1 log l ^ log Nl(r) ^ hl (r) + C2 log l.
Замечание 3. Градиентная процедура выделения столбцов полиномиальна относительно площади bd таблицы.
В градиентной процедуре построения доопределяющего множества для класса Kl (r) в качестве базового множества используется некоторый частотный класс Kl(m), m = (тг, i Е M), слов в алфавите A0. Для нахождения набора m параметров этого класса понадобится следующее свойство точки Q, на которой достигается энтропия в (2). Его доказательство имеется в [2, 3].
Утверждение 3. Точка Q = (дг, i Е M) минимума функции H(P, Q) удовлетворяет условиям
Е = дг, i е м. (12)
Tет: гет gj jeT
Докажем теперь основной результат данного раздела.
Лемма 3. Существует частотный класс Kl(m), при использовании которого в качестве базового множества градиентная процедура доопределения класса Kl(r) обеспечивает оценку
logNl(r) ^ hl(r) + C3logl. (13)
Доказательство. Пусть Q = (дг, i Е M) — точка, в которой достигается квазиэнтропия hn(r), т.е. выполнено
— Е гт logE дг = hl(r). (14)
теТ гет
Введём величины s^ (T Е T, i Е M), положив
rT дг i ^ T
^тг = < l S, , (15)
о, i Е т.
Величины 5тг удовлетворяют условиям
Е ls« = гт Е = гт, (16)
г гет
j-ет
Е ls« = Е Е lsn = Е гт = l
т,г т г т
(если область изменения параметра T либо i при суммировании не указана, считается, что T пробегает множество Т, i — множество M. То же относится к параметрам величин, участвующих в произведении). Кроме того, поскольку на наборе Q, на котором достигается квазиэнтропия hl (r), достигается и энтропия H(r/l), получаем с учётом равенства (12) при pT = rT/l
Els« = l E s« = l E = (17)
т т: гет т: гет l gj
j-ет
Возьмём набор ^тг (T Е Т, i Е M) целых чисел, такой, что при i Е T величины |^тг — ls«| ограничены некоторой общей константой и выполняются равенства
£>г = Гт, т ЕТ, (18)
а при г е Т величины | равны 0. Это легко сделать в силу (16), определения (15) величин втг и того, что мощность множеств Т не превосходит константы |А0|. Введём величины
т = Е *гг, г е М, (19)
т
и положим т = (тг, г е М). Тогда
Ет-г = Е ^тг = Е Е^тг = Е Гт = ¡. (20)
г г,т т г т
Кроме того, из (17), условий на числа втг и ограниченности мощности множеств Т константой |Т| следует, что все величины |тг — /дг| не превосходят некоторой общей константы.
Принимая во внимание (20), образуем частотный класс Кг (т) и используем его в качестве базисного множества в градиентной процедуре построения доопределений для слов класса Кг (г). Построим таблицу, строки которой соответствуют словам V е Кг (г), столбцы — словам т е Кг (т). На пересечении строки V и столбца т поместим 1 либо 0 в зависимости от того, доопределяет слово т слово V или нет. Числа Ь и d соответственно строк и столбцов этой таблицы задаются выражениями
Ь « , d ¡!
Цтт Г Птг!"
T i
При оценке снизу числа единиц в произвольной строке v таблицы будем учитывать только такие доопределения слова v, в которых для всех T и i символ ат заменяется символом ai в ZTi позициях. Из (18) следует, что такие доопределения слова v существуют, а из (19)—что все они принадлежат классу Ki(m). Для каждого v Е K^ (г) число доопределений указанного вида равно
, П гт!
= п Гт! = т_
а = АтАП ZTi! = П ZTi! •
i T,i
Воспользовавшись утверждением 2 при указанных значениях b, d и а, а также тем,
что —~ < b < l! < ll, оценим размер k градиентного покрытия таблицы: d
l! П ZTi!
k ^ rr—^-1l lnl.
Пгт 41 mi!
T i
Комбинаторная энтропия log Ni (г) не превосходит log k. Отсюда, применяя формулу Стирлинга к факториалам в оценке для k и учитывая равенства Е ZTi = Е гт =
T,i т
= Е mi = l, приходим к оценке
i
log Ni(r) ^ l log l + E ZTi log ZTi - E гт log гт - E mi log mi + C4 log l. (21)
T,i T i
Заменим в этом выражении величины гтг на ¡втг, а тг — на ¡дг. Поскольку каждая из этих величин не превосходит I и заменяется величиной, отличающейся от неё не более
чем на константу, соответствующий ей член в (21) изменится не более чем на C5 logl. Число этих членов в (21) ограничено константой, а потому оценка (21) превращается в
log Nl (r) ^ l log l + E ^ log(/sTi) - E rT log rT - E lqi log(lqi) + C3 log l =
T,i T i
= -l (E sTi log sTi- E -f log -f - E m log + C3 logl.
vT,i T l l i /
Принимая во внимание (16) и (17), получаем
log N (r) ^ -l (E STi log STi - E STi log ГТ - E STi log qj + C3 log l =
VT,i T,i l T,i y
= l E STi log —Tl + C3 log l. T,i rTqi
Замена STi в аргументе логарифма значением из (15) приводит к оценке
log N(r) ^ l Е sTi log ^--+ C3 log l = - E rT logE qj + C3 log l,
T,i qj t jeT
jeT
которая в силу (14) совпадает с (13). ■
4. Представительное множество системы частотных классов
Обозначим через Кл,^ множество всех частотных классов КДг) (в рассматриваемом недоопределённом алфавите A), для которых длина l слов не превышает Л, а квазиэнтропия h(r) не больше где Л и ^ — заданные натуральные параметры. Поскольку квазиэнтропия слов длины l не превосходит l log m (п. 1° леммы 2), можно считать
^ Л log m, (22)
а потому ^ = О(Л).
Используемая в работе процедура кодирования недоопределённых источников требует нахождения доопределений для всех классов системы Кл,м. При рассмотрении систем Кл,^ в произвольных недоопределённых алфавитах возникают трудности, связанные с возможностью эффективной проверки условия hi (r) ^
Для частично определённых алфавитов подобных трудностей не возникает, ибо для них квазиэнтропия выразима в явном виде (п. 7° леммы 2). В последующем ограничимся частично определёнными алфавитами, но развитый подход может быть распространён в некотором модифицированном виде и на другие алфавиты с явно выразимой энтропией (примеры таких алфавитов имеются в [5]). Дальше в данном пункте считаем, что Кл,м — система в алфавите A = A0 U {*} = (а0, «1,..., am-i, *}. Она образована частотными классами Ki(r), r = (r0, r1,... , rm-1, r*), удовлетворяющими условиям l ^ Л, hi(r) ^
Лемма 4. В случае частично определённых алфавитов условие h(v) ^ ^ проверяемо со сложностью, ограниченной полиномом от длины |v| слова v.
Доказательство. Поскольку параметр ^ целочислен, условие h(v) ^ ^ можно заменить на [h(v)] ^ ^ ([ж] означает целое число, ближайшие к x сверху). В силу (8) оно приобретает вид [log а] ^ где
(|v| - r* (v))|v|—r*(v) а =---.
m— 1
П ri(v)ri(v) i=0
Нетрудно понять, что [log а] совпадает с длиной двоичной записи числа [а] — 1. Поэтому для проверки соотношения h(v) ^ ^ достаточно найти по слову v двоичные записи параметров ri(v) и r*(v), вычислить по ним число [а] — 1 в двоичной записи и сравнить длину этой записи с
Для нахождения величины Zz, Z Е (ro(v),... , rm-1(v), |v| — r*(v)}, входящей в выражение для а, достаточно выполнить не более 2 log Z ^ 2 log l умножений чисел, длина двоичных записей которых не превышает l log l. Это требует не более O(l2 log3 l) (булевых) операций. Поскольку число значений Z ограничено константой m', на вычисление всех Zz также затрачивается не более O(l2 log3 l) операций. При известных значениях Zz число а может быть найдено применением m — 1 операций умножения и одной операции деления нацело (с избытком). На это расходуется O(l2 log2 l) операций. Общее число операций для вычисления а не превосходит O(l2 log3 l). Учёт других операций, используемых для проверки соотношения h(v) ^ не изменяет эту оценку. ■
Задача построения доопределений для всех классов системы может быть сведена к аналогичной задаче для некоторой её подсистемы. Поставим задачу выделения в определённом смысле лучшей такой подсистемы. Отметим, что для доказательства основного результата работы (теоремы 2) достаточно более грубых рассмотрений, когда доопределения строятся для всех классов системы Методы максимально возможного сокращения числа рассматриваемых классов могут быть полезны в приложениях.
Пусть п — перестановка множества {0,... ,m — 1}. Для слова v (в алфавите A = = A0 U{*}) посредством nv будем обозначать слово, полученное из v заменой символов ai Е A0 на an(i) и сохранением символов *. Для множества слов V положим nV = = {nv, v Е V}. Если V — некоторое множество слов с длиной не меньше l, то через V|i будем обозначать множество начал длины l всех слов из V.
Пусть Ki1 (г1) и Ki2 (г2) —частотные классы слов (в частично определённом алфавите A). Будем говорить, что класс Kil(г1) представительнее класса Ki2(г2), если l1 ^ l2 и найдётся перестановка п множества {0,... ,m — 1}, такая, что каково бы ни было доопределение Dil (г1) класса Kil (г1), множество (nDil(г^)^ образует доопределение класса Ki2 (г2). Заметим, что если в определении представительности вместо начал слов брать другие подслова, расположенные в l2 различных фиксированных разрядах, это не изменит отношения представительности, поскольку частотные классы замкнуты относительно перестановок символов в словах.
Подсистему M некоторой системы K частотных классов назовём представительным множеством системы K, если для любого класса ^(г) Е K в M имеется более представительный класс. Таким образом, доопределение любого класса системы K может быть образовано из доопределения подходящего класса системы M переименованием символов алфавита и отбрасыванием некоторого количества заключительных символов слов. Представительное множество M называется минимальным, если не существует представительного множества системы K, содержащего меньшее число частотных классов. Целью данного пункта является явное описание некоторого минимального представительного множества для системы
Наряду с наборами г = (r0,...,rm-1, r*) будем рассматривать соответствующие укороченные наборы г = (r0,... , rm-1). Будем говорить, что укороченный набор г1 = = (r1,0,..., r1,m-1) мажорирует г2 = (r2,0,..., r2,m-1), и записывать г1 ^ г2, если r1,0 ^ r2,0, ..., r1,m-1 ^ r2,m-1. Величину W(г) = r0 + ... + rm-1 назовём весом укоро-
ченного набора r. С набором r свяжем его квазиэнтропию
m— 1
h(r) = W(r) log W(r) - E ri log ri.
i=0
В силу (11) квазиэнтропия h^(r) класса K (r) при любом l ^ W(r) совпадает с квазиэнтропией h(r) укороченного набора.
Результатом применения перестановки п к укороченному набору r считается набор пГ = (rn(0),..., rn(m—1)). Набор r, для которого r0 ^ ... ^ rm— 1, будем называть упорядоченным. Перестановка п, переводящая заданный укороченный набор r в упорядоченный набор пГ, не единственна, ибо разным i могут соответствовать одинаковые ri. Для её конкретизации дополнительно потребуем, чтобы при ri = rj и i < j было выполнено п^) < п(j). Эту перестановку обозначим пг и назовём упорядочивающей (для r). Для упорядоченных наборов r1 и r2 будем говорить, что r2 непосредственно следует, за r1 (r1 непосредственно предшествует r2), если r2 ^ r1 и W(r2) = W(r1) + 1. Так, например, всеми непосредственно следующими за набором (3,1,1,0,0) являются наборы (4,1,1,0,0), (3,2,1,0,0) и (3,1,1,1,0).
Эффективный метод проверки наличия отношения представительности для заданных частотных классов даётся следующим утверждением.
Утверждение 4. Класс (r1) представительнее класса Ki2 (r2) тогда и только тогда, когда l1 ^ l2 и набор r1, полученный упорядочением набора r1, мажорирует набор пг2 r2, полученный упорядочением r2.
Доказательство. Будем считать l1 ^ l2.
1. Пусть имеет место мажорирование п^ r1 ^ пг2 r2. Применив к обеим частям перестановку п-1 и положив п = п--1пг1, получаем соотношение пГ1 ^ r2. Обозначим через r+ результат дописывания l1 - l2 нулей к набору r2. Из предшествующего соотношения и равенства r+ = r2 следует пГ1 ^ r+.
Рассмотрим произвольное доопределение Dil(r1) класса Kil(r1). Ясно, что пТ^(r1) является некоторым доопределением класса (пг1). Отсюда и из пГ1 ^ г+ нетрудно заключить, что множество пТ11 (r1) доопределяет класс K1l (r+), а потому (пТ^ (r1^ | образует доопределение класса Ki2 (r2). Это означает, что класс Ki1 (r1) представительнее Ki2 (r2).
2. Обратно, пусть Kl1 (r1) представительнее Kl2(r2). Перестановка п, присутствующая в определении соотношения этих классов по представительности, удовлетворяет условию пГ1 ^ r2. Действительно, если это не так, то при некотором i имеет место r1,n-1(i) < r2,i. Тогда, используя для слов класса Ki1 (r1) в качестве доопределений символов * символы, отличные от an-1(i), можно получить доопределение (r1), все слова которого содержат менее r2,i символов an-1(i), а потому число символов « в любом слове множества (пТ^1 (r 1)) |г2 меньше r2,i. Это противоречит тому, что данное множество доопределяет класс Ki2 (r2), слова которого используют r2,i символов ai.
Покажем теперь, что если для некоторых числовых наборов s1 = (s1,0,..., S1,m—1) и s2 = (s2,0, ... , S2,m— 1) выполнено условие мажорирования s1 ^ s2, то аналогичному условию мажорирования удовлетворяют и соответствующие им упорядоченные наборы. Для доказательства можно ограничиться случаем, когда набор s1 с самого начала является упорядоченным. Возьмём максимальный по величине разряд набора s2 (если таких разрядов несколько, то первый из них); пусть это будет S2,i. Поменяем в s2 местами разряды S2,1 и S2,i. Так как S2,i ^ S1,i ^ S1,1 и S2,1 ^ S2,i ^ S1,i, то полученный в результате набор s'2 будет удовлетворять условию мажорирования s1 ^ s'2. Аналогич-
ные соображения показывают, что если среди разрядов набора б2, отличных от первого, найти максимальный по величине и поменять его местами со вторым разрядом, получим набор б2', для которого б1 ^ б2'. Эти рассуждения могут быть продолжены вплоть до перевода набора б2 в упорядоченный.
Используя в качестве б1 и б2 наборы пг1 и г2, удовлетворяющие условию пг1 ^ г2, и учитывая, что наборам пг1 и г1 соответствуют одинаковые упорядоченные наборы, приходим к г1 ^ Пг2г2. ■
Набор г назовём (Л, -допустимым, если он упорядочен и удовлетворяет условиям Ш(г) ^ Л, Л(г) ^ Упорядоченный набор г, мажорируемый некоторым (Л, ^-допустимым набором г1, также (Л, ^-допустим. Действительно, произвольное слово V класса (г)(г) может быть продолжено до некоторого слова v1 класа (г1)(г1). В силу п. 5° леммы 2 выполнено Л,^) ^ Л^), а потому из соотношений Л,^) = (г) (г) = Л(г), Л^) = (Г1)(г1) = Л(г1) и из (Л,-допустимости набора г1 следует Л(г) ^ Л(г1) ^ Неравенство Ш(г) ^ Ш(г1) ^ Л очевидно.
Отношение мажорирования г1 ^ г2 является частичным порядком. Обозначим через Ял^ множество всех (Л, -допустимых наборов, максимальных по этому порядку. В нем отсутствуют мажорирования одних наборов другими и всякий (Л, ^-допустимый набор мажорируется некоторым набором из этого множества.
Опишем прямой способ построения множества Ял,Сначала индуктивно построим последовательность множеств ЯЛ м(г), г = 0,... , Л. Для этого положим ЯЛ ^(0) = = {(0, 0,..., 0)}, а множество Я'х (г + 1) образуем, взяв все наборы, непосредственно следующие за наборами из Яд^(г), и устранив те из них, квазиэнтропия которых превышает Обозначим через ЯЛ,Дг) (г = 0,..., Л) результат удаления из Я'х Дг) наборов, мажорируемых какими-либо наборами множества Я'Л^ (г + 1) (считаем Я'х , ДЛ +1) = 0).
Утверждение 5. Множество Я\, м(г) (г = 0,1,... , Л) образовано всеми наборами
л
множества Ял,^, имеющими вес г, а потому = и Ял,Дг). Сложность построения
г=0
множества полиномиальна по Л.
Доказательство. Сначала индукцией по г убедимся, что множество Я'Л^(г) состоит из всех (Л, ^-допустимых наборов веса г. Для ЯЛ ^(0) это очевидно. Считая факт справедливым для Я'Л Дг), г < Л, рассмотрим множество Я'Л Дг + 1). Оно непусто, поскольку включает набор (1,... ,1,0,... ,0) веса г + 1, имеющий нулевую квазиэнтропию. Наборы этого множества (Л, ^-допустимы, ибо, непосредственно следуя за наборами из ЯЛ м(г), они имеют вес г + 1 ^ Л, а их квазиэнтропия не превышает ^ по построению. С другой стороны, если некоторый набор г веса г + 1 (Л, -допустим, то любой непосредственно предшествующий ему набор также (Л, ^-допустим, а его вес равен г. По предположению индукции он содержится в ЯЛ м(г), а потому непосредственно следующий за ним набор г включается в ЯЛ Дг + 1) по построению. Индукция завершена.
Покажем теперь, что Ял , Дг) —множество всех максимальных по мажорированию (Л, -допустимых наборов веса г. Произвольный (Л, -допустимый набор г = = (г0,... , тт-1) веса г содержится в Я'Л Дг), и если г не мажорируется, то, в частности, он не мажорируется и наборами из ЯЛ Дг + 1), а потому будет включён в Ял , Дг). Предположим теперь, что г мажорируется некоторым (Л, -допустимым набором г' = (г0,... , г'т_ 1), и пусть эти наборы впервые различаются в разряде ], т. е. г0 = г0, ..., rj-1 = г^-1 и Т] < г]. Образуем набор г'' = (г0,..., г^-1, Т] + 1, г^+1,..., тт-1). Он упорядочен и мажорируется (Л, -допустимым набором г', а потому (Л,^)-допу-
стим. Этот набор имеет вес г + 1 и, следовательно, содержится в + 1). Набор г ''
мажорирует г, и при построении множества Дл„и(г) набор г будет исключен из Дд^(г).
Тот факт, что сложность построения множества Дл„и указанным способом полиномиальна по Л, легко извлекается из леммы 4 и того, что число укороченных наборов г веса Ш(г) ^ Л ограничено полиномом от Л. ■
С каждым набором г Е Дл„и свяжем частотный класс Кл(г), где набор г получен из г дописыванием компоненты г* = Л — Ш(г). Совокупность этих частотных классов обозначим через Мл,м.
Утверждение 6. Система Мл,^ образует минимальное представительное множество системы Кл,м. Её явное задание может быть найдено с полиномиальной по Л сложностью.
Доказательство. Убедимся сначала, что Мл,м является представительным множеством системы Кл,^ . Рассмотрим произвольный частотный класс Кг (г) Е Дл,^. Пусть г — укороченный набор для г, пг — упорядочивающая его перестановка. Легко видеть, что набор п*г, полученный упорядочением г, (Л, -допустим, а потому в Дл„и имеется мажорирующий его набор г'. Возьмём соответствующий ему класс Кл(г') системы Мл,м. Нетрудно понять, что для любого доопределения ©л(г') этого класса множество (п-_1Рл(г')) |г доопределяет класс Кг(г). Это означает, что класс Кл(г') представительнее Кг (г). а потому Мл,м — представительное множество системы Дл,^.
Покажем теперь, что представительное множество Мл,^ минимально. Предположим, что это не так и существует представительное множество М' меньшей мощности. Тогда в М' найдётся класс Кл(г'), который представительнее по крайней мере двух различных классов Кл(г1) и Кл(г2) системы Мл,м. Наборы г1 и г2 упорядочены по определению и, согласно утверждению 4, мажорируются результатом упорядочивания набора г'. Будучи максимальными по отношению мажорирования, они совпадают с ним и, следовательно, одинаковы. Это противоречит тому, что классы Кл(г1) и Кл(г2) выбраны различными.
Система Мл,м явно задаётся множеством пар (г, Л), где г — результат приписывания к набору г Е Дл,м компоненты Л — Ш(г). Согласно утверждению 5, сложность задания множества Дл,^ полиномиальна по Л, а потому и сложность задания системы Мл,м полиномиальна по Л. ■
5. Справочная часть кода
Кодирование использует параметры Л и которые будут назначены позже. Для каждого V Е кодовое слово К(V) образовано подсловами К0 и К1(^), К(V) = = К0 К^), где К0, одинаковое для всех V, называется справочной частью кодового слова, К1 (V) — его основной частью. Справочная часть К0 содержит сведения о параметре т задачи, параметрах Л и ^ алгоритма кодирования, а также о доопределениях слов из частотных классов Кл(г), входящих в минимальное представительное множество Мл,м.
Будем использовать следующее представление натуральных чисел в в виде двоичных слов Если а1... , к = |~log(s — 1)], — минимальная двоичная запись числа в, то ¿Г = а1а1... 01. Такое представление чисел удобно применять для задания совокупностей чисел и двоичных слов. Так, например, если в — число, а и1 и и2 — слова, то слово однозначно задаёт пару (в,и1), а слово |м1|м1м2, где |и11 —представление длины |и1| слова и1, однозначно задаёт пару слов (м1,м2). Очевидно, что
|£| ^ в + 4. (23)
Для каждого класса Ка(г) построим доопределение Da (г) с использованием градиентной процедуры из леммы 3. Обозначим через Da,m объединение доопределений Da (г) для всех классов Кд(г) системы Ма,м. Множество Da,m обладает тем свойством, что для любого слова v с |v| ^ Л и h(v) ^ ^ в нём найдётся слово, начало которого доопределяет слово v', полученное из v упорядочивающей перестановкой. Множество с таким свойством будем называть (Л, -представительным. Множество Da,m упорядочим лексикографически.
Слова w G DA,M в алфавите A0 = (а0,... , ат-1} имеют длину Л. Сопоставим каждому w двоичное слово W длины тЛ, заменив в w символы а двоичными словами 0... 010... 0 длины т, содержащими 1 в разряде i, 0 ^ i ^ т — 1. Слова W также будут расположены в лексикографическом порядке в соответствии с упорядочением слов w. Образуем слово wis путём приписывания в этом порядке слов W друг к другу. В качестве справочной части кодовых слов K(v), v G An будем использовать двоичное слово
K0 = m . (24)
Подслово |ws| позволяет при декодировании кодового слова K(v) = K0 K1(v) отделить в нём справочную часть от основной.
Лемма 5.
1) Длина справочной части кода удовлетворяет оценке
|Ko| ^ ЛСб2м. (25)
2) Сложность построения справочной части ограничена величиной (C7)А.
Здесь C6 и C7 — подходящие константы.
Доказательство.
1) По лемме 3 с учётом неравенства Л-д(г) ^ ^ получаем оценку мощности множества Da (г), доопределяющего класс КА(г):
|DA(r)| ^ ЛСз2м.
Для мощности объединения Da,m этих множеств справедливы оценки
|Da,m| ^ ЛСз2м|Ма,м| ^ ЛСз2мЛт+1, (26)
и потому длина слова wis удовлетворяет оценке
|ws| ^ тЛСз+т+12м.
Отсюда, учитывая (22), (23) и (24), приходим к оценке (25).
2) Оценим сложность градиентной процедуры доопределения класса КА(г) G МА,м. Необходимый для построения градиентной таблицы набор Q, на котором достигается квазиэнтропия Л-а(г), вычисляется с полиномиальной сложностью по формуле Q = г/(Л — г*) (лемма 2, п. 7°). Числа строк и столбцов градиентной таблицы не более чем экспоненциальны (относительно Л), поэтому по замечанию 3 процедура реализуется с экспоненциальной оценкой сложности. Поскольку множество Ма,м содержит полиномиальное число классов Ка(г), сложность построения доопределений всех слов из классов множества Ма,м остаётся экспоненциальной. Нетрудно понять, что учёт других операций, используемых для построения справочной части кода, не изменяет характер общей оценки сложности. ■
6. Основная часть кода
Перед построением основной части кодового слова производится обработка справочной части K0 = mA/I|W;£|W£. По ней находятся параметры m, Л, / и слово w^. Затем слово w^ разбивается на подслова w длины тЛ и по ним восстанавливаются соответствующие слова w длины Л в алфавите A0. Согласно (26), число слов w не превосходит ЛС8 2м. Слова w нумеруются в лексикографическом порядке двоичными числами (т.е. числами в двоичной записи) A(w) длины d = [log^C82м)]. Кроме того, все перестановки п множества {0,1,... , m - 1} нумеруются двоичными числами <А(п) длины z = [logm!] (напомим, что m — константа рассматриваемой задачи).
Опишем метод построения основной части K1(v) кода для слова v Е An. Разобьём слово v на куски vi, i = 1, 2,..., последовательно отрезая от него подслова vi максимально возможной длины |vi|, удовлетворяющие условиям h(vi) ^ / и |vi| ^ Л. Если число этих кусков равно t, то v = v1v2 ... vt. Такое разбиение однозначно в силу монотонности квазиэнтропии (п. 5° леммы 2). Положим b = [log Л] и b-разрядную двоичную запись длины куска vi обозначим через Ai.
Каждому куску vi сопоставим его код K(vi) следующим образом. Рассмотрим укороченный набор r(vi) = (r0(vi),... , rm—1(vi)) для слова vi, построим по нему упорядочивающую перестановку п^) и образуем слово п^^ = vi. Слова w, возникшие в результате обработки справочной части кода, образуют (Л,/)-представительное множество, поэтому в нём имеются слова, начала которых доопределяют vi. Возьмём любое из них, обозначим его через w(i) и положим
K (vi) = А^«)АДп—¿)). (27)
В качестве основной части кода для слова v Е возьмём
K1(v) = dlbA^(v1)K(v2)... K(vt). (28)
Из этих выражений с учётом (23) следует, что длина основной части кода может быть оценена величиной
|K1(v)| ^ 2logd + 2logb + 2logz + 2logt + t(d + b + z) + 16. (29)
Лемма 6.
1) Длина основной части K1(v) кода для слова v Е удовлетворяет оценке
|K1 (v)| ^ h(v) + n( logЛ 9 + ^ + logЛ) + 2logn + С10Л, (30) V / - log Л - 2 Л /
где h(v) —квазиэнтропия слова v.
2) Сложность построения основной части кода для слова v Е при заданной проверочной части ограничена величиной пЛС112м.
Доказательство.
1) Будем говорить, что кусок vi слова v имеет тип 1, если |vi| < Л, и тип 2, если |vi| = Л. Количества кусков типа 1 и 2 в слове v обозначим соответственно t1 и t2. Очевидно, что t2 ^ п/Л.
Оценим t1. Если кусок vi имеет тип 1, то либо он является заключительным в слове v, либо квазиэнтропия h(via) слова, полученного приписыванием к vi символа a,
расположенного в слове v после vi, превышает Во втором случае в силу п. 6° леммы 2 имеем
h(vi) ^ h(via) — log |vi| — log e ^ ^ — log Л — 2.
Используя это неравенство и тот факт, что число незаключительных кусков типа 1 не превышает ti — 1, выводим на основе п. 4° леммы 2
h(v) = h(vi ...vt) ^ Е h(vi) ^ (ti — 1)(^ — log Л — 2).
i=i
h(v) h(v) n
Отсюда ti ^ ------ + 1, а потому t = ti + t2 ^ ------ + -r + 1.
^ — log Л — 2 ^ — log Л — 2 Л
Перепишем (29) в виде
|Ki(v) | ^ [(ti — 1)(d+b+z)] + [t2(d+b+z)] + [(d+b+z) + 2(log d+log b+log z) + 2 log n +16]
и найдём оценку этого выражения как сумму оценок трёх его фрагментов, выделенных квадратными скобками. Имеем
h(v)
(ti — 1)(d + b + z) ^ --Ц--((C8 + 1) log Л + ^ + mlogm + 3) =
^ — log Л — 2
h(v)
= h(v) +---((Cg + 2) log Л + m log m + 5).
^ — log Л — 2
Оценив здесь второе вхождение h(v) максимально возможным значением n log m квазиэнтропии (п. 1° леммы 2), получаем
(ti — 1)(d + b + z) ^ h(v) + nlogm((Cg + 2)log Л + mlogm + 5) ^
^ — log Л — 2
^ hi \ i C9nlogЛ
^ h(v) +
(31)
^ — log Л — 2 Оценка второго фрагмента даёт
n((C8 + 1)log Л + V + m log m + 3)^ V + C9 log Л
t2(d + b + z) ^ --- ^ n---. (32)
ЛЛ
Оценим заключительный фрагмент, учитывая неравенства t ^ n и ^ ^ Л log m:
(d + b + z) + 2(logd + logb + logz) + 2logt + 16 ^ ^ (d + b + z) + 6log(d + b + z) + 2 log t + 16 ^ (33)
^ ^ + C9 log Л + 6 log(^ + C9 log Л) + 2 log n +16 ^ 2 log n + СюЛ.
Просуммировав (31), (32) и (33), получаем (30).
2) Алгоритм построения основной части Ki(v) кода при заданной справочной части К0 включает три основных этапа.
На первом этапе производится обработка справочной части кода, как описано в начале раздела. С учётом оценки (25) нетрудно заключить, что сложность этого этапа не превышает ЛС12 2м.
Второй этап посвящён разбиению слова v на куски vi. Сложность этого этапа ограничена величиной пЛ°13, где n — длина слова v.
Третий этап включает построение кодов Квсех кусков в соответствии с (27) и образование из них основной части кода для слова V. Наибольшая сложность при построении Кприходится на поиск слова начало которого доопределяет слово полученное из V упорядочивающей перестановкой. Слово может быть найдено путём последовательного просмотра слов ад, возникших в результате обработки справочной части, и проверки, доопределяют ли их начала слово С учётом того, что число слов и> не превосходит ЛС8 2м, для этого достаточно выполнить не более ЛС14 2м операций. Можно считать, что эта оценка покрывает также полиномиальное по Л число других операций, требуемых для построения кода Кв соответствии с (27). Поскольку число £ кусков V не превышает длину п слова V, на построение кодов всех кусков затрачивается не более пЛС142м операций. Будем считать, что константа С14 выбрана так, что эта оценка учитывает также операции, используемые для построения К^) из кодов К(V) в соответствии с (28) и, таким образом, оценивает сложность третьего этапа.
Величина сложности из п. 2 формулировки леммы 6 оценивает сверху при подходящем выборе Си сумму сложностей всех трёх этапов. ■
7. Оценка характеристик кодирования
Покажем, что предложенное кодирование К удовлетворяет исходным требованиям к кодированию частично определённых слов.
Лемма 7. Кодирование К разделимо и позволяет для всякого слова V Е восстановить по его коду К(V) некоторое доопределение слова V.
Доказательство.
1. Убедимся, что код обладает достаточным для разделимости свойством префикса. Пусть К(V) и К(V') — кодовые слова и К(V) является префиксом (началом) слова К(V'). Это соотношение переносится на их основные части К^) и К^'), поскольку справочные части совпадают. Тогда из (28) следует, что ¿' = £ и слово К .. .К (эд) является префиксом слова К (V') ... К (V). Так как эти слова имеют одинаковую длину ¿(к + Ь + г), они обязаны совпасть, что влечёт совпадение кодовых слов К(V) и К(V').
2. Метод декодирования — восстановления по К(V) некоторого доопределения слова V — включает два этапа.
На первом этапе сначала по начальной части тп^Л^е| кодового слова К(V) находятся параметры т, Л и а также длина слова ад^, позволяющая отделить справочную часть К0 от основной части К^). Затем производится изложенная в начале п. 6 обработка справочной части кода, результатом которой является (Л, -представительное множество доопределений ©л,м, упорядоченное лексикографически.
На втором этапе сначала по основной части К^) кода находятся параметры к, Ь, г, ¿. Затем представляющие их слова к, Ь, Л, £ удаляются и остаток основной части разбивается на подслова длины к + Ь + г, задающие коды Ккусков. Чтобы получить доопределение куска Vi, следует в соответствии с (27) разделить слово Кна части длины к, Ь и г, найти в ^л,м слово, номер которого при лексикографическом упорядочении задаётся первой частью кода, взять его начальное подслово, длина которого определяется второй частью, и осуществить в нём переименование символов в соответствии с третьей частью. Доопределение слова V образуется заменой кусков V полученными доопределениями кусков. ■
Приведём оценки характеристик кодирования при заданных параметрах Л и
Лемма 8. Представленное кодирование частично определённых слов v Е An
1) обеспечивает длину кода
|K(v)| í h(v) + »(-^Ц + " + Cl0g A) + AC2» + 2logn;
V ц — log A — 2 A /
2) выполнимо со сложностью, не превосходящей (C7)A + nACl12»;
3) допускает декодирование, сложность которого не выше (n + 2»)ACl5. Доказательство. Утверждения 1 и 2 получены суммированием соответствующих результатов лемм 5 и 6. Член СюА, возникающий при суммировании длин, покрывается членом АСб 2» (при подходящем выборе константы C6) и потому в результат не включён.
Декодирование следует плану, описанному в лемме 7. На реализацию первого этапа затрачивается не более ACl2 2» операций (см. доказательство леммы 6). Возникающее (A, ц)-представительное множество используется на втором этапе для декодирования кодов кусков K(vi). Выделение, обработка и декодирование кода K(v¿) одного куска выполнимо с полиномиальной относительно A сложностью. Число t кусков не превосходит n, поэтому декодирование всех кусков требует не более nACl5 операций. Нетрудно видеть, что эта величина при подходящем выборе C15 покрывает также сложность других операций, используемых на втором этапе. Суммарная сложность обоих этапов составляет ACl2 2» + nACl5. Назначив константу C15 превосходящей C12, приходим к утверждению 3 леммы 8. ■
Введём функцию ф(п) ^ то, в терминах которой будет сформулирована оценка средней длины кода (см. замечание 1). Имеет смысл рассматривать лишь функ-
/ / ч ( log» А1/2
ции ф(п) с порядком роста меньше -—-- , ибо иначе остаточный член
vlog log n/
гл(mí \íloglogn\1/2>\ n
O ф(п) —--не стремится к U и асимптотическая оптимальность кодиро-
log n
вания не гарантируется. Будем считать, что функция ф(п) удовлетворяет условию
ф(») = o(log1/2(n)). (34)
Назначим параметры A и ц, положив
log n
A
02(»)J '
(log n log log n)1/2 ф(п)
35)
36)
Запись [xj означает ближайшее целое к x снизу. Используя в лемме 8 эти значения параметров, получаем следующий факт.
Лемма 9. Если растущая функция ф(п) удовлетворяет условию (34), то метод кодирования частично определённых слов длины n, использущий значения параметров А и ^ из (35), (36),
1) обеспечивает оценку длины кода
|K(v)| ^ h(v) + O (пф(п)( )1/2
\ V log n /
2) допускает кодирование и декодирование со сложностью O(n2).
Доказательство.
1) Перепишем утверждение 1 леммы 8 в виде
|K(v)| - h(v) < A1 + A2 + A3 + A,, (37)
где A1 = C9,"'°f Л 2; A2 = n(/ + C'ogЛ); A3 = Л<*2м; A4 = 2logп.
/ - log Л - 2 Л
Из (35) с учётом (34) следует, что Л ^ то и, кроме того, log Л ^ log log п. Сравнение равенств (35) и (36) показывает, что / ^ (Л log Л)1/2 - 1, а потому log Л = o(/) и имеют место асимптотические равенства / - log Л - 2 ~ / и / + Cg log Л ~ Принимая их во внимание, получаем
Cgn log Л Cgn log log пф(п^ f log log П) 1/2
A1 ~ - <й-\-\-WS < Сдпф(п) ^- ,
/ (log n log log n)1/2 V log n /
n/ n(log n log log п)1/2ф(п) f log log n) 1/2
A2 ~ — ~---~ пф(п) —- .
Л log n log n
Из последнего соотношения следует, в частности, что log A2 ~ log п. В то же время log A3 = C6 log Л+/ ~ / = o(log п), а потому log A3 = o(log A2) и, тем более, A3 = o(A2). Очевидно также, что A4 = o(A2). Подстановка полученных соотношений в (37) даёт
|K(v)| - h(v) < (Cg + 1)n0(n)fkg^)1/2,
а потому для некоторой константы C15 выполнено
ff -
log n
|K(v)| ^ h(v) + C15n0(n)flog-l°n-n)1/2, (38)
что влечет первое утверждение леммы.
2) Параметры Л и заданные равенствами (35) и (36), удовлетворяют условиям Л = o(log п) и / = o(log п). Подстановки этих соотношений в оценки сложности кодирования и декодирования из п. 2 и 3 леммы 8 показывают, что каждая из этих оценок не превосходит n1+o(1) ^ O(n2). Это даёт утверждение п. 2 леммы 9. ■
Следующее утверждение имеет место для недоопределённых источников X = = (A, P) в произвольном недоопределённом алфавите A = {ay : T Е T}.
Лемма 10. Если R — кодирование недоопределённого источника X = (A, P) общего вида и для всякого слова v Е An длина кодового слова удовлетворяет условию
K(v) ^ h(v) + G(n)
с некоторой функцией G(n) (не зависящей от v), то для средней длины кода K справедлива оценка
4n) ^ h(p ) + Gn.
Доказательство. Обозначим через p(P, r, п) суммарную вероятность слов класса Kn(r), r = (rT, T Е T). Вероятности p(P, r, n) имеют вид
n!
P(P' r n) = тт П pTt
П rT! Ter t er
и образуют полиномиальное (мультиномиальное) распределение [24]. При каждом наборе вероятностей Р оно обладает свойствами
ЕР(Р, г,п) = 1, £р(Р, г,п)^ = Рт (Т еТ), (39)
где Гт и рт — компоненты наборов г и Р.
В выражении (3) для средней длины кода сгруппируем слова V е , принадлежащие одному частотному классу, и, воспользовавшись условиями леммы и тем, что
слова класса Кп(г) имеют одинаковую квазиэнтропию Л^) = Лп(г) = пН^—^, придём к оценке п
^ ^ ЕР(Р, г, п)Н (—) + £р(Р, г, п) ^ = Ех + Е2.
г \П/ г П
Оценим Ех, применив к вогнутой функции Н (п. 2° леммы 1) неравенство Йенсена и второе равенство из (39). В результате имеем
Ех ^ Н Р(Р, г,п)^ = Н(Р).
£(п)
Первое равенство из (39) в применении к Е2 даёт Е2 = -. Утверждение леммы
п
- V V Я» 17 ^ С(п) _ получается заменой Ех и Е2 в оценке для величинами Н(Р) и-. ■
Лемма 11. Для любого частично определённого источника X = (А, Р) и любой функции ф(п) ^ то имеется способ кодирования К, обеспечивающий оценку средней длины кода
« H(P) + о( Ф(п)(№)1/2
1og n
и допускающий кодирование и декодирование со сложностью O(n2).
Доказательство. Если ф(п) удовлетворяет условию (34), то нужное утверждение получается из леммы 9 путём применения леммы 10 к неравенству (38).
Если условмие (34) нарушено, следует рассмотреть произвольную функцию ф'(n) ^ то, удовлетворяющую условиям ф'(п) ^ ф(п) и (34). Утверждение леммы, справедливое по доказанному для функции ф'(п), будет верно и для исходной функции ф(п), которая не меньше ф'(п). ■
Утверждение теоремы 2 вытекает из леммы 11 при ф(п) = (log log n)1/2.
ЛИТЕРАТУРА
1. Галлагер Р. Теория информации и надежная связь. М.: Сов. радио, 1974. 720 с.
2. Шоломов Л. А. Элементы теории недоопределённой информации // Прикладная дискретная математика. Приложение. 2009. №2. С. 18-42.
3. Шоломов Л. А. Сжатие частично определенной информации // Нелинейная динамика и управление. Вып. 4. М.: Физматлит, 2004. С. 377-396.
4. Ахо А, ХопкрофтДж., Ульман Дж. Построение и анализ вычислительных алгоритмов. М.: Мир, 1979. 536 с.
5. Шоломов Л. А. Энтропия системы частично определенных последовательностей с вложенными областями определения // Нелинейная динамика и управление. Вып.3. М.: Физматлит, 2003. С. 305-320.
6. Колмогоров А. Н. Три подхода к определению понятия «количество информации» // Проблемы передачи информации. 1965. Т. 1. №1. C.3-11.
7. Чашкин А. В. Дискретная математика. М.: Академия, 2012. 352 с.
8. Шеннон К. Э. Синтез двухполюсных переключательных схем // Работы по теории информации и кибернетике. М.: ИЛ, 1963. С. 59-101.
9. Лупанов О. Б. Об одном подходе к синтезу схем — принципе локального кодирования // Проблемы кибернетики. Вып. 14. М.: Наука, 1965. С. 31-110.
10. Нечипорук Э. И. О сложности вентильных схем, реализующих булевские матрицы с неопределенными элементами // Докл. АН СССР. 1965. Т. 163. №1. С. 40-43.
11. Шоломов Л. А. О реализации недоопределенных булевых функций схемами из функциональных элементов // Проблемы кибернетики. Вып. 21. М.: Наука, 1969. С. 215-226.
12. Андреев А.Е. О реализации частичных булевых функций схемами из функциональных элементов // Дискретная математика. 1989. Вып. 4. С. 36-45.
13. Чашкин А. В. Методы вычисления частичных булевых функций // Дискретные модели в теории управляющих систем: VII Междунар. конф. М.: МАКС Пресс, 2006. С. 390-404.
14. Шоломов Л. А. О функционалах, характеризующих сложность систем недоопределенных булевых функций // Проблемы кибернетики. Вып. 19. М.: Наука, 1967. С. 123-139.
15. Andreev A. E., Clementi A. E. F., and RolimJ.D.P. Worst-case hardness suffices for derandomization: A new method for hardness-randomness trade-offs // LNCS. 1997. V. 1256. 1997. P. 177-187.
16. Miltersen P. B. On the Shannon function for partially defined Boolean functions. http:// www.brics.dk/~bromille/Papers/index.html. 1999.
17. Мадатян Х. А. О реализации не всюду определенных k-значных матриц заданной «густоты» вентильными схемами глубины два // Методы дискретного анализа в теории булевых функций и схем. Вып. 35. Новосибирск: ИМ СО АН, 1980. С. 71-82.
18. Andreev A. E. Complexity of Nondeterministic Functions. BRICS report. Ser. RS-94-2. Febr. 1994. 47 p.
19. Чашкин А. В. Вычисление недоопределенных функций // Дискретная математика и ее приложения. Сб. лекций молодежных научных школ. Вып. VI. М.: ИПМ РАН, 2011. С.29-40.
20. Krichevsky R. E. Occam's razor, partially specified Boolean functions, string matching, and independent sets // Information and Computation. 1994. Iss. 108. P. 158-174.
21. Кричевский Р. Е. Сжатие и поиск информации. М.: Радио и связь, 1989. 168 с.
22. Шоломов Л. А. Кодирование частично определенных дискретных источников без памяти // Докл. АН. 2004. Т. 397. №2. С. 178-180.
23. Васильев Ю. Л., Глаголев В. В. Метрические свойства дизъюнктивных нормальных форм // Дискретная математика и математические вопросы кибернетики. Т. 1. М.: Наука, 1974. С. 99-148.
24. Крамер Г. Математические методы статистики. М.: Мир, 1975. 648 с.
REFERENCES
1. Gallager R. G. Information Theory and Reliable Communication. N.Y., Wiley Publ., 1968. 608 p.
2. Sholomov L. A. Elementy teorii nedoopredelennoy informatsii [Elements of the under-determined information theory]. Prikladnaya Diskretnaya Matematika. Prilozhenie, 2009, no. 2, pp. 18-42. (in Russian)
3. Sholomov L. A. Szhatie chastichno opredelennoy informatsii [Compression of partial defined information]. Nelineinaya dinamika i upravlenie, vol. 4, Moscow, Fizmatlit, 2004, pp. 377-396. (in Russian)
4. AhoA., HopcroftJ., and Ulman J. The Design and Analisis of Computer Algorithms. Addison-Wesley Publ. Co, 1976. 480 p.
5. Sholomov L. A. Entropiya sistemy chastichno opredelennih posledovatelnoctei s vlozhennimi oblastyami opredeleniya [Entropy of a system of partially defined sequences with nested domains]. Nelineinaya Dinamika i Upravlenie, vol.3, Moscow, Fizmatlit Publ., 2003, pp. 305-320. (in Russian)
6. Kolmogorov A. N. Three approaches to the quantitative definition of information. Problems Inform. Transmissions, 1965, no. 1, pp. 1-7.
7. Chashkin A. V. Diskretnaya matematika [Discrete Mathematics]. Moscow, Academia, 2012. 352 p. (in Russian)
8. Shannon C.E. The synthesis of two-terminal switching circuits. Bell Syst. Techn. J., 1949, vol.28, no. 1. pp. 59-98.
9. Lupanov O. B. Ob odnom podhode k sintezu upravlyayushchikh sistem — printsipe lokalnogo kodirovaniya [On a certain approach to the synthesis of control systems — the principle of local coding]. Problemy Kibernetiki, iss. 14, Moscow, Nauka Publ., 1965, pp. 31-110. (in Russian)
10. Nechiporuk E. I. Complexity of gating circuits which are realized by Boolean matrices with undetermined elements. Soviet Phis. Dokl., 1966, iss. 10, pp. 591-593.
11. Sholomov L. A. Realization of partial Boolean functions by circuits from functional elements. Systems Theory Res., 1971, iss. 21, pp. 211-223.
12. Andreev A. E. On the complexity of the realization of Boolean functions by circuits of functional elements. Discrete Math. Appl., 1991, vol.1, iss.3, pp. 251-261.
13. Chashkin A. V. Metody vychisleniya chastichnyh bulevyh funktsii [Methods for computing partial Boolean functions.] Diskretnye Modeli v Teorii Upravlyayushchih Sistem: VII Mezhdunarodnaya Konferentsiya. Moscow, MAKS Press, 2006, pp. 390-404. (in Russian)
14. Sholomov L. A. On functionals characterizing the complexity of systems of undetermined Boolean functions. Systems Theory Res., 1970, iss. 20, pp. 123-140.
15. Andreev A. E., Clementi A. E. F., and RolimJ.D.P. Worst-case hardness suffices for derandomization: A new method for hardness-randomness trade-offs. LNCS, 1997, vol. 1256, pp.177-187.
16. Miltersen P. B. On the Shannon function for partially defined Boolean functions. http:// www.brics.dk/~bromille/Papers/index.html. 1999.
17. Madatyan H. A. O realizatsii ne vsyudu opredelennyh k-znachnyh matrits zadannoy "gustoty" ventilnymi shemami glubiny dva [On the implementation of not everywhere defined k-valued matrices of a given "density" by valve circuits of depth two]. Metody Diskretnogo Analiza v Teorii Bulevyx Funktsiy i Skhem, iss. 35, Novosibirsk, Institute of Mathematics Publ. House, 1980, pp. 71-82. (in Russian)
18. Andreev A. E. Complexity of nondeterministic functions. BRICS report Series, RS-94-2, Febr. 1994. 47 p.
19. Chashkin A. V. Vychislenie nedoopredelennyh funktsii [Computing of underdetermined functions.] Diskretnaya Matematika i ee Prilozheniya. Sbornik Lektsiy Molodezhnyh Nauchnyh Shkol, VI, Moscow, Keldysh Inst. of Appl. Math. Publ. House, 2011, pp. 29-40. (in Russian)
20. Krichevsky R. E. Occam's razor, partially specified Boolean functions, string matching, and independent sets. Information and Computation, 1994, iss. 108, pp. 158-174.
21. Krichevsky R. Universal Compression and Retrieval. Kluwer Acad. Publ., 2010. 219 p.
22. Sholomov L. A. Encoding of partially defined discrete memoryless sources. Doclady Mathematics, 2004, vol, 70, no. 1, pp. 651-653.
23. Vasil'ev Yu.L. and Glagolev V. V. Metricheskie svoystva diz"yunktivnykh normal'nykh form [Metric properties of disjunctive normal forms]. Discrete Mathematics and Mathematical Problems of Cybernetics, vol.1, Moscow, Nauka, 1974, pp. 99-148. (in Russian)
24. Cramer H. Mathematical Methods of Statistics. Prinston University Press, 1946. 575 p.
