Энтропия недоопределенных последовательностей при ограничениях на доопределения Текст научной статьи по специальности «Математика»

ПРИКЛАДНАЯ ДИСКРЕТНАЯ МАТЕМАТИКА

2008

Теоретические основы прикладной дискретной математики

№ 1(1)

УДК 519.728

ЭНТРОПИЯ НЕДООПРЕДЕЛЕННЫХ ПОСЛЕДОВАТЕЛЬНОСТЕЙ ПРИ ОГРАНИЧЕНИЯХ НА ДООПРЕДЕЛЕНИЯ

Л.А. Шоломов

Институт системного анализа РАН, г. Москва E-mail: [email protected]

Рассматриваются последовательности недоопределенных символов, каждому из которых соответствует некоторое множество полностью определенных символов, одним из которых он может быть замещен (доопределен). При заданных ограничениях на вид доопределний получены оценки минимальной мощности доопределяющего множества для класса последовательностей с заданными кратностями появления символов.

Ключевые слова: недоопределенный символ, доопределение, комбинаторная энтропия, ограниченная комбинаторная энтропия, W-энтропия.

Задано множество M = {0, 1, m - 1} и каждому непустому Tс M сопоставлен символ aT. Алфавит всех символов aT обозначим через A, а его подалфавит {a0, a1, ..., am-1}, символы которого соответствуют элементам множества M, - через A0. Символы из A0 будем называть основными, из A - недоопределенными. Доопределением символа aT назовем всякий основной символ a;> i е T, а доопределением последовательности в алфавите A - любую последовательность в алфавите A0, полученную из исходной заменой всех символов некоторыми доопределениями. Будем рассматривать последовательности длины n в алфавите A. Для набора натуральных чисел n = (nT, Tс M), It nT = n, обозначим через Kn(n) множество всех последовательностей длины n, в которых символы aT, T с M, встречаются nT раз. Скажем, что некоторое множество последовательностей в алфавите A0 доопределяет класс Kn(n), если в нем найдется доопределение каждой последовательности из этого класса. Пусть Nn(n) - минимальная мощность множества, доопределяющего Kn(n). Величину log Nn(n) (здесь и дальше логарифмы двоичные) будем называть комбинаторной энтропией класса Kn(n).

Введем обобщение энтропийной функции Шеннона на случай недоопределенных данных (подробнее см. в [1]), положив для всякого набора P = (pT, T с M), pT> 0, It Рт = 1 :

где минимум берется по наборам Q = (q, i е M), qt > 0, ^. q. = 1. Для полностью определенных данных, когда множествам T мощности |T| > 2 соответствуют pT = 0, функция H(P) совпадает с обычной энтропийной функцией Н (р0рт_1) = -I „т - 1 р log р. Введем функционал hn(n) = n H(n/n), где n/n = (nT /n, T с M).

В [1] получены следующие оценки комбинаторной энтропии.

Утверждение 1. Существует константа c = c(m), такая, что комбинаторная энтропия класса Kn(n) заключена в пределах

В ряде случаев возникают ограничения на вид используемых доопределений (см., например, [2]). Для набора натуральных чисел s = (s0, ..., sm-1), s0 + ... + sm-1 = n, обозначим через Kn(s) класс всех последовательностей из (A0)n, в которых символы a,, iєM, встречаются s, раз. Считаем, что набор s совместим с n, если в Kn(s) имеются доопределения всех (эквивалентно - хотя бы одной) последовательностей из Kn(n). Будем говорить, что множество S с (A0)n совместимо с n, если любой набор из S совместим с n. Пусть Kn (S) = U „ Kn (s). Для S, совместимого с n, обозначим через Nn(n)S минимальное число последовательностей из Kn(S), доопределяющих класс Kn(n), и величину log Nn(n)S назовем S-ограниченной комбинаторной энтропией класса Kn(n).

В работе [2] приведены оценки S-ограниченной энтропии для возникших там случаев - когда множество

S одноэлементно (теорема 6) и еще в одной ситуации (теорема 7 без доказательства). В данной работе рас-

hn(n) - c log n < log Nn(n) < hn(n) + c log n.

сматривается произвольное множество Б, совместимое с и. Чтобы сформулировать основной результат, введем ряд понятий.

Пусть Я = ||гТг|| - матрица, столбцы которой соответствуют множествам Т с М, строки - элементам г е М. Элементы матрицы удовлетворяют условиям гТг > 0, гТг = 0 для г € Т, Е т . гт = 1. С матрицей Я свяжем

функцию

1 (Я) = Е ГТ11рё V Г\------•

Т ,г Е Т ГТг Е г ГТг

Если рассматривать Я как матрицу совместных вероятностей, то 1(Я) - величина взаимной информации [3]. Пусть заданы наборы Р = (рТ, Тс М), рТ> 0, Етрт = 1, и некоторое множество 2 наборов

6 = (?/, г с М), д, > 0, дг- = 1. Будем говорить, что матрица Я согласована с Р при ограничениях 2, если

Е г = Рт и наб°р 6 = (?o, ^, Ч1 = X Г %> содержится в 2. Величину 1(Я) по всем матрицам Я,

согласованным с Р при ограничениях 2, обозначим через Н(Р)е. В частности, если множество 2 состоит из одного набора 6, будем использовать обозначение И(Р)д. Значение Н(Р)д достижимо, и вместо т£^ в этом случае можно использовать штд. Отметим, что функции И(Р)цг подобного типа для различного рода ограничений Ж на вид совместных распределений возникают в задачах кодирования с заданным критерием верности и носят название Ж-энтропии [4].

Для множества Б, согласованного с и, введем функционал й„(и)5 = п Я(и/п)5/п, где Б/п означает множество наборов «/п, «еБ. Если Б состоит из одного набора «, будем использовать обозначение Нп(п)!1. Так как число

наборов длины п конечно и величина йп(и)5 достижима, то Нп (п)$ = шт к(п)5. Сформулируем основной ре-

зультат работы.

Теорема. Существует константа с = с(т), такая, что для любых и и Б, где Б согласовано с и, Б-огра-ниченная комбинаторная энтропия класса Кп(и) заключена в пределах

йп(и)5 - с 1о§ п < 1о§ Щи)5 < йп(и)5 + с 1о§ п.

Для доказательства понадобится следующий факт.

Лемма. Если для целочисленных наборов и = (пТ, Т с М) и « = ($,, г е М), таких, что Е т пт = Е . я. , система уравнений относительно переменных ^МТг

Е. Wтi = Пт (Т с М), Ет ™Т1 = •?; 0’ е м), ^ = 0 (г € Т) (*)

имеет неотрицательное решение, то для всякого такого решения w = (^Тг, Т с М, г е М) найдется целочисленное неотрицательное решение 0 = (мИ°1, Т с М, г е М), для которого < 1 при всех Т и г.

Доказательство. Рассмотрим решение ^ и положим иТг = |_^Тг_|, wTг■ = wTг■ - мТг-, пт =Е г ^ =ЕТ .

Очевидно, что числа иТ и я'( будут целыми и что выполнены уравнения, полученные из (*) заменой всех величин штрихованными, а также условие Ег п'т ~ ЕI я/. Построим ориентированную потоковую сеть [5] с

полюсами $ (источник) и г (сток), внутренними вершинами аТ, Т с М, и в,, г е М, дугами (я, аТ) с пропускными способностями п'т , дугами (аТ, в,), г € Т, с пропускными способностями 1 и (в,, г) с пропускными способностями ^ . Поток в этой сети не превосходит Е г пТ_ Е / я/, и эта величина достигается при назначении потоков в дугах (аТ, вг) равными мТ. По теореме Форда - Фалкерсона в этой сети существует максимальный целочисленный поток. Обозначив через мТ (мт е {0,1}) соответствующие потоки в дугах (аТ, вг) и

0 . ГГ 0

положив = иТ1 + , получим величины , которые, как нетрудно видеть, удовлетворяют условиям

леммы.

Доказательство теоремы. Н и ж н я я о ц е н к а. Обозначим через г$(п) максимальное число последовательностей из Кп(п), доопределимых одной последовательностью из Кп(£). Рассмотрим последовательности х е Кп(п) и у е Кп(£), такие, что х доопределяет у. Пусть у е Кп(£), « = ($•, г е М). Обозначим через ^Тг число символов аТ в х, доопределенных в у символом аг. Числа ^Тг удовлетворяют условиям (*). При заданных ^Тг последовательность у доопределяет

П Яг !

П 0 ! П ,т-1 ! П ™Т1

Т Т ТА

последовательностей из Kn(n), а всего она доопределяет

[™Т1 },(*) П ¥Т1-Т ,г

последовательностей из этого класса, где сумма берется по всем наборам неотрицательных чисел ^Т, , удовлетворяющих условиям (*). В силу 0 < ^Тг < п и того, что количества индексов г и множеств Т ограничены константами (зависящими от т), имеем

WT

п

si

ts (и) < и01 max

'TO>(,) П WTi T ,i

где c1 = c1 (m) - константа. Отсюда

tS (n) = max ts (n) < nc max max -------------.

seS seS {wTi },(*) П WTi !

T ,i

Класс Kn(n) содержит и^Пт Пт ! последовательностей. Отсюда и из предшествующего неравенства заключаем, что

Nn (n)S > -—n (n) > n Cl min min

" seS

n!ПT,i wTi!

ts (и) {wTi },(*) П T пт t Si !

Из формулы Стирлинга следует, что для любых целых z, zb ..., zk, z > 2, z\ + ... + zk = z, выполнено log (z \j П . zj \) = z log z - E . zj log zJ + 9 log z , - c2 < 9 < C2, C2 = C2(k). С учетом этого получаем

log N„ (n)S > min min

^ S SES {WTi},(*)

dog n - I «T log «T - I Si log Si + I wTi log wTi

- c log n.

Используя равенства ^T nT = ^. s. = ^T . wTi = n и (*), преобразуем минимизируемое выражение к виду

W

n

Sil Si

i log i

n n

= n I

Wt

откуда

Wt

- c log n >

> min nH(n / n)s/ n - c log n = min hn (n)s - c log n = hn (n) S - c log n.

seS seS

В е р х н я я о ц е н к а. Рассмотрим значение s, при котором hn(n)s = hn(n)S. Занумеруем последовательности x е Kn(n) иy е Kn(s) индексами r = 1,2,...,n j^\TnT ! и q = 1,2,...,n Ч П . s.! соответственно. Образуем

таблицу ||dqr||, строки которой соответствуют последовательностям yq, столбцы - последовательностям xr, положив dqr = 1 в случае, когда yq доопределяет xr, и dqr = 0, когда нет. Все столбцы таблицы содержат одинаковое число единиц; обозначим его bs(n). Оценим bs(n) снизу.

Пусть R = ||rTi|| - матрица, на которой достигается значение H(n/n)s/n. Числа wTi = nrTi удовлетворяют уравнениям (*). По лемме найдется целочисленное решение {w0} уравнений (*), компоненты которого отличаются от wTi не более чем на 1. Для произвольного xr = Kn(n) число доопределений yq е Kn(s), в которых число символов aT, доопределяемых символом ai, равно w0, составляет П т пт */П лw<0i ^. Поэтому

(и) ^ П т пт ■/П T,i

Wt

В матрице из 0 и 1 с и строками и V столбцами, содержащей не менее $ единиц в каждом столбце, можно выделить множество из не более — (1п—+1) +1 строк, содержащих 1 в каждом столбце [6]. Из этого резуль-

5 —

тата при

и =

n!

Пі

v =

n!

П nT !

П T

s =

П wTi

T ,i

получаем оценку

Nn in)S ^ Nn in)s ^ C1«

П|П WTl 1

П «г П si1

где c1 = c\(m) - некоторая константа. Применение формулы Стирлинга дает

log Nn (и) s < n log n - Z nT log nT - Z s log Si + Z w0 log w0 + c2 log n.

T i T,i

Нетрудно убедиться непосредственно, что при изменении числа x не более чем на 1 величина x log x изменяется не более чем на O(log x). С учетом этого и того, что количества индексов T и i ограничены константами (зависящими от m), перейдем от величин w0 к wTi = nrTi:

log Nn (И) s < П log П - Z ПТ log ПТ - Z St log St + Z WTi log WTi + C3 log n,

T i T ,i

изменив константу перед log n. Подобно случаю нижней оценки это неравенство может быть преобразовано к виду

log Nn (n) S ^ n 1

- c3 log n.

Принимая во внимание, что

n I

= n 1 (|| r7711) = nH (n/n) s/ n = hs (n) = hS (n),

приходим к нужной верхней оценке. Теорема доказана.

Рассмотрим функцию

H(P, Q) = -Z T PT log Z i

4i ’

участвующую в определении функции H(P), и функцию H(P)q, введенную выше. Из [1, 2] следует, что mine H(P, Q) = mine H(P)q (= H(P)) и, более того, минимумы достигаются в одной и той же точке Q0. Функция H(P, Q) задана явно, в то время как H(P)q определена как минимум функции I(R) по матрицам R, удовлетворяющим определенным условиям. В связи с этим возникает вопрос о взаимоотношении функций H(P, Q) и H(P)q и возможности замены в теореме функционала hn(n)S вычислительно более простым функционалом hn(n, S), где hn(n, S) = minseS hn(n, s), hn(n, s) = n H(n/n, s/n).

Утверждение 2. Имеет место неравенство H(P, Q) < H(P)q.

Доказательство. Пусть значение H(P)q достигается на матрице R = ||rTi||. Ее элементы удовлетворяют соотношениям . rTi - рТ , I т rTi- q. • При заданном T, воспользовавшись для выпуклой функции

f(x) = x log x неравенством Иенсена Z i atf(xi) ^ f (Z . aixi) при ai = qtjZ JeT qj , xi = rTi /PTqi, получаем с учетом rTi = 0 для i £ T

Z i rті log = Рт (,,т qj ) i ---------------rjL- log JiL-

i Pт Li V j ’ 1Z ,єт Lj № Li № Li

1

Z

j-ет LJ

JjeT qj Ptq. № q.

Суммирование этих неравенств по T дает H(P)q > H(P, Q). Утверждение доказано.

Из него вытекает, что hn(n, S) < hn(n)S, и в силу теоремы получаем следующий факт.

Следствие. Существует константа c = c(m), такая, что

log Nn(n)s > hn(n, S) - c log n.

Таким образом, более просто вычислимый функционал hn(n, S) может быть использован в нижней оценке S-ограниченной комбинаторной энтропии. Следующий пример показывает, что он не применим в качестве верхней оценки.

Пример. Рассмотрим некоторый класс Kn(n) частично определенных последовательностей, т.е. последовательностей в алфавите A = {a0, ..., am-1, •}, где • - неопределенный символ, допускающий доопределение любым символом алфавита A0 = {a0, ..., am-1} (в прежних обозначениях он совпадает с aM). Пусть

n = (n0, ..., nm-1, n.) и доопределения берутся из Kn(s), s = (s0, ..., sm-1), s0 > n0, ..., sm-1 > nm-1. Удобнее иметь дело с частотами, поэтому положим n/n = P = (p0, ., pm-1, p.), P' = (p0, ., _pm-1), s/n = Q = (q0, ., qm-1).

Поскольку log ^ i qi = 0, функция H(P, Q) приобретает вид H(P, Q) = -^ i pi log qi. Отсюда, учитывая

Zi p = 1 - P,, по свойству энтропийной функции получаем

H (P, Q) = -(1 - p. )^-PL- log q; > (1 - p.) H f-^L. ,...,-^1 = (1 - p.) H f-Pl 1 - P. У1 - P. 1 - P.) У1 - P.

Равенство здесь достигается лишь при Q0 = P'/(1 - p.), поэтому H(P) = H(P, Q0) = (1 - p.)H(P'/(1 - p)).

В данном случае имеется единственная матрица R, согласованная с P при ограничении Q. Ее ненулевыми элементами являются rii = p, r.i = qt - p, 0 < i < m - 1. Следовательно,

H(P)q = I(R) = I ip. log^- +1 i (qi - p.)log

РіЧі Р.Чі

= -I. Чі log Чі + p. I. ^ log ^ = H(Q) - p.HI Q P'

P. P. \ P.

С учетом I. (q. - p) - p и свойств энтропийной функции оценим разность

H (P)q - H (P, Q) = -p. X г log qt - p. H [Q-^ > 0.

Равенство достигается лишь при условии Q = (Q - P')/p, т.е. при Q = P'/(1 - p.) = Q0. Вычислим

я (р)а = Я (а) - Л я (а^] = я (^) - Л я = я (р).

Таким образом, функция H(P, Q) всюду меньше функции H(P)q, исключая точку Q0, где H(P)q0 = H(P, Q0) = H(P). Применительно к функционалам это означает, что hn(n, s) всюду меньше hn(n)s,

исключая точку минимума, где их значения совпадают и равны hn(n).

ЛИТЕРАТУРА

1. Шоломов Л.А. Сжатие частично определенной информации // Нелинейная динамика и управление. Вып. 4. М.: Физ-матлит, 2004. С. 385 - 399.

2. Шоломов Л.А. О сложности последовательной реализации частичных булевых функций схемами // Дискретный анализ и исследование операций. Сер. 1. 2007. Т. 14. № 1. С. 110 - 139.

3. Галлагер Р. Теория информации и надежная связь. М.: Сов. радио, 1974.

4. Вероятность и математическая статистика: Энциклопедия. М.: БРЭ, 1999.

5. Форд Л., Фалкерсон Д. Потоки в сетях. М.: Мир, 1966.

6. Сапоженко А.А., Асратян А.С., Кузюрин Н.Н. Обзор некоторых результатов по задачам о покрытии // Методы дискретного анализа в решении комбинаторных задач. Вып. 30. Новосибирск: ИМ СО АН СССР, 1977. С. 46 - 75.