Связь энтропий Шеннона и Больцмана Текст научной статьи по специальности «Математика»

Вгстнж ТГПУ. ¡999. Выпуск 7 (16). Серия: ЕСТЕСТВЕННЫЕ И ТОЧНЫЕ НА УКЯ

Рассмотренные выше способы решении СЛАУ применялись к нахождению количественного состава компонентов органических смесей,

а также к цифровом моделировании двумерных линейны л систем (изображений).

Литература

1. Воеводин В.В., Кузнецов Ю.А. Матрицы и вычисления, М.: Наука. 1934. С. 31В.

2. Воеводин В.В.. Тыршшникоа Е.Е. Вычисления с теплицееыми матрицами // Вычислительные процессы и системы. М,; Hayna, 1983. Вып 1. С. 1S4-2SG.

Самарский A.A. Введение в численные методы. М.: Наука, 19&7. 266 с.

4. Самарский A.A.. Николаев Е.С. Методы решении сеточных уравнений. М- Наука, 592 С.

5. Hunt В. A matrix theory prool ot ihe diskrete cortvolulion theorem // IEEE Trans. Audio Eleciroacousl. 1971. Au-29. P. 2B5-2&0.

6. Литвин А.И., Кожуховский А.Д. Решение систем линейных алгебраических уравнений с использование« ортогональных дискретных преобразований Ц Вычислит и прикладная математика К.: Лыбидь. 1992. Вып. 74. G 17-19.

7. Литвин А И Кожуховский А.Д Алгоритм решения систем линейных алгебраических уравнений. Св-во №107 Ц ЦНИТИМ. Спе-циапиэир. отд. отрасл. фонда алгоритмов и программ сист. автомат из. проектных раб. для 1ехнологнч подгот. произв. и автоматизм сист. улравл текнологич. процессом ОФАП САПРТ и АСУТП, м., ;9Э9. в с.

8. Литвин А и Численное исследование систем с сосредоточенными и распределенными параметрами методом ортогональных дискретных преобразовании: Дис. ... канд фиэ. -мат. наук. Черкассы, 1991. 171 с.

9. Способ решения систем линейных алгебраических уравнений на ЭВМ / В.А. Подкаренхо, АД Кожуховский. А.И. Литвин, В В. Присяянюк Винница, 198В. Ю С. Деп. в УкрНИИНТИ 26.05 88. № 1298 - V*. 88.

10. Цифровое моделирование изображений / В.И. Быков, А.Д, Кожуховский, А.И Литвин. Н.В. Молчунов // Электронное моделиро-г^ни::. \Ж 13. № 2. С. j-5

И. Бахвалов Н.С. Численные методы М,. Наука, 1975 632 с.

' I. iej'.i^a-: Р введение г. теозию матриц. М.: Каука, 1375. 315 с.

■ 2, Гэч'махер ф.Р, Теория мат^ц У : Наука, '967. 575 с.

14, Справочная математическая библиотека, ВЫСШАЯ АЛГЕБРА. М<: Наука, 1965. 300 с.

15 Rino С. The inversion of Cowriance Matrices by Finite Fourier Transforms)} IEEE Trans, iniorm. theory. 1970. V. 16 P. 230-232.

16 Корн г., Корн Т. Справочник по математике для научных сотрудников. М.: Наука, 1986 В52 с.

УДК С21 591

А,И. ЛиташТ, А.И. Мий" СВЯЗЬ ЭНТРОПИИ ШЕННОНА И БОЛЬЦМАНА

'Институт оптического мониторинга СО РАН ""Томский государственный педагогический университет

В работе рассматривается связь энтропии Шеннона и Больцмана. Доказаны некоторые свойства о веденной энтропии, а также показана возможность ее применения в теории кодирования.

Согласно определению Шеннона, энтропия системы определяется как

N

Н = ,

где р, - вероятность того, что система находится в заданном состоянии I. Для двоичной системы Н- -(р1о£Р+Я'°6Я)< гДе Р ~ вероятность появления нуля, а ц=(1-р) - вероятность появления единицы. Для потока из Кг ¿-независимых битов энтропия равна: Н= -N(plogp+qlogq).

Очевидно, что теория информации не связана в этом случае с термодинамикой. Это положение можно изменить, если связать двоичны» бит с

квантом энергии. Предположим, что энергия бита равна е, если бит представляет нуль, и нулю, если бит представляет единицу. Связь между е {энергия бита) и Е (энергией макрасостояння) определяется вероятностью р [I]. Если система из N битов имеет т нулей, то р=т/\ и Е=Ыр'е=И1е. Исходя ил соотношения I '"Г, где Т - тем-

пература, О - теплота, Н - энтропия Больцмана, можно доказать теорему.

Теорема /. Для больших N больцмановский множитель: ехр(-е/ЬЛ") =р/ц.

ДШйЗвтельстви Рассмотрим соотношение Тогда ЭН/ЭЕ=1/кТ; Н=Ья0М (т!(М-т)!)=1ой[5(Е)], где к - постоянная Больцмана. Отсюда: 1/кТ=(1ое|£<тпе)]-^[ё((т-1)е)])/ДА; ЛЬ/кТ = 1о£((\-тН)/т). Далее, ехр(г-'кТ)-т/(И -т+! )=тп/{Н-тХ 1 I /(Ы-ш+1 )=р^ч< I -1 1»

Для достаточно больших Ы: дЕ/кТ<^^((1Ч~т)/т); ехр(-с/кТ)=т/(М-т)=р/ц. Теорема доказана.

A.M. Литвин, А. И. Май. С'еязь энтропии Шеннона и Больцмана

Mi теоремы I можно получить следствия.

Следствие 2. Вероятность появления нуля равна р=1/(1+ ехр(е/кТ)>,

Следствие 3, Л.тя последовательности из N независимых битов энтропия Н равна Н N(p<;/ kT-logq).

Доказательство. Известно, что 1-1= -dF/dT, где F= -Tlog(l+exp{-e/kT)), a [+exp(-c/kT) - функция распределения л.тя одного двоичного бита [lj. Лля последовательности in N независимых бп-гон

Н = N(e/(k I' (е N р t / k 1 + i) +1 о g (I + е N р (- г / к Г>>>—N(pjj/kТ ogq).

Следствия 2 и 3 устанавливают связь между энтрогтмями Шеннона н Ьольцмана. Заметим, что гемпература Т и эквивалент постоянной Больцмана к будут физическими величинами, если рассматриваемая система является «чисто» физической. Гели величина Н не является физической энергией, то величины Тик выбираются различными способами и имеют разную размерность.

Данные результаты можно использовать при моделировании тепловых ЭВМ, экосистем. в теории кодирования, синергетике.

Покажем возможность использования полученных результатов в теории кодирования ДЛЯ способа кодирования длин серки (КДС).

Рассмотрим последовательность нулей и единиц. предполагая, что следующие друг за др>! ом символы последовательности статистически не-ишненмы. Под серией iu к ну ieii 6> дем ноннма-ь двоичную последовательность 1000...00, начинающуюся единицей. Заканчивает серию нулей единица, которая входит первым символом в следующую единицу. Сообщение 1000000001000000-10000000 №00001000900000. например, можно закодировать в виде: 001. I I, 000. 10. 010.

Ч тоб ы з а кодировать последов атед ь н о ст i.. опишем каждую серию двоичным числом, которое показывает ЧИСЛО нулей в серии. Родовое число для серии in к нулей получается путем пропуска первого знака дьончного числа k+l. Первый знак двоичного числа, считая слева, ucei ла равен ! и дает только информацию о положении. Эта информация дается в виде запятой в закоди-руемоЙ последовательности. Необходимо добавлять к числу единицу, прежде чем удалить первый так. чтобы обеспечить представление серии нулевой длины. В данном коде такая серия изображается двумя запятыми, следующими др\ за другом.

Следствие 4. Среднее число нулей в серии равно

М{к) - - *ехр(-е/кТ) Q

Доказательство. Функция вероятном и распределения двоичных символов F<k) F(k)=qp\ Тогда

г• -зс

M = = </£*/>' - ~ * егсрС-^/*Г>

A-Ù

¿-О

Согласно (2) среднее число двоичных символов. затрачиваемое на кодирование серии, определяется как

ptt

!де п - количество двоичных символов, описывающих в общем случае серию из к нулей. Выход-нос сообщение ввиду разделительных знаков оказывается закодированным троичным кодом. Эквивалентное число троичных символов на серию равно Clog.,3.

Относительную эффективность кодирования можно представить в виде R=1 IL/I. где H ">ui ро-пня, L - среднее число двончных символов кодируемой последовательности. I - среднее число двоичных знаков в закоднруемом сообщении. Величина

/ = ПОЙ , 3; L = У (1 + k)Slk} -■ - -

р-1 ц

С n'Oamue S: Относительная эффективность способа КДС равна

^ ¡¡L __ рекТ - logi/ I i/C!og.3

Для полной оценки способа КДС можно ввести коэффициент сжатия

К

]__ I + ечр( -t:ikT)

i/i'Iog, 3 Clog . 3

который показывает во сколько раз уменьшится количество двончных символов в случае применения КДС в сравнении с посимвольной передачей исходной последовательности.

Для оценки эффективности сжатия информации можно применить следующий прием. Пусть запоминающее устройство состоит из т ячеек Ы-раз-рядной длины которые заполняются (-информативными сообщениями 0] и ЛМ. Ввиду того, что события в каждом испытании независимы, то. используя известную формулу Нернулли из теории вероя 1Иостей, можно вычислить вероятность его появления ровно ¡-раз в [^-разрядной ячейке. Формула Вернул л к гласит, что вероятность появления события в Г^-независимых испытаниях ровно ¡-раз равна Р^ОИС^р'ч*"1. где р{0<р<1) - вероятность появления события; Я=1-р. Отсюда Р^(0=С'ч(р/ цУЧ^С^ехрНг/кТ^4. Вероятность того, что со-

Вестник ТГПУ, 1999. Выпуск 7 (16), Серия: ЕСТЕСТВЕННЫЕ И ТОЧНЫЕ НАУКИ

будет иметь вид P.=PN(0)+Pri(I)+...+PN<i), Так как заполнений каждой ячейки независимы, то по reo реме умножения вероятностей

Итак, метод кодирования длин серия в применении к двоичным последовательностям даст эконом та символов, весьма близкую к достигаемой при оптимальном Кодировании.

Литература

1. Джаблонски Д.Г. Идеальная теллйвэр машина как модель обратимых вычислений // ТИИЭР. 1990. Т. 7«. № 5. С. 2D-2I.

2. Соловьев В.Ф. Рациональное кодирование при передаче сообщений. М : Энергии. 1970. 65 с.

— 5S —