CC BY
151
Н.А.Емельянова
ДИНАМИЧЕСКАЯ ИНФОРМАЦИОННАЯ ЭНТРОПИЯ ДЛЯ МОДЕЛИ БРОУНОВСКОГО ОСЦИЛЛЯТОРА
В работе представлен новый теоретико-информационный динамический подход к информационной энтропии Шеннона и Цаллиса. Представлены выражения для статистического спектра динамической информационной энтропии, в котором учитываются временные корреляции на различных релаксационных уровнях модельной физической системы. Приводится пример вычисления динамической информационной энтропии и ее частотных спектров для модели броуновского осциллятора.
Понятие "энтропия" ассоциативно связано в нашем сознании с беспорядком, который следует понимать только в том смысле, что микроскопическое состояние системы многих частиц задается набором случайных величин, исчисляемых на основе вероятностных законов. В силу фундаментальности энтропии и возможности ее экспериментального изучения, исследование вопроса о связи энтропии с конкретными явлениями разупорядочивания представляется весьма важным.
Понятие энтропии возникает при формулировке II начала термодинамики (Клаузиус, 1865): в замкнутой и изолированной системе все процессы происходят без уменьшения энтропии: ^ S £ 0. Причем, если в обратимых процессах она сохраняется ( S=0), то в необратимых- возрастает ( S > 0). При притоке
тепла Д Q в систему с температуройТ ее энтропиявозрастает на величину
Д£ =-----.
Т
В статистической физике энтропия рассматривается как мера вероятности осуществления какого-либо макроскопического состояния
£ = *ki W{E,N),
где W- статистический вес данного равновесного состояния, к - постоянная Больцмана, W(E, N) - число квантово-механических уровней в узком интервале энергии - E вблизи значения энергии E системы из Nчастиц [1].
Статистический смысл энтропии дается определением Больцмана для функционала[2]
S{t) = -kN\ In f(X,t)dX+const.
Здесь dX=(2 h)'(drdp) есть безразмерный элемент 6-мерного фазового пространства координат и импульсов частицы, к и Й - фундаментальные постоянные Больцмана и Планка, r - число степеней свободы и N- общее число частиц. Величина f(X,t) является одночастичной функцией распределения -вероятность найти частицу в заданной точке фазового пространства в заданный момент времени.
Современные представления о понятиях энтропии и информации сложились в результате синтеза представлений, развиваемых в физике и значи-
А Q
тельно позднее в общей теории связи и кибернетике. При этом сформировалась область знания, которая получила название "теория информации". Начало статистического подхода к теории информации связано с работами Р.Хартли [3], К.Шеннона [4] и др.
Определение энтропии в виде функционала
£= -|/(л-)1п /(*)<&, \/(х)<1х=\
устанавливает количество информации, содержащееся в наблюдении переданного случайного сигнала х вероятностное распределение которого описывается функцией () и представляет собой известное определение энтропии Шеннона [5].
Если переданный сигнал принимает дискретные значения х, х, х с вероятностями р ,р , р , то энтропия имеет следующий вид:
2=-±р^р>, ±р,=\. г г
В неэкстенсивных системах существуют сильные корреляции между всеми частями системы. Это приводит к нарушению термодинамической аддитивности систем, поэтому их не удается описать больцмановскойстатистикой и термодинамикой.Для преодоления этих трудностей в описании неэкстенсивных систем в 90-х годах ХХ-го века Цаллис [6] обобщил термодинамические подходы, предложенныеШенноном, Больцманом и Гиббсом, одним уравнением
(1* \
?-1 и )
где к- положительная постоянная, ^- полное число вероятностей микроскопических состояний системы (для ц<0 необходимо исключить все микросостояния, вероятности которых не являются строго положительными). Это выражение для энтропии сводится к обычной энтропии Больцмана-Гиббса в пределе ц~" 1.
В статистической физике неравновесных систем временная корреляционная функция (ВКФ) выполняет такую же роль, как и функция распределения и парные корреляционные функции, через которые можно вычислить различные термодинамические параметры системы и ее пространственную структуру. Для многих физических дискретных систем невозможно найти функцию распределения в явном виде. А процедура нахождения ВКФ с помощью интегро-дифференциальных уравнений, основанных на бесконечно малых приращениях времени и независимых переменных, представляется нам наиболее оптимальной процедурой исследования различных сложных систем дискретной природы [7].
Квадрат модуля временной корреляционной функции можно рассматривать как вероятность состояния системы. Для любого п-го уровня релаксации
р;(О=\мх(012, р*(£) = 1-1 лад |2
где М()) представляет собой функцию памяти соответствующего уровня релаксации. Общая вероятность для этих статистических каналов удовлетворяет условию нормировки:
2 = п = 0,1,2 д., 1 = с.Л
2
Вероятность Рс соответствует каналу рождения корреляций (или памяти для более высших уровней релаксации), Ра - каналу уничтожения корреляций (или памяти).
Подставляя выражения для вероятностей рождения и уничтожения корреляций в известную формулу энтропии Шеннона, получаем динамическую информационную энтропию Шеннона для двух статистических каналов корреляций:
зд) ^'(о=-^(о ь О)-^(0ь р:(ь).
ы р.
Таким образом, общее выражение для информационной энтропии Шеннона складывается из двух энтропий, связанных с каналами рождения и уничтожения корреляций
- (,) и (0 - 1„|ЛГ о ■■ (1)
Рассматривая энтропию Цаллиса для двух стохастических каналов эволюции, определим двухканальную обобщенную динамическую информационную энтропию Цаллиса для любого п-го уровня релаксации
(2)
д-\ \-д
Реальные процессы, происходящие в природе, описываются случайными величинами, имеющими очень сложную зависимость. Поэтому целесообразно рассмотрение простых моделей, которые позволяют выявить и проиллюстрировать некоторые особенности определенных динамических информационных энтропий. Рассматриваемые в работе модели связаны с теорией броуновского движения.
Описание движения броуновской частицы является хорошо развитой областью статистической физики [8]. Рассматриваются броуновские частицы как без внутренней структуры, так и имеющие простейшую внутреннюю структуру. Нами рассматривается броуновский осциллятор, моделирующий частицу, имеющую внутреннюю колебательную степень свободы, которая характеризуется частотой ® о. Движение броуновской частицы в среде описывается коэффициентом трения .. . Поскольку положение броуновской
частицы и ее скорость являются случайными величинами, то к ней применима общая теория Цванцига-Мори.
^(0 = -
Рассмотрим одномерный броуновский осциллятор, движение которого описывается следующими уравнениями:
-I ■ (3)
т~у’
, т+ло
— = -Асу -сипх-\------------,
<0. 0 т
где с=£ /2т, - внешняя сила, ()- случайная сила Ланжевена.
Случайные величины х, V, /- описываются следующими средними: (х)-0, (у). О, (/>-0,
{я1}-(V1)--, (IV). 0, х ' та- х * т
<х/}=0, (у/)= о, (/(0/(0)= 2ВД-О,
где Г- температурав энергетическихединицах,т - масса броуновскойчастицы.
Используя уравнения движения (3), получаем временную корреляционную функцию
л;: л ; (4)
— •
Используя бесконечную цепочку зацепляющихся уравнений Цванцига-Мори, получаем первую функцию памяти = (5)
Рассмотрим случай малого затухания (р = ,г/й>- •: 1). Из уравнения
(3) получаем временную корреляционную функцию в следующем виде:
2\1) = ООЕрТ"! (6)
где два параметра 1/1 ’ = а) 0 /2 и с характеризуют соответственно частоту и затухание.
На рис. 1 и 2 показаны энтропии (2) и их частотные спектры для ц=0.1, ’=0.1, с=0, 0.01, 0.1, 1. Мы замечаем, что увеличение затухания ведет к сглаживанию тонкой структуры энтропий. Пик на двойной частоте существует для произвольно малых, но ненулевых величин затухания с. В случаях нулевого и большого затухания этот пик исчезает.
На рис. 3 в качестве сравнения приводятся динамическая энтропия Шеннона (1) и Цаллиса (2) для движения броуновского осциллятора. Из рисунков хорошо видно, что уменьшение параметра д приводит к увеличению значения энтропии, а в частотных спектрах - к увеличению высоты пиков на больших частотах и делает их более острыми.
Сигнал, полученный с помощью реальных измерений, часто содержит шум. Поэтому мы рассматриваем модель броуновского осциллятора с шумом, ВКФ которого имеет следующий вид:
а//) = В//) соъ{/17г//)Хи , (7)
где Я(1;) является случайным числом с белым спектром в интервале (-1;1) и Я(0)=1. Случайной величиной является амплитуда колебаний. Частота и коэффициент затухания детерминированы. Случайные числа моделируют шум, всегда появляющийся в экспериментах в сложных системах. Нам интересно продемонстрировать влияние шума на динамические информационные энтропии.
Энтропия имеет гораздо более сложный вид, но тем не менее в этом случае динамическая энтропия Цаллиса "работает" лучше. На рис. 4 показана зависимость энтропий и их частотных спектров для двух значений параметра 4=1, 0.1. С уменьшением параметра д наблюдается появление пиков в тех местах, где они должны были быть, но оказались поглощенными шумом.
Рис.2.
Частотные спектры энтропий (2) для движения
броуновского осциллятора.
Рис.З.
Динамические энтропии
Шеннона (1) иЦапписа(2) для броуновского осциллятора.
Сравнение динамической информационной энтропии Шеннона и Цал-лиса показывает увеличение динамической энтропии Цаллиса для малых значений ВКФ. Отсюда хорошо видно, что динамическая энтропия Цаллиса действует как нелинейная увеличивающая линза.
Просуммируем полученные результаты. Нами вычислены динамическая информационнаяэнтропия Шеннона и Цаллиса для модельных систем, которые имеют достаточно глубокое физическое содержание. Мы рассмотрели движение броуновского осциллятора для двух случаев: классическийи с зашумленнойам-плитудой. Для обоих моделей были рассмотрены различные значения параметра q. Все энтропии имеют такую же структуру нулей и экстремумов, как и квадрат ВКФ. Величинаэкстремумов существенно зависит от q.
Литература
[1] Майер Дж., Гепперт-Майер. Статистическая механика / М. 1952.
[2] Больцман Л. Молекулярно-кинетическая теория газов, термодинамика, статистическая механика: Избранные труды / М. 1984.
[3] Хартли Р. Передача информации // Теория информации и ее приложения / Под ред. А.А. Харкевича. М. 1959.
[4] Шеннон К. Работы по теории информации и кибернетике / М. 1963.
[5] Shannon C.E. A Mathematical Theory of Communication / The Bell System Technical Journal. 1948. Vol. 27, P. 379-423, 623-656.
[6] Tsallis C. Possible Generalization of Boltzmann-Gibbs-Statistics / J. Stat. Phys. 1988. Vol. 52, № 1/2. P.479-487.
[7] Emelyanova N.A., Yulmetyev R.M., and Gafarov F.M. Dynamical Shannon Entropy and Informational Tsallis Entropy in Complex Systems / Physica A.2004. Vol. 341, P.649-67.
[8] Резибуа, М. Де Ленер. Классическая кинетическая теория жидкостей и газов. М. 1980.
