CC BY
119
удк 536.75:536.71:303-732.4
О ВЗАИМОСВЯЗИ СТАТИСТИЧЕСКОЙ И ИНФОРМАЦИОННОЙ ЭНТРОПИИ ПРИ ОПИСАНИИ СОСТОЯНИЙ СЛОЖНЫХ СИСТЕМ
THE STATISTICAL AND INFORMATION ENTROPY RELATIONSHIP WHEN DESCRIBING THE COMPLEX SYSTEMS STATE
Г.В. Аверин, А.В. Звягинцева G.V. Averin, A.V. Zviagintseva
Белгородский национальный исследовательский университет, Россия, 308015, г.Белгород, ул. Победы, 85
Belgorod National Research University, 85 Pobedy St, Belgorod, 308015, Russia
E-mail: [email protected]; [email protected]
Аннотация. Выполнен анализ основных моделей, связанных с определением статистической и информационной энтропий при вероятностной оценке состояний сложных систем. Сформулирован общий подход к определению разных видов энтропии, исходя из существования различных эмпирических мер для комплексной характеристики состояний систем. Показано, что в зависимости от той или иной эмпирической меры, можно обосновать принцип существования энтропий и предложить различные формы этой величины. Установлено, что энтропия является характеристической функцией пространства состояний системы и общим интегралом соответствующего уравнения Пфаффа. Для случая, когда в качестве эмпирической меры выступает вероятность совместных событий одновременного наблюдения показателей состояния системы, определена статистическая энтропия и показана ее связь c информационной энтропией в представлениях Хартли и Шеннона. Полученные результаты позволяют развить некоторые положения учения об энтропии применительно к системам различной природы.
Resume. The main models analysis related to the statistical and informational entropy definition is made in the complex systems conditions probabilistic assessment. The common approach to different types of entropy definition, based on the various empirical measures existence for the complex characteristics of the systems conditions is formulated. It is shown that depending on this or that empirical measure it is possible to prove the entropy existence principle and offer various forms of this magnitude. It was found that the entropy is the characteristic function of the system's state space and the common general integral of the corresponding Pfaffian equation. For the case when, as an empirical measure in favor of joint probability of events simultaneously observing system status indicators, a statistical entropy is defined and its relation with information entropy in representations Hartley and Shannon. The received results allow developing some provisions of the doctrine about an entropy in relation to systems of various nature.
Ключевые слова: статистическая и информационная энтропия, эмпирические меры состояний, взаимосвязь энтропий.
Key words: statistical and information entropy, states empirical measures, entropies interrelation.
Введение
В различных областях знаний существуют представления о разных видах энтропии: термодинамической, статистической, информационной, математической, лингвистической и т.п. [1 - 4]. Разнообразные точки зрения о сущности энтропии исходят из того, что она является: мерой необратимости процессов; мерой сложности системного описания объекта; мерой неопределенности информации; мерой разнообразия; мерой хаотичности и т.д. Сегодня развитие учения об энтропии является одной из самых актуальных проблем современной науки. Исследовать проблему изучения связей между разными видами энтропий можно на основе обработки и анализа опытных данных, характеризующих динамические процессы, которые наблюдаются в природе и обществе [5].
Целью данной статьи является установление взаимосвязей между статистической и информационной энтропией на примере описания состояний сложных систем биологической и физической природы.
Статистическая и информационная энтропия
Статистическая энтропия. Понятие статистической энтропии связано c вероятностными представлениями и описаниями процессов изменения состояний сложных систем. В статистической физике энтропия является мерой вероятности осуществления какого-либо макроскопического состояния, свойственного физической системе. Одно из основных соотношений статистической физики, связывающее термодинамическую вероятность W с энтропией системы 5 , представляется в виде:
5 = к • lnW, (1)
где к, - постоянная Больцмана. Сегодня данная зависимость между энтропией и термодинамической вероятностью состояния системы, полученная Планком применительно к идеальному газу, приводится во многих учебниках как соотношение Больцмана.
Определение термодинамической вероятности основано на целом ряде гипотез. Для обоснования величины W вводятся понятия макросостояний и микросостояний. Вероятность макросостояния (некоторого состояния системы) определяется по числу тех микросостояний, которые реализуют данное макросостояние. Обычно за термодинамическую вероятность принимают относительную вероятность W = w/ w0, указывающую во сколько раз статистическая вероятность w рассматриваемого макросостояния больше, чем статистическая вероятность щ другого стандартного макросостояния [6]. Термодинамическая вероятность, в отличие от математической вероятности, всегда больше единицы (W >> i) и характеризуется очень большими числами. Уравнение энтропии (l) с учетом соотношения W = w/w0 может быть представлено через статистическую вероятность состояния w в виде:
5 = к • ln w + const. (2)
При выводе соотношения (l) М. Планк получил также уравнение для энтропии в виде:
N
s = -к* ^ wj • ln wj, (3)
j=i
где w. - вероятности различных состояний молекул; N - число молекул.
В прикладной статистике при обработке вероятностей различных сложных событий, связанных со случайными процессами и характеризующих определенные состояния систем, часто используют эмпирический метод, который заключается в поиске уравнений связи вида:
( \ Z
V '0 у
(4)
Рг(^) = к0 + 5 ; ^ = ^ к; ■ 1п
1=1
[ Рг ' ~ N
где Рг - функция пробита; ™ = .— [ ехр нулю, и дисперсией, равной единице; 5 = к ■ 1п(2,/2,0) - частные энтропии влияющих факторов
- ~2 I dt - нормальное распределение со средним, равным
(переменных); ^ - значения переменных для некоторого опорного состояния.
Если в качестве значений ^ = ^ принять максимально наблюдаемые значения переменных ^,
то величины pi = z^z^ можно рассматривать как геометрические вероятности для одномерных областей, и частные энтропии можно представить в виде s = К ■ Mp) • Из приведенных выше результатов видно, что между зависимостями (l) - (4), которые характеризуют значения статистической энтропии при различных подходах к ее вычислению, существует определенное внешнее сходство.
Информационная энтропия. Понятие информационной энтропии вводится в теории информации. Данная наука изучает количественные закономерности, связанные с получением, передачей, обработкой и хранением информации. В качестве объекта, о котором передается информация, обычно рассматривается некоторая физическая система, которая случайным образом может оказаться в том или ином состоянии. В качестве меры априорной неопределенности в теории информации применяется характеристика, которая называется энтропией и является мерой количества информации.
При вычислении энтропии обычно рассматривают некоторую систему X, которая может принимать конечное множество состояний x, X, •••, X с вероятностями щ, щ, ..., wn, где щ = P(X ~ x) - вероятность того, что система X примет состояние x. Здесь символом X ~ x обозначается событие: система находится в состоянии x. Так как количество состояний конечно, то
n
очевидно, что у щ = 1. При этом энтропией системы называется сумма произведений вероятностей
i=i
различных состояний этой системы на логарифмы этих вероятностей, взятая с обратным знаком:
n
s = -у щ ■ log щ . (5)
1=1
Понятие информационной энтропии введено, исходя из аналогий с определением энтропии в статистической физике (3), которое сформулировано Планком. При этом зависимость (5) без теоретического обоснования просто по соглашению распространена на любые физические системы, исходя из аналогий и формальных соображений простоты определения информационной энтропии. На первый взгляд, отличия в понятиях статистической и информационной энтропий не очень значительны, т.к. форма зависимостей несколько похожа. Формулы для статистической энтропии ( s = -к, ущ ■ lnщ и s = уК ' lnp ) и для информационной энтропии (s = -У щ ■ logщ ) имеют внешнее сходство, но это пока не дает оснований говорить о взаимосвязи двух видов энтропии. Со времен работ Л. Бриллюэна взаимосвязь информации и статистической энтропии изучалась многими учеными, однако гипотеза о связи этих величин так и не была подтверждена опытным путем.
В литературе разные виды энтропии получили свои названия по имени авторов предложенных зависимостей: энтропия Хартли s = -n ■ ln щ, энтропия Больцмана s = К ■ ln щ + const, энтропия
Планка-Гиббса s = -к■ущ ■ lnщ , энтропия Шеннона s = -ущ ■ logщ , энтропия фон Неймана и т.д.
Для установления аналогий между статистической и информационной энтропией следует исходить из согласования понятий состояния сложной системы.
Принцип существования энтропий
В физике состояние системы четко определено - это мгновенная оценка совокупности значений параметров свойств, характерных для данной макроскопической системы. Параметром может быть любое свойство, если оно количественно определено и рассматривается как атрибутивная независимая переменная, характеризирующая вместе с другими переменными состояние системы.
В теории информации энтропия вводится через вероятности состояний системы. Однако, четкого определения, что в общем случае понимается под состоянием и как определяется вероятность состояния, особо не раскрывается. Считается, что для каждой системы этот вопрос решен отдельно.
Исходя из этого, следует четко сформулировать понятие состояния сложной системы и показать, как определяется вероятность такого состояния. Это позволит оценить взаимосвязь между интересующими нас величинами, исходя из одинаковых исходных предпосылок. Исходя из этого, определим состояние сложной системы как совокупность ее наблюдаемых свойств, параметры которых формируются под действием внутренних и внешних условий в конкретный момент времени. Предположим, что состояние некоторой сложной системы определяется п переменными, характеризующими свойства этой системы. Образуем п -мерное декартовое пространство Оп, где 7 = (^,,...2„), 7 £Оп, тогда состояние системы в п -мерном пространстве в каждый момент времени будет отображаться многомерной точкой М (^, ^ ), а процесс изменения состояния системы — кривой, которая описывается точкой М (^, 22, ..,2п) в этом пространстве.
Примем гипотезу, связанную с введением понятия эмпирической меры состояния у, которая представляет собой величину, комплексно характеризующую состояние системы. Мера у определяется в опыте путем измерений и оценок и представляет собой системную величину, например, эмпирическую температуру, эмпирическое время, статистическую вероятность событий, стоимость объектов, экспертный оценочный показатель и т.д. Эта величина однозначно характеризует состояние системы в определенном аспекте, зависит от параметров атрибутивных свойств и не может быть одним из свойств ^, ^, ..., 2п. Естественно, что при описании процессов изменения состояний одной и той же сложной системы не исключено применение нескольких различных эмпирических мер.
Подобный подход позволяет нам использовать основополагающее понятие математического анализа - понятие функции, и представить эмпирическую меру в виде функциональной зависимости. Поэтому, формализуя данный подход в терминах математического анализа, сформулируем
представление эмпирической меры в виде функции. Пусть рассматривается множество Оп упорядоченных систем чисел М(^, 22, ...,2п), которые являются параметрами свойств изучаемой системы. Если в силу некоторого эмпирического закона, правила или процедуры измерений каждой системе чисел М(21, 22, ...,2п) приведено в соответствие число у, то будем считать, что на множестве
О определена эмпирическая мера состояния у = как функция многих переменных.
Предположим непрерывность области Оп. Это означает, что в пространстве состояний Оп существует бесконечное множество состояний для некоторой генеральной совокупности объектов и точки М (^, ^ ) непрерывно заполняют это пространство. Исходя из сказанного выше, считаем, что каждое состояние системы однозначно характеризуется п независимыми переменными 7, ^, ..., 2п и эмпирической мерой у, причем область определения для каждой переменной распространяется на всю положительную числовую ось (0, да). Сформулируем следующие аксиомы.
1. Пусть в пространстве состояний Оп каждой точке М может быть поставлено в соответствие действительное число у, которое будем называть эмпирической мерой состояния системы.
2. Величина у = т(м) является функцией точки и образует скалярное поле, которое является непрерывным в области Оп .
Для построения модели описания процессов изменения состояний системы используем гипотезу, что скалярное поле эмпирической меры у может быть аналитически описано в окрестности
произвольной точки М . Предположим, что в области О" можно задать аналитическую непрерывную функцию Т(^,^,...*„), на основе которой будет формироваться математическая модель. При
известном виде функции Т*,*2,...*„) и значениях переменных ^,*2в области О" можно построить еще одно скалярное поле. Для конкретности непрерывную функцию Т(^,*2,...*„) определим как абсолютный индекс состояния системы. Исходя из этого, сформулируем следующую аксиому.
3. Пусть в пространстве состояний системы О" скалярные поля величин у и Т однозначно связаны между собой. Если в окрестности любой точки М система осуществляет некоторый процесс I, то для линии процесса I справедливо соотношение йу = к • dT, где к - эмпирические величины, которые являются функциями процесса и определяются в опыте.
Выберем в области О" произвольную точку М. Считаем, что вблизи данной точки осуществляется элементарный процесс, в результате которого состояние системы изменяется. Тогда элементарное изменение эмпирической меры у можно представить в виде:
йУ = ©Ш * 'ОЙ _ (С) * Ш или
дТ \ ( дТ ) ( яг Л
йу = к • I-I й* + к • I-I й^ +... + к
у 1(д* ] 1 2 и 1 2 '
й2„ . (6)
дТ vдг" )ч,.*..
При выводе уравнений принято, что (ду/СТ) г = к, при этом величины к в общем
случае могут зависеть от параметров свойств.
Основное отличие скалярного поля эмпирической меры от аналитической функции Т (*, ^ ,...,*„) состоит в том, что скалярное поле у = т(м) не связано с выбором системы координат, а
функция Т = Т(*,^,...*„) связана с выбором координатных осей для независимых переменных *,^,...,*„. Поэтому эмпирическая мера у представляет собой скаляр, а абсолютный индекс Т (*, ^ ,...*„) - функцию в виде аналитического выражения. Также, как следует из (6), мы пришли к необходимости изучения специального вида уравнений Пфаффа, которые должны быть интегрируемы в области О", так как аксиома 2 постулирует существование скалярного поля эмпирической меры. Покажем, что аксиом (1) - (3) достаточно для обоснования принципа существования энтропий. Будем искать решения уравнения (6) в классе мультипликативных и однородных функций. Например, считаем, что аналитическая функция Т (*, ^ ,...*„) является мультипликативной и может быть представлена в виде произведения функций, зависящих от параметров свойств Т = ф1(*1 \ф2 (*2) •... • срп (*„). Для решения поставленной задачи сформулируем следующую лемму.
Пусть задано уравнение Пфаффа вида (6) и пусть известно, что в окрестности любой точки М функция Т = Т(*,^,...*„) может быть представлена в виде произведения функций, зависящих от
параметров свойств Т = ф(7)ф2(22)■ ■■■■ф„(?п). Тогда для уравнения (6) в окрестности точки М существует интегрирующий делитель, который обращает данное уравнение в полный дифференциал. Покажем, что интегрирующим делителем уравнения (6) будет функция Т = ф(7)ф2(22)■ ...Фп(2„). Подставив данную функцию в (6) и деля это уравнение на Т, получим [7]:
Л=у к ■ФЦ + к2 Щ ^ +...+к■ Щ к. (7)
Т ф\21) Ф2 \?2) Фп (2п)
Считая величины к условно постоянными и интегрируя (7), получим общий интеграл в виде:
1+к ■ 1П[фЫ ]+....+к ■ 1п[ Фп(£п)
Ф (21о )] ф \ 2о )] К )
5 — 50 = к ■ 1п
( ( \\
(8)
^ / / \ 2 \ 20 / / \ >1 \ по У J
где 5 , 7 ,..., 2п - параметры опорного состояния.
Определим величину 5 как энтропию, исходя из существующих аналогий. Энтропия является характеристической функцией пространства состояний системы и общим интегралом уравнения Пфаффа (6). В работе [7] показано, что аналогичные результаты могут быть получены в случае, когда функция Т будет представлена произвольной однородной функцией.
Таким образом, в зависимости от существующих эмпирических мер у, которые комплексно характеризуют состояния системы, различные виды энтропий состояния определяются зависимостью (8). Из всего сказанного выше следует важный вывод, что для каждой эмпирической меры, характеризующей состояния той или иной системы, будет существовать понятие специфического вида энтропии. Именно в этом заключается сущность представлений об различных видах энтропий в разных областях знаний. Если существует опытный факт того, что для некоторой системы можно выдвинуть гипотезу существования эмпирической меры как некоторой величины, комплексно характеризующей состояния системы, то возможно обоснование принципа существования определенного вида энтропии и установление закономерностей, которые характеризуют изменение состояний этой системы.
Рассмотрим взаимосвязь различных общих интегралов уравнения (6). Из теории известно [8], что, если уравнение (6) имеет интегрирующий делитель и общий интеграл 5(7,г2..2п) = С , то может существовать бесконечное количество делителей и соответствующих им интегралов уравнения Пфаффа (6). Поэтому будем исходить из возможности однозначного представления любого общего интеграла а уравнения (6) и известного вида зависимости (7) для энтропии, тогда:
, ^ , dw 111 ? л
аа = —; ds = — или dw = Р ■ dа = Т ■ ds , (9)
Р Т
где Р и Т - интегрирующие делители, а 1/Т и 1/Р - интегрирующие множители.
Известно, что, если 1/Т - интегрирующий множитель уравнения Пфаффа для двух переменных 7 и 7 , а 5 - соответствующий ему общий интеграл уравнения, то всякий интегрирующий множитель / этого уравнения дается формулой [8]:
/ = 1 Ф(5) , (10)
где ф - произвольная дифференцируемая функция. При этом общая зависимость между величинами а и 5 имеет вид dа = ф(5) ds . Можно показать, что с учетом принятых ранее гипотез, уравнение (10) справедливо и для многомерного уравнения Пфаффа (6). Из приведенных выше уравнений получаем, что функцию ф(5) можно представить в виде
. . T dm
P(s) = i; = -r, (11)
P ds
причем, подбирая различные множители P , можно получить бесконечное множество функций p(s), каждая из которых может обладать определенными свойствами.
В уравнении (9) величину P можно рассматривать как плотность распределения вероятности P(m) по некоторой величине m , поэтому, так как функция p(s) выбирается произвольно, то ее можно подобрать так, чтобы плотность статистической вероятности P(m) соответствовала наиболее распространенному и изученному виду распределения, например, нормальному. В этом случае величина m представляет собой инверсную функцию статистической вероятности, которую называют пробитом. Исходя из этого, можно определить функцию p(s) в виде:
p(s) = dF= Tdm= t expfe^l. (12)
ds dw 12)
Из данной зависимости получаем, что P(rn) = J_exp
42л
. При определении функции
Р(о) принято, что распределение статистических данных подчиняется нормальному закону распределения. Естественно, что возможно использование также и других видов модельных или эмпирических распределений, если необходимость этого будет определена опытными данными. В этом случае могут быть использованы другие виды функций p(s).
Если ввести обозначение p = TP, то в элементарной окрестности любого состояния системы зависимость для пробита относительно энтропии можно представить в виде:
da=p, • ds = Уyidz-, (13)
<=i z
где величины yi равны yt = p • kt. При условно постоянном значении коэффициента p в окрестности состояния M пробит может быть представлен в виде линейной функции относительно энтропии или в виде логарифмической функции относительно параметров свойств системы:
°-°0 =p (s - s0 )=Гс +£ Yi — . (14)
,=1 Z
Таким образом, в любом элементарном процессе изменения состояния системы может существовать связь между величинами о и s, как общими интегралами одного уравнения Пфаффа.
Все сказанное выше позволяет теоретически обосновать принятую методику обработки данных, которая широко применяется при описании вероятностей событий в процессе построения зависимостей вида (4) и основана на использовании метода пробит-анализа. В этом случае статистические вероятности или риски преобразуют в пробиты со = Pr{- да, + да} путем применения инверсного преобразования для нормального распределения. После этого функцию пробита подбирают по опытным данным путем нахождения уравнения регрессии относительно логарифмов параметров свойств. Если пробит рассматривать как функцию энтропии, то зависимости (8) - (14) теоретически обосновывают существующие эмпирические методы оценки вероятностей и рисков, которые положены в основу анализа данных в биологии, токсикологии, радиологии, промышленной безопасности и т.д. Апробация данных методов велась в течении десятилетий и сегодня они являются важной составляющей общей методологии оцен-
2
ки вероятностей событий в природе и обществе. Таким образом, при установлении связей между статистической и информационной энтропиями можно использовать существующую методику поиска взаимосвязей вероятностей событий с влияющими факторами.
Взаимосвязь энтропий при описании состояний сложных систем
Покажем, как проблема взаимосвязи разных видов энтропий может быть изучена по отношению к сложной системе, состояние которой определяется двумя параметрами ^ и ^ .
Возьмем для примера, базу данных позвоночных животных [9], которая представляет собой результат работы многих ученых. Нынешняя версия базы включает сведения о 4083 видах позвоночных и охватывает количественные характеристики рыб, амфибий, рептилий, птиц и млекопитающих. В базу внесены данные о максимальной продолжительности жизни, массе тела при рождении и во взрослом состоянии, скорости роста и размножения, продолжительности беременности, интенсивности метаболизма, а также некоторые другие характеристики (всего более 25 показателей).
В качестве атрибутивных показателей биологических видов для оценки состояний объектов используем следующие величины ^ - максимальная продолжительность жизни в неволе (лет); г2 - вес взрослой особи (кг). Надо отметить, что это наиболее изученные показатели, для которых существуют достоверные данные для многих видов животных [9]. В качестве комплексной характеристики состояния системы будем рассматривать совместное событие одновременного наблюдения указанных показателей. За эмпирическую меру у примем статистическую вероятность наблюдения этого события ^ . Так
как совместное событие связано с наблюдением двух показателей х, хг, то для оценки вероятностей такого события можно воспользоваться инструментами программных продуктов статистического анализа данных, например, Statistica. Если переменных больше, необходимо определение вероятностей на основе применения алгоритмов сортировки, группировки и перебора данных [7].
Свяжем алгоритмически полученную статистическую вероятность w с распределениями переменных х в массиве имеющихся опытных данных, в результате чего будем иметь следующую регрессионную зависимость вероятности от энтропии состояния системы (рис. 1):
( - \ ( . \
РгоЬ = 3.676 + sw ; * = 0.778 • 1п
х1 + 0.184 • 1П Х2
V Х1т V г2т У
(15)
Здесь ^ - статистическая энтропия. Коэффициент корреляции зависимости (15) составил 0.97, средняя относительная ошибка - 9.7%. Таким образом, зная наблюдаемые параметры состояния сложной системы, в соответствии с уравнениями (4) и (15) можно определить статистическую энтропию ее состояния. В свою очередь, для известных показателей состояния можно найти информационную энтропию в представлениях Хартли ^ = - или Шеннона ^ = • . Сравнение данных приведено на рис. 2 и 3, из которых видна нелинейная зависимость между изучаемыми величинами. Энтропия ^ определяется уравнением (15) и опытными данными состояний видов животных [9], а информационные энтропии находились соответственно по формулам ^ =- 1п(^) и ^ • 1п(^) .
Величины к в зависимостях для частных статистических энтропий swi = к • ^(х/г^) могут
зависеть от вероятности w . В свою очередь, частные виды информационной энтропии могут быть представлены как в форме ^ = -щ • , так и в форме ^ = -Д • ^ • . Если величины к в окрестности произвольного состояния имеют линейную зависимость к = Щ + Д • ™, то получим sI = -щ • 1о§(^)-Д. • ^ • 1о§(^). Оба варианта представления энтропии (щ • и Д • w • ис-
пользуются в статистической физике и теории информации. В первом случае, это энтропии Больц-мана и Хартли, во втором случае - энтропии Планка-Гиббса и Шеннона.
* 1
ё 0
о
а.
С -1
0
00
jÊp 0 0
-7 -6 -5 -4 -3 -2-10 1
Энтропия S
Рис. 1. Зависимость статистической вероятности w от статистической энтропии для состояний биологической системы (число опытных точек - 2548) Fig. 1. The dependence of the probability from the statistical entropy for the States of a biological system (the number of experimental points - 2548)
Рис. 2. Взаимосвязь статистической энтропии sw и информационной энтропии Sj = — ln(w) в
представлениях Хартли для состояний биологической системы Fig. 2. The relationship of the statistical entropy sw and information entropy s7 = — ln(w) in repose Hartley for the States biological systems
Рис. 3. Взаимосвязь статистической энтропии sw и информационной энтропии S7 = —w • ln(w)
в представлениях Шеннона для состояний биологической системы Fig. 3. The relationship of the statistical entropy sw and information entropy s7 = —w • ln(w) in repose Shannon States biological systems
Теперь покажем, что используя данный метод и информацию о термодинамических параметрах идеальных газов, можно также найти связь между термодинамической и информационной энтропией, причем эта связь может быть установлена непосредственно из опытных данных [5]. Например, зная параметры состояния водорода, приведенного к идеальному состоянию, можно определить энтропию состояния газа. Воспользуемся для этого таблицами термодинамических свойств газов [10].
Значение энтропии газа определяется выражением:
т?спёТ „ st = М--Я ■ 1п р = sQ - Я ■ 1п р . (16)
0 Т
Точность таблиц термодинамических свойств газов в области температур -50 °С до 1500 °С составляет 0.5 %. Эта область для водорода приближенно соответствует диапазонам изменения давления от ртп = 80 кПа до ртах = 280 кПа и удельного объема от ит1П = 9 мз/кг до отак = 29 мз/кг. По термодинамическим параметрам водорода в процессе статистического моделирования можно определить информационную энтропию в виде sIí = к ■ 1о§(^).
На основе опытных данных, используя методы регрессионного анализа, получим уравнение связи между термодинамической и информационной энтропиями состояний водорода в виде:
st = 88.268 + 12.659■ sIí. (17)
Здесь термодинамическая энтропия ^ определяется уравнением (16) и данными таблиц [10], а ^ = 1п(^). Коэффициент корреляции уравнения (17) составил 0.99, результаты анализа приведены на рис. 4. Уравнение связи между энтропиями состояний азота будет иметь вид (рис. 5):
^ = 8.708 +1.001 ■ ^ . (18)
Коэффициент корреляции уравнения (18) составил 0.99.
Рис. 4. Взаимосвязь термодинамической st и информационной энтропии s7 = ln(w)
для состояний водорода Fig. 4. The interrelation between thermodynamic st and information entropy sj = ln(w) for the States of hydrogen
ic s,
Рис. 5. Взаимосвязь термодинамической st и информационной энтропии s7 = ln(w)
для состояний азота Fig. 5. The interrelation between thermodynam-and information entropy sj = ln(w) for the States of nitrogen
Выполненный анализ показывает, что для любого идеального газа зависимость между термодинамической и информационной энтропиями имеет вид st = а + Ь ■ sI , где коэффициенты а и Ь
имеют свои значения для каждого идеального газа. Данная зависимость позволяет установить связь между термодинамической вероятностью состояния Ж и статистической вероятностью состояния ^ системы. Учитывая уравнение Больцмана (1), получим эту связь в следующем виде:
W = exp
(а л -а .м
(19)
k*
\ /
Видно, что термодинамическая вероятность может определяться по опытным данным о значениях энтропии состояний идеального газа без использования умозрительных гипотез о распределениях микросостояний, реализующих определенные макросостояния.
Выводы
Таким образом, как видно из полученных результатов, в зависимости от той или иной эмпирической меры, можно обосновать принцип существования энтропии и предложить различные виды энтропий состояния сложной системы. Энтропия является характеристической функцией пространства состояний системы и общим интегралом соответствующего уравнения Пфаффа, описывающего процессы изменения эмпирической меры. Между различными интегралами уравнения Пфаффа можно искать взаимосвязи в виде регрессионных зависимостей, что дает возможность находить статистическую энтропию, исходя из алгоритмической оценки статистической вероятности совместных событий, связанных с наблюдением показателей состояния систем. Для различных состояний сложных систем между статистической энтропией и информационными энтропиями в представлениях Хартли и Шеннона существуют тесные связи, которые указывают на сходство данных величин между собой.
Надо отметить, что понятие энтропии распространяется только на процессы, которые могут наблюдаться в опыте, так как используется гипотеза о существовании и непрерывности эмпирической меры состояний системы. Для систем, у которых нарушается однородность и непрерывность пространства состояний и скалярного поля эмпирической меры, энтропия не определяема.
Список литературы
1. Коганов А.В. Реферативный обзор семестра «Время и энтропия» семинара «Изучение феномена времени». URL: www.chronos.msu.ru/seminar/rindex.html (28 февраля 2016).
Koganov A.V. Referativnyj obzor semestra «Vremja i jentropija» seminara «Izuchenie fenomena vremeni» [Abstract overview of the semester "Time and entropy" from the seminar "Time phenomena study"] Available at: www.chronos.msu.ru/seminar/rindex.html (accessed 28 February 2016). (in Russian)
2. Morowitz H.J. The Second Law of Thermodynamics. Available at: www.panspermia.com/ seconlaw.htm (accessed 28 February 2016).
3. Шамбадаль П. 1967. Развитие и приложение понятия энтропии. М., Наука: 280.
Shambadal' P. 1967. Razvitie i prilozhenie ponjatija jentropii [Development and application of entropy concept], M., Nauka: 280. (in Russian)
4. Бекман. И.Н. 2009. Информатика. Курс лекций / МГУ им. М.В. Ломоносова. URL: http://profbeckman.narod.ru/InformLekc.htm (24 февраля 2016).
Bekman. I.N. 2009. Informatika. Kurs lekcij [Information science. Course of lectures] / Lomonosov Moscow State University MGU im. M.V. Lomonosova. Available at: http://profbeckman.narod.ru/ InformLekc.htm (accessed 24 February 2016). (in Russian)
5. Аверин Г.В., Звягинцева А.В. 2013. Взаимосвязь термодинамической и информационной энтропии при описании состояний идеального газа // Системный анализ и информационные технологии в науках о природе и обществе, № 1(4)-2(5): 26-38.
Averin G.V., Zvjaginceva A.V. 2013. Vzaimosvjaz' termodinamicheskoj i informacionnoj jentropii pri opisanii sostojanij ideal'nogo gaza [The relationship of the thermodynamic and information entropy in the description of the ideal gas states] / / Sistemnyj analiz i informacionnye tehnologii v naukah o prirode i obshhestve, № l(4)-2(5): 26-38. (in Russian)
6. Путилов К.А. 1971. Термодинамика, М., Наука: 375.
Putilov K.A. 1971. Termodinamika [Thermodynamics]. Moscow, Nauka: 375. (in Russian)
7. Аверин Г.В. 2014. Системодинамика. Донецк, Донбасс: 405.
Averin G.V. 2014. Sistemodinamika [Systemdynamics]. Doneck, Donbass, 405. (in Russian)
8. Еругин Н.П., Штокало И.З. и др. 1974. Курс обыкновенных дифференциальных уравнений, Киев, Вища школа: 472.
Erugin N.P., Shtokalo I.Z. i dr. 1974. Kurs obyknovennyh differencial'nyh uravnenij [Ordinary differential equations course] / Kiev, Vishha shkola: 472. (in Russian)
9. AnAge: The Animal Ageing and Longevity Database. Available at: http://genomics.senescence.info/species/ (accessed 28 February 2016).
10. Ривкин С.Л. 1987. Термодинамические свойства газов: Справочник. 4-е изд., перераб. М., Энерго-атомиздат: 288.
Rivkin S.L. 1987. Termodinamicheskie svojstva gazov: Spravochnik [Thermodynamic properties of gases: Reference book.]. 4-e izd., pererab. Moscow, Jenergoatomizdat: 288. (in Russian)
