«Правильная энтропия» в анализе сложных систем: к чему ведет отказ от постулата равной априорной вероятности? Текст научной статьи по специальности «Математика»

Ентротя лише modi однозначно вгдображае ймо-eipHicmb макростану системи, коли die основний постулат статистичног мехашки - постулат pie^i апрюрног ймoвipнoсmi мкростатв. Для бiльшoсmi нефiзичних систем вт втрачае силу, i роль ентропп повинна виконувати бтьш загальна характеристика - ентропшна дивергенщя. Вона е зручним Ыстру-ментом аналiзу адаптивной статистичног взаемодп сукупнoсmi макросистем

Ключoвi слова: ентропшна дивергенщя, еволющя складних систем, степеневий розпоЫл, виробництво

ентропп, стергетика

□-□

Энтропия лишь тогда однозначно отражает вероятность макросостояния системы, когда справедлив основной постулат статистической механики - постулат равной априорной вероятности микросостояний. Для большинства нефизических макросистем он утрачивает силу, и роль энтропии должна выполнять более общая характеристика -энтропийная дивергенция. Она служит удобным инструментом анализа адаптивного статистического взаимодействия совокупности макросистем

Ключевые слова: энтропийная дивергенция, эволюция сложных систем, степенное распределение, производство энтропии, синергетика

УДК 517.956.3+519.246+519.218.7

|DOI: 10.15587/1729-4061.2015.47332|

«ПРАВИЛЬНАЯ ЭНТРОПИЯ» В АНАЛИЗЕ СЛОЖНЫХ СИСТЕМ: К ЧЕМУ ВЕДЕТ ОТКАЗ ОТ ПОСТУЛАТА РАВНОЙ АПРИОРНОЙ ВЕРОЯТНОСТИ?

Н. И . Дел ас

Кандидат технических наук Кафедра систем управления летальных аппаратов Национальный авиационный университет пр. Комарова, 1, г. Киев, Украина, 03680 E-mail: nikolaivad@gmail.com

1. Введение

Энтропия в статистической физике - функция, пропорциональная логарифму статистического веса макросостояния системы. Условный максимум энтропии соответствует макросостоянию с наибольшим разнообразием вариантов его воплощения - наибольшим числом отличимых микросостояний, воссоздающих это макросостояние. Именно в такой конфигурации система проявляет себя с максимальной частотой. Эта идея лежит в основе вариационного энтропийного принципа.

Однако, родившись в недрах статистической физики, этот принцип вскоре перекочевал и в области, от нее весьма далекие. Правомерно ли?

2. Анализ литературных данных и постановка проблемы

Физики-теоретики с большим недоверием относятся к идее использования принципа максимума энтропии для анализа нефизических систем, хотя многие примеры его удачного использования в экономических, гуманитарных, технических и других областях уже трудно игнорировать. У «нефизиков» он стал особенно популярным с появлением формализма Джейнса [1], позволяющего вычислять условный максимум энтропии как интегральный критерий наиболее вероятной конфигурации макросистемы.

Скепсис ученых, воспитанных на идеях Больцмана и Гиббса, понять не сложно. В статистической механике рассматриваются системы, априорно однородные по вероятности. Здесь отдельно взятый элемент имеет равную исходную вероятность заселения любой ячейки фазового пространства, что в итоге обуславливает (Теорема 1, доказанная в разделе 8) равновероятность всех микросостояний системы. Такое ограничение, как условие априорной равной вероятности микросостояний, является основным постулатом статистической физики [2-5].

Но подобная роскошь не свойственна большинству из упомянутых выше «нефизических» макросистем. Здесь использование гипотезы априорной равной вероятности часто бывает просто неправомерным. Причины несимметричности условий размещения элементов в ячейках могут быть разными. Чаще всего это связано с наличием еще одного или нескольких существующих параллельно распределений, оказывающих влияние на рассматриваемый процесс.

Феномен несимметричности априорных условий, а значит, и неравенства априорных вероятностей, большинством авторов, как правило, просто не рассматривается. При исследовании сложных статистических систем (например, в экономике, при выводе закона распределения доходов в обществе [6, 7]) применяются в основном традиционные энтропийные схемы, без изменений заимствованные из статистической механики. В равной степени подобное замечание можно отнести и к другим имеющимся попыткам энтропийного

моделирования систем: транспортных [8], экологических [9], социальных [10].

Стремление к обоснованному использованию энтропийного принципа для систем подобного рода требует обобщения традиционной формы статистической энтропии. Такая «исправленная» функция должна учитывать не только равномерный (как энтропия Больцмана), но и - произвольный характер распределения априорной вероятности.

3. Цель и задачи исследования

Цель данной работы:

- найти и обосновать более общую в сравнении со статистической энтропией функцию для анализа расширенного круга макросистем (не ограниченного требованием гипотезы априорной равной вероятности);

- наметить новые возможности в решении актуальных задач теории сложных систем, появляющиеся при использовании такой обобщенной энтропийной функции.

Для достижения этих целей необходимо было решить следующие задачи:

- получить выражения для расчета вероятности макросостояния системы с учетом такого объекта, как функция априорных вероятностей индивидуального состояния элементов системы;

- определить вид так называемой энтропийной дивергенции - функции, обобщающей статистическую энтропию для более широкого круга систем, не ограниченного основным допущением статистической механики (постулатом априорной равной вероятности микросостояний);

- привести доказательства ряда утверждений о свойствах энтропийной дивергенции;

- на основе нового формализма для общего случая не равных априорных вероятностей получить измененный вид экспоненциального и предельно гиперболического законов распределения;

- показать возможности практического использования полученных результатов для развития теории сложных систем.

4. Терминология

Термины «сложная система», «макросистема» не относятся к разряду устоявшихся. В данной статье будем рассматривать их как равноценные, близкие с еще одним названием - «статистическая система». В физической энциклопедии [11] она определена как совокупность большого числа частиц (атомов, молекул и т. д.), изучаемых методами статистической физики.

Однако для интересующих нас «нефизических макросистем» заимствование таких терминов, как молекула, энергия, изображающая точка, фазовое пространство выглядит не очень естественным. Целесообразно использовать иные понятия, которые могли бы отвечать более широкому кругу задач. Автор осознает, что нужно избегать введения новых терминов, но для рассматриваемых систем существует слишком разный спектр названий. Как правило, эти названия резервируются в пределах одной области (экономики,

биологии, социологии и пр.). Естественно, это мешает формализации подходов к анализу сложных систем в целом.

Желая отойти от «молекул» и «энергии», можно заметить следующее. Почти все рассматриваемые макросистемы представляют собой объекты, у которых на ограниченном множестве «носителей» распределено ограниченное множество «ресурсов» [12, 13]. Так, среди молекул газа распределена энергия, а среди галактик - их масса. Среди городов распределяются жители, среди людей - материальные блага, среди претендентов на выборах - голоса избирателей и т. д. Поэтому термины «носители» и «ресурсы» удобно использовать для анализа некоторой абстрактной макросистемы, которая могла бы относиться к самому широкому кругу задач.

Не сразу это видно, но часто оба термина можно рассматривать как «взаимозаменяемые» (люди ищут деньги, но и капитал «ищет» людей). Все зависит от соотношения минимальных порций разумного дробления упомянутых множеств. Например, в социальной географии «носителями» являются города, а их население - «ресурсами». В то же время жителей этих городов можно считать «носителями» таких «ресурсов», как квадратные метры жилья.

Пусть макросистема состоит из N «носителей», среди которых неравномерно распределено количество Е «ресурсов». Отдельно взятый носитель обладает индивидуальной порцией ресурса £ . Эта величина характеризует индивидуальное состояние носителя (аналог «изображающей точки» в статистической механике). Множество всех возможных его состояний образует пространство индивидуальных состояний (аналог «фазового пространства»). Если оно дискретно, то индивидуальное состояние представляет собой ячейку данного пространства. В общем случае, указанное пространство может быть многомерным (одновременно имеется несколько ресурсов), тогда индивидуальное состояние является векторной величиной, которая определяется координатами индивидуального состояния £,х,£,... (аналог - «фазовые координаты»).

Далее, без ущерба для общности, будем рассматривать одномерное и дискретное пространство индивидуальных состояний. Для этого разобьем диапазон изменения координаты £ на М равных (это удобное, но не обязательное требование) интервалов малого размера Д£ каждый, с равными в пределах интервала (рис. 1) значениями £1,£2,...£М. По этому признаку выделяется М ячеек (дискретных индивидуальных состояний) этого пространства. Некоторой ьй ячейке соответствует количество п; «носителей» (с одинаковой индивидуальной порцией «ресурса» £;) и соответственно - объем «ресурсов» Е; = п; ■£ С учетом принятых обозначений, очевидны равенства:

^ П = N - баланс «носителей»,

^Е! = ^п;£ = Е - баланс «ресурсов».

(1)

(2)

Здесь М = £М/Д£ - общее количество ячеек, где Д£ - выбранный фиксированный размер ячейки; £М -максимальное значение координаты в пространстве

индивидуальных состояний (к слову сказать, как и сам характер распределения, величина £м также является результатом эволюции макросистемы, и способ ее определения должен также носить вариационный характер [13]).

Рис. 1. Распределение «носителей» и «ресурсов» в одномерном дискретном пространстве индивидуальных состояний

Микросостояние системы - возможная комбинация индивидуальных состояний полного множества элементов системы.

Макросостояние системы - множество отличимых микросостояний, воссоздающих одни и те же контролируемые макроскопические характеристики системы.

щение элемента в одну из М ячеек является независимым случайным событием, (не зависит от количества ранее размещенных там элементов). Тогда множество априорных вероятностей Р: {р1,р2,...рм} остается неизменным для каждого из оставшихся N -1 элементов системы.

Если рассмотреть такой сложный опыт, как совместное размещение двух элементов, то множество вероятностей для каждой двойной комбинации -есть прямое (декартово) произведение Р х Р = Р2, где Р: {р1,р2,...рм }. По аналогии прямое произведение

N

Р х Р х... х Р = PN

содержит информацию о вероятностях любой из MN комбинаций совместного размещения N элементов среди М ячеек. Их полный набор и определяет множество вероятностей всех возможных микросостояний системы.

Пример 1. Рассмотрим пространство индивидуальных состояний, имеющее всего две (М = 2) ячейки с априорными вероятностями их заселения Р:{р1,р2}. Пусть в эти ячейки должны произвольно заселиться три ^ = 3) одинаковых носителя. Декартово произведение Р х Р х Р = Р3 позволяет определить все восемь (мк = 23) значений вероятности возможных комбинаций, то есть - все восемь значений вероятности микросостояний:

5. Вероятности микросостояния и макросостояния системы

Вероятностная трактовка энтропии у некоторых авторов не всегда сопровождается корректным введением вероятностной меры. Определяя энтропию как логарифм статистического веса, часто ограничиваются лишь ее комбинаторной формулировкой. При этом употребляют довольно размытое понятие - термодинамическая вероятность, которая не нормируется и в классическом понимании вероятностью не является.

Ниже, обобщая задачу за счет ввода такого объекта, как функция априорных вероятностей, можно придти к последовательному и, как оказалось, более наглядному ее представлению. Следуя нашей цели, откажемся от основного постулата статистической физики, и в соответствии с принятой терминологией будем считать, что для ячеек пространства индивидуальных состояний характерны произвольные априорные вероятности их заселения. Пусть Р:{р1,р2,...рм} м

(при условии ^ р! = 1) - есть множество априорных

1=1

вероятностей размещения одного (первого в очереди) из N элементов среди м ячеек.

Сразу же заметим, что в общем случае размещение каждого следующего элемента не является независимым событием. Вероятность каждого следующего факта заселения может, например, зависеть от того, какое количество «носителей» или «ресурсов» уже находится в данной ячейке. Но такую, «дважды усложненную» (хотя, и очень интересную) задачу оставим за пределами данной статьи. А тут, предпочитая не связываться с условными вероятностями, рассмотрим более простой случай, когда каждое следующее разме-

микросостояние Р1Р1Р1;

микросостояние

Р1Р1Р2; Р1Р2Р1; Р2Р1Р1;

макросостояние(3,0) макросостояние(2,1)

микросостояние

Р1Р2Р2; Р2Р1Р2; Р2Р2Р1;

микросостояние Р2Р2Р2

макросостояние(1,2) макросостояние(0,3)

Группы равновероятных микросостояний, составленные из троек с повторяющимся сочетанием индексов, воссоздают одно и то же макросостояние (тут их четыре). Количество микросостояний, входящих в эти группы, есть статистический вес макросостояния:

Ш(3,0) = 1; Ш(2,1) = 3; Ш(1,2) = 3; Ш(0,3) = 1.

Вероятность макросостояния соответственно равна сумме вероятностей микросостояний в группе:

Ц(3,0) = р3, Ц(2,1) = 3Р2Р2, Ц(1,2) = 3Р1Р2 ,Ц(0,3) = Р3.

Легко проверить, что все они нормируются на единицу:

Ц(3,0) + Ц(2,1) + Ц(1,2) + Ц(0,3) = (Р1 + Р2 )3 = 1.

В данном примере множество статистических весов {1;3;3;1} совпадает с множеством коэффициентов бинома (т. к. м = 2 ) третьей степени (т. к. N = 3 ).

По аналогии с приведенным примером можно рассмотреть и общий случай, когда N элементов распределяются по м ячейкам. Выберем один из вариантов

такого распределения в количествах соответственно

М

п1,п2,...пМ (при условии ^п = N ). Следуя той же

1=1

логике, можно убедиться, что число комбинаций реализации такого варианта распределения, то есть статистический вес соответствующего макросостояния, равен значению полиномиального (точнее, «М-номи-ального») коэффициента N-й степени:

6. 1.О размерности энтропии

Этот раздел немного выпадает из контекста статьи, но он помогает отойти от устоявшегося взгляда на статистическую энтропию Больцмана как функцию, применимую исключительно лишь к физическим системам. В физике ее формула имеет вид:

S = к ■ lnW.

W(ni-n2-...nM)=:

N!

ni !n2 !...пм !

(3)

Вероятность этого макросостояния соответственно равна:

Q(ni-n2-...nM;Pi-P2-...PM)=:

■ рП РП2...РМм, (4)

ni !n2 !...пм !

M

где P:{pi,p2,...pM} (при ^pj = i) - множество априорных вероятностей . i=i

В частном случае, когда априорные вероятности

i

равны, то есть pj = const = —, выражение (4) принимает вид: М

N i

ni !n2 !...пм ! MN

На основе данных выводов, сформулируем два очевидных определения:

Вероятность микросостояния системы

(pnipn2...pMM)

Здесь W - статистический вес макросостояния системы (3), а множитель к = 1.38 х 10-29 Дж/град -коэффициент Больцмана (по смыслу соответствует (рис. 1) фиксированному размеру ячейки пространства индивидуальных состояний Д£). Множитель к при жизни автора отсутствовал. Своим появлением он обязан М. Планку, и теперь это выражение высечено на могиле Людвига Больцмана в Вене.

Все же, наверное, нельзя быть абсолютно уверенным в том, что великий физик при жизни мог согласиться на такое исправление его формулы. Очевидно, умножая полученную Больцманом статистическую энтропию

S = lnW

(6)

(5)

на размерный множитель к, Макс Планк стремился привести ее в соответствие с размерностью термодинамической энтропии Клаузиуса:

AS =

SQ

T ,

- равна вероятности совместного размещения N элементов среди М ячеек пространства индивидуальных состояний в количествах соответственно п1,п2,...пМ

М

(при условии ^ п = N ).

1=1

Заметим, что это определение справедливо для сложного опыта по размещению элементов лишь в случае независимых исходов, о чем было сказано в разделе 5.

Вероятность макросостояния системы (выражения (4), или (5)) - есть сумма вероятностей множества всех различимых микросостояний, способных воссоздать данное макросостояние.

6. Энтропия как функция вероятности макросостояния системы

Говоря о мгновенном состоянии статистической системы с большим числом взаимодействующих элементов, можно оперировать только вероятностными понятиями. Здесь наряду с индивидуальными априорными вероятностями р1 и вероятностями микросостояний

М

П рП1 , выделяется интегральная характеристика си-

1=1

стемы - вероятность ее макросостояния (4). Энтропия - функция, отражающая эту величину. Однако, как будет показано ниже, - отражающая не полностью.

Но та же цель могла быть достигнута, если бы он предложил записывать энтропию Клаузиуса в без-

л о, ^Q

размерном виде: ДS =—— без превращения ориги-к ■ Т

нальной формы энтропии Больцмана в размерную величину.

Оригинальное выражение S = lnW как функция, отражающая вероятность макросостояния системы, является универсальной характеристикой и, в общем, не должна зависеть от размерности лишь какого-то одного из многих ее приложений.

Стоит заметить, что произведение кТ выражает совершенно определенное количество энергии. Это -деленная на число молекул разность тепла при изобарическом и изохорическом процессах нагревания идеального газа (полезная работа). Но, не смотря на такую «узкую специализацию» величины кТ, многие физические процессы самого разного характера принято связывать именно с этой парой. Почти всегда с помощью кТ нормируют порции энергии в различных статистических распределениях, вместо использования для этого реального среднего значения Е/^ Таким образом, универсальность к носит скорее конвенциаль-ный, а не физический характер.

6. 2. Статистический вес или вероятность макросостояния?

Хотя энтропию Больцмана считают функцией вероятности макросостояния системы, но записывается она (6) через статистический вес W, который часто называют термодинамической вероятностью. Однако, W не нормируется и в классическом пони-

мании вероятностью не является. Нормированной величиной является вероятность макросостояния Q . Чтобы убедиться в этом, достаточно просуммировать выражения (4) и (5) по общему количеству макросостояний:

£ Ц(п1,П2,...пм;Р1,Р2,...Рм) = №

n1,n,,...n.

= У

n„^fnMni!n2!-nM!

= (Pi + Р2 + - + Pm )N = 1,

■ рП1рП2...рМм =

(7)

У Q(ni,n2'"*nM ) =

П1,П2,...ПМ

= У

N!

П1СПМП1!П2!...ПМ! MN

N

i i M + m"

i "m

= 1. (8)

По большому счету, искомая функция вероятности макросостояния системы и должна зависеть от вероятности макросостояния Ц , а не от статистического веса W. Хотя, это замечание не является принципиальным для энтропии Больцмана, полученной при условии равной априорной вероятности микросостояний (т. к. постоянный множитель в формуле (8) может быть вынесен перед знаком суммы). Но, как видно из выражения (7), в более общем случае неравной априорной вероятности заменять вероятность макросостояния Ц на статистический вес W уже нельзя принципиально.

7. Не энтропия, а энтропийная дивергенция

Вынесенное в заголовок статьи не очень серьезное название «правильная энтропия», на самом деле является серьезным намерением убедить читателя поменять его точку зрения на энтропию как на «всепогодную» характеристику макросостояния системы. Соответственно, и скорректировать представление об энтропийном вариационном принципе как универсальном критерии ее равновесной конфигурации. Пересмотр отвечает принципу преемственности, без отрицания существующих результатов. К такой ревизии с необходимостью ведет всего один обобщающий шаг. Это отказ от повсеместно господствующего постулата равной априорной вероятности, перекочевавшего в теорию систем из недр статистической механики.

Отказ от постулата ведет к тому, что вместо выражения (5) для вероятности макросостояния Ц , нужно записывать «отягощенное» априорными вероятностями р1,р2,...рм выражение (4). В этом случае статисти-

ческий вес W = -

N!

плп,!...п,,

уже «не имеет права» само-

стоятельно определять вероятность макросостояния, как это было раньше, когда р1,р2,...рм были равны. Значит, уже не достаточно и классической энтропии Больцмана S = lnW, чтобы самостоятельно характеризовать вероятность макросостояния такой системы, где постулат равной априорной вероятности уже «не работает». Но что должно быть взамен?

В качестве искомой функции вместо энтропии 1п W, возьмем положительную величину - 1пЦ, т. к. она непосредственно содержит вероятность макросостояния (выражение (4)). Учитывая, что 0 < Ц < 1, а также, ввиду монотонности логарифма, максимум вероятности Ц соответствует минимуму функции:

lnQ(ni,n2,...nM;Pi,P2-...PM) = N!

= - ln

П1 !П2 !...пм

■ рП1рП2...рММ

(9)

А, учитывая (3), видна его связь с энтропией Больцмана S = ln W :

- lnQ(ni,n2,...nM;Pi,P2,...PM) = -У niln Pi - S . (10)

i=i

Введя обозначение:

0>1,п2,...пМ;р1,р2,..рМ) =- lnQ(ni,n2,.NnM;P1,P2,...pM),

и записав его более коротко, с учетом (10) имеем:

^ - lnQ дпм S

D, =-^=-У-Чпр:--.

d N N N

(11)

Обозначение Dd - от слова «divergence» (так как выражение (11) можно привести к виду, совпадающему с дивергенцией Кульбака-Лейблера [14]). Нижний индекс d - от слова «different», указывает на различные значения априорной вероятности. Величину Dd удобно назвать энтропийной дивергенцией, имея в виду ее преемственность с энтропией.

Название энтропийная дивергенция вполне оправдано, так как (11) представляет собой разность двух энтропий - текущее значение энтропии вычитается из ее максимально достижимого значения, которое зависит от распределения априорных вероятностей. Величина Dd всегда положительна. Доказательство данных утверждений приведено в следующем разделе.

Покажем, что выражение (11) действительно можно представить в виде дивергенции. С этой целью к (9) применим формулу Стирлинга lnm! = m■ (lnm-1) .

т использо-

Тогда: Dd = -у ^InP; -lnN + у ^1пп; (ту

i=i ;=M n.

ван искусственный прием c = У"^■ c ). Выделяя скоб-

кой положительную величину, имеем: - lnQ

Dd =-

N

У N ПР; I У N nN

Dd = У iln

d yN

n;/N

P;

(12)

(13)

Это выражение и представляет собой энтропийную дивергенцию как статистическое расстояние между

двумя распределениями - текущим и его предельно достижимым. Наглядность сказанному придает частный (классический) случай, когда постулат равной априорной вероятности остается в силе. В этом случае: p, = const=i/м, тогда из (ii) следует:

Dnd = lnM--.

nd N

Или, с учетом (i2), можно записать:

Dnd=lnM-l-Etbi I.

(i4)

(i5)

Здесь индекс энтропийной дивергенции для равных априорных вероятностей изменен: nd - означает «no different».

Из этого частного случая видно, что энтропийная дивергенция (i4), представляет собой разность между максимально возможным значением энтропии lnМ - и ее текущим значением S/N. Следовательно, стремление энтропии к максимуму - соответствует стремлению энтропийной дивергенции к минимуму.

Стало очевидным, что в общем случае, когда постулат равенства априорных вероятностей утрачивает силу, статистический анализ систем не может быть ориентирован лишь на энтропийный критерий. Необходим более общий критерий, который, включая, в том числе, энтропию, может учитывать еще и несимметричные априорные условия размещении элементов внутри системы. Этим критерием является энтропийная дивергенция. Ее введение соответствует принципу преемственности, и не отрицает ничего ранее достигнутого в науке.

8. Некоторые формальные утверждения

Утверждение 1 (теорема)

Необходимым и достаточным условием выполнения основного постулата статистической механики о равной вероятности микросостояний системы является равенство априорных вероятностей размещения ее элементов в пространстве индивидуальных состояний.

Доказательство. Необходимость условия доказывается от обратного. Пусть равная вероятность всех микросостояний (рП'рП2...рММ) достигается при не неравных значениях априорных вероятностей р1,р2,...,рМ размещения элементов в ячейках пространства состояний. Но тогда должны равняться между собой и вероятности всех М различных микросостояний, у которых элементы концентрируются лишь в одной единственной ячейке, то есть р^ = р^ =... = рМ . Но это возможно лишь тогда, когда все априорные вероятности р1,р2,...,рМ равны между собой, что противоречит условию обратного предположения. Необходимость условия теоремы доказана.

Если значения априорных вероятностей размещения элементов в ячейках пространства состояний равны между собой р1 = р2 =... = рМ, то вероятности всех микросостояний (вероятности произвольных комби, , М

наций, (р^'р^.^рМ" ), где^п1 = N остаются равными.

1=1

Достаточность условия теоремы также доказана.

Утверждение 2 (теорема)

Необходимым и достаточным условием максимума вероятности макросостояния Q = Цтах есть условие минимума энтропийной дивергенции =(Оа) .

Доказательство этого утверждения вытекает непосредственно из определения энтропийной дивергенции (11). А, так как вероятность макросостояния Q удовлетворяет условию 0 < Q < 1, а функция логарифма монотонно возрастает, то максимальному значению Q = Цтах соответствует неотрицательный минимум функции: - 1пЦ = (- 1пЦ)т.п. Следовательно, максимуму вероятности Цтах с необходимостью соответствует неотрицательный минимум функции Оа = (Оа) . И, наоборот, в результате того, что 0 < Q < 1, минимум энтропийной дивергенции (Оа) соответствует неотрицательному минимуму - 1пЦ, а, значит, является достаточным условием максимума вероятности макросостояния Цтах. Утверждение доказано.

Утверждение 3 (теорема) Если распределение априорных вероятностей задается множеством Р:{р1,р2,...рМ}, то при условии

М

Еп1 = N максимум вероятности макросостояния си-1=1

стемы Ц(п1,п2,...пМ;р1,р2,...рМ) соответствует такому распределению числа элементов (п1,п2,...пМ) , при котором для каждой ячейки выполняется равенство:

(n, L = P,N.

(i6)

Доказательство. Если распределение априорных вероятностей задается множеством Р: {р1,р2,...рМ} , то вероятность макросостояния Q выражается формулой (4). Так как 0 < Q < 1, а логарифм - есть монотонно возрастающая функция, то максимальному значению Q соответствует минимум функции: - 1пЦ . С учетом

М

требования ^п1 = N , найдем условный минимум этой 1=1

функции, используя метод множителей Лагранжа (тут множитель а ).

Для этого потребуем -д-Эп-

-lnQ + а

Е n,-N

V ,=i

= 0,

что, с учетом выражения (i2), эквивалентно требованию:

1-Еn,InPi +Еn,ln^+«|Еn, - N ) | = 0, (i7)

Отсюда получим условия экстремума:

1пП = 1пр,-1 -а, или: П = р,е-1-а = р,С. (18)

N N 1 1

Положительное значение второй производной показывает, что это -условие минимума функции - 1пЦ, а значит, оно соответствует условию максимума вероятности макросостояния Ц. Константу С определим М п М

из нормировки: = С^ р1, откуда С = 1. Тогда из

1=1 ^^ 1=1

(18) следует, что максимум вероятности макрососто-

яния Q = Qmax достигается при таком экстремальным распределением (n4,n2,...nM) , которое удовлетворяет условию (16).

Теорема доказана.

Утверждение 4 (следствие)

Если распределение априорных вероятностей задается множеством P: {p1,p2,...pM}, то максимальное значение, которое может принимать статистическая энтропия Больцмана, равно:

Smax =- N-Xp.bp,.

(19)

Действительно, если подставить (3) в формулу энтропии (6) и последующим преобразованием ее с помощью формулы Стирлинга (см. (12)) привести к виду:

S ^ ni, n — = -> —-in—, N N N

то прямая подстановка равенства (n ) = p;N, полученного на основе Утверждения 3, приводит к результату (19). Утверждение доказано.

Из (19) также следует, что в случае равных априорных вероятностей, когда pj = const = 1/M, максимум энтропии Больцмана равен общеизвестному значению:

S = N ■ lnM.

(20)

Утверждение 5 (следствие)

Условный максимум вероятности макросостояния

M

Qmax при наличии единственного условия: у n; = N,

i=i

достигается в случае равенства нулю энтропийной дивергенции: (Dd) = 0.

Доказательство. Из Утверждения 2 следует, что максимальному значению Qmax соответствует неотрицательный минимум энтропийной дивергенции (Dd) . Из Утверждения 3 следует, что условному максимуму вероятности макросостояния Qmax при на-

M

личии единственного условия у n; = N, соответству-

i=i

ет экстремальное распределение (n;) = p;N. Прямая подстановка его в формулу (12), показывает, что в этом случае минимум энтропийной дивергенции равен нулю: (Dd) = 0. Утверждение доказано.

Утверждение 6

Энтропийная дивергенция всегда неотрицательна

Dd * 0.

Доказательство истинности утверждения с необходимостью следует из определения энтропийной дивергенции (11). Так как вероятность макросостояния Q удовлетворяет условию 0 < Q < 1, (а значит, lnQ < 0),

' M

то для любых распределений: п1,п2,...пМ уn; = N

справедливо: Dd =

-lnQ N

> 0.

Ясно, что все утверждения в равной степени относятся и к частному случаю, когда p; = const = 1/M, т. е. когда имеет силу постулат равной априорной вероятности. В последнем случае, в обозначении энтропий-

ной дивергенции Dd необходимо изменить индекс так, как принято в конце предыдущего раздела: 0П(1.

9. Распределения, полученные на основе нового критерия

Популярный формализм Джейнса [1], часто применяемый для построения равновесных распределений, является на самом деле использованием классического метода множителей Лагранжа для поиска условного максимума энтропии. В качестве условий могут выступать различные ограничения, задаваемые с помощью уравнений связи.

Новый формализм содержит процедуру вычисления уже иного критерия - условного минимума энтропийной дивергенции. Ниже даны примеры его использования для вывода двух законов распределения, скорректированных с учетом неравных априорных вероятностей.

9. 1. Экспоненциальный закон распределения

С учетом терминологии, принятой в разделе 4, найдем такое распределение количества «носителей» п1,п2,...пм, которое соответствует максимальной вероятности макросостояния системы, или, как показано выше, минимальной энтропийной дивергенции. Пусть распределение формируется в условиях неравных априорных вероятностей индивидуальных состояний, задаваемых множеством Р: {р1,р2,...рм }.

Новый формализм предполагает поиск условного минимума энтропийной дивергенции через нахождение безусловного минимума некоторой функции Ф(п1,п2,...пм;р1,р2,...рм), аддитивно включающей саму дивергенцию 0(1 и ряд ограничений, взвешенных множителями Лагранжа а,Р, у,.... Будем накладывать лишь естественные ограничения, учитывающие общее количество «носителей» и «ресурсов». Им соответствуют уравнения связи (1) и (2).

Сократив обозначения, запишем условия минимума Ф через требование равенства нулю каждой частной производной для всех 1 е{1,2,...м}:

Эп,

-Ф =-Dd +а

Эп d

I п

i=i

N

— 1

I ni ei

--1

=0, (21)

где согласно формуле (12):

Dd =-I >i-|-I>ï |.

i^N N

(22)

Это требование приводит к равенству:

-1пр: +1п—+1 + а + В—— = 0.

N Б^

Обозначив константу е-1-а = С, найдем его решение как известное экспоненциальное распределение, но учитывающее теперь еще и априорную вероятность р!:

п.=Р'Се-1^. N

Можно показать, что, это выражение приводится к виду:

П' = Р' е'-

(23)

же ограничивающих условиях. Требование условного минимума можно записать в той же математической форме, что и (21). Но с учетом выше сказанного, энтропийная дивергенция имеет уже другой вид:

О = -Х^ЬР,-[-Г^Ь^ |.

' П: £ , П: £

и N N

(25)

Априорная вероятность р., = р(£„) относится к ячейке с координатами £ = £,,, где £,, - координата экстремума (мода), а п,,£,, - значение экстремума функцииБ^£) = п! £ ¡, описывающей распределение «ресурса».

9. 2. Предельно гиперболический закон распределения

В разделе 4 было сказано, что сложная статистическая система, как правило, представляет собой конечное множество «носителей», где распределено ограниченное множество «ресурсов». Причем, их названия условны, и часто статус этих множеств можно менять местам. Кроме того, можно говорить об их различной «активности» [13]. Более активным является то множество, процесс релаксации которого проходит быстрее. Ранее, по умолчанию рассматривался именно такой случай, когда активность «носителей» выше. Для него найдено соответствующее равновесное распределение п1,п2,...пм, которое описывается экспоненциальной зависимостью (23).

Но есть и противоположные случаи, когда большей активностью обладает множество, условно названное «ресурсами». Это, на первый взгляд, парадоксальное утверждение легче воспринимается после некоторых примеров. В частности, если капитал рассматривать лишь как совокупность «ресурсов», он существенно активнее своих «носителей» - людей. Или еще ярче пример из социальной географии, где население как множество «ресурсов» - более активно, чем их «носители» - города. В этих примерах, как установлено эмпирически, наблюдается уже не экспоненциальное распределение, а - гиперболическое (степенное). В первом случае оно называется законом Парето, во втором - законом Ауэрбаха.

На основе формализма Джейнса можно найти условный максимум энтропии распределения количества ресурсов б1,б2,...бм (п1£1,п2£2,...пм£м). Ему соответствует так называемый предельно гиперболический законраспределения [12]:

п, = п,—е £

Это требование приводит к равенству:

, , п,£, . а В - 1пр, + 1п—'— +1+—= 0.

' N £ Б^

-1-7-

Обозначив константу е Б'м = С, запишем его решение как

~ а

п, С — = р, —е £'. N £

(26)

Далее, определив константы С и а так, как это сделано в работе [12], получим окончательный вид предельно гиперболического закона распределения при условии, что априорные вероятности р! в общем случае не равны:

. Р,

П = — ■ п,—е Р. £,

(27)

(24)

который превращается в чисто гиперболический при стремлении параметра £, к нулю. Физический смысл параметров п, и £, описан в конце раздела.

Следующим шагом определим, как предельно гиперболическое распределение (24) изменит свой вид при условии, что априорные вероятности не равны и задаются множеством Р: {р1,р2,...рм}. Для этого, как и в разделе 8. 2, найдем условный минимум энтропийной дивергенции Оа(п1£1,п2£2,...пм£м;р1,р2,...рм) при тех

Априорная вероятность р, = р(£.) относится к ячейке с координатами £ = £,, где £, - координата экстремума (мода), а п, - значение экстремума функции (24), названной в [12] предельно гиперболическим законом распределения. Будет справедливым упомянуть работу [15], знакомство с которой подтолкнуло автора начать исследования, приведшие к распределению (27).

10. Адаптивное статистическое взаимодействие макросистем: штрихи к новой теории

Результаты, приведенные выше, позволяют увидеть определенные возможности, способные дать толчок к развитию еще одного направления исследований - теории адаптивного статистического взаимодействия сложных систем. Под адаптацией здесь подразумевается свойство макросистемы формировать свое распределение с минимальным значением энтропийной дивергенции Оа, которая учитывает априорные вероятности, возникающие от влияния на нее другой макросистемы. Ниже приводятся лишь краткие очерки, относящиеся к этой теме.

10. 1. Система макросистем

Введение такого объекта, как множество априорных вероятностей Р: {р1,р2,...рм} позволяет не только расширить круг анализируемых систем. В предыдущем разделе показано, что оно дает возможность получать комбинированные распределения (выражения (23), (27)), зависящие от статистического влияния других процессов, которые как раз и деформируют

1—

априорные условия при формировании облика рассматриваемой системы. Отказ от постулата равной априорной вероятности наряду с использованием нового формализма (раздел 8), основанного на поиске условного минимума энтропийной дивергенции Dd, дает в руки инструмент для анализа статистического взаимодействия совокупности макросистем, рассматривая их, как единую глобальную систему.

Множество априорных вероятностей, влияющих на формирование распределения, можно рассматривать как воспринятый системой входной сигнал, а сформированное внутри нее распределение

n-iEiEi Ем N N N

рассматривать как ее выходной сигнал. Взаимодействие систем происходит, например, так, как показано на рис. 2. Выходной сигнал системы «А» поступает на вход другой системы «С», формируя тем самым множество ее априорных вероятностей Рс = F ( N ), где

pc: (pci' рс2 '***' pcm )

n

N N,

N

a у

(индексы при

Pci ' E

и N

указывают на принадлежность к соот-

ветствующим системам).

Система «С» в свою очередь порождает распределение N , являющееся входным сигналом для системы «0». Логично предположить, что реальные макросистемы могут организовываться в длинные цепочки и даже в целые сети, включающие обратные связи (рис. 2). Такую глобальную систему, которая возникает в результате статистического взаимодействия многих макросистем, можно назвать метасистемой.

Рис. 2. Статистическое взаимодействие макросистем

На примере системы «С» (рис. 2) посмотрим, как формируется множество ее априорных вероятностей Рс = F(NA) в результате действия входного сигнала Ха. Можно в качестве примера предположить, что

Рс = F(Ха) имеет степенной характер: ра = С

v na у

где показатель степени , а константа С опре-

деляется из нормировки. В этом случае:

Pci =

v na у

(28)

v na у

Подставляя это выражение, например, в (23) и (26) получим формулы для выходного сигнала системы «С» как реакцию на сигнал от системы «А».

Соответственно из (23) получим комбинированное экспоненциальное распределение:

N

= consta ■

v na у

(29)

или из (26) - комбинированное предельно гиперболическое распределение:

N

= conste

v na у

л c0nst4

(30)

Таким образом, введение априорной вероятности позволяет прослеживать адаптивное взаимодействие двух и более макросистем, рассматривая их как одну большую метасистему, способную включать обратные связи.

Можно предположить, что свойства метасистемы могут изучаться подобно тому, как в теории автоматического управления, анализируются характеристики следящих систем, состоящих из взаимодействующих динамических звеньев. В результате такого взаимодействия макросистем, объединенных в единую метасистему, аналогичным образом могут появляться и колебательные эффекты, и резонансные явления, и явления неустойчивости. Возможно, такое взаимовлияние макросистем как раз и является причиной нарушения статистической устойчивости, о чем обстоятельно говорится в [16].

С другой стороны, определенное сочетание свойств у взаимодействующих макросистем может привести к неожиданному эффекту уменьшения энтропии. Действительно это можно проверить, если замкнуть, например, две системы «А» и «С» положительной обратной связью с положительными показателями степени Па > 0, Пс > 0 и вычислить комбинированное распределение, многократно используя (29) или (30). В макросистеме, которая с другой макросистемой замкнута положительной обратной связью, может поощряться ускоренный рост вероятности в одной из ячеек распределения (очевидно, модальной) вплоть до вероятности, равной единице. Но такая самоорганизация означала бы - возникновение устойчивой структурыI.

Если на этапе ранних представлений условие экстремума энтропии привело к заключению о тепловой смерти Вселенной, то обобщающее требование экстремума энтропийной дивергенции указывает на возможность появлении внутри взаимодействующих систем самопроизвольного порядка.

10. 2. Как формируется показатель степени степенного распределения

Автор фрактальной геометрии Бенуа Мандельброт [17] первый заметил, что в реальных системах господствуют именно степенные (гиперболические) законы распределения:

const

с 1+п

где почти всегда

n

n

1

Степенной вид имеют эмпирические законы Паре-то, Ципфа, Юла, Лотке, Бредфорда, Кудрина. Гиперболический (степенной) вид с «тяжелым хвостом» имеют распределения размеров усталостных микротрещин в твердых материалах [18] и распределение масштабов турбулентных вихрей в атмосфере [19]. Он проявляется в таких далеких друг от друга областях как продажи в Интернете (правило Криса Андерсона) [20], астрономия [21], музыка [22], экология [23]. В статье [24] рассмотрено более десятка различных подходов, объясняющих данный феномен. Большое разнообразие теорий свидетельствует лишь о том, что пока нет единой точки зрения относительно механизма формирования степенного (гиперболического) закона распределения в сложных системах. Но в статьях [12, 13] показано, что предельно гиперболическое распределение (24) является следствием экстремального принципа максимума энтропии, а чисто гиперболическое распределение существует, лишь как его частный случай.

Дальнейшее обобщение, связанное с эффектом взаимодействия двух и более систем (например, «А» и «С» на рис. 2), приводит к комбинированному распределению (30). А если в «А» распределение Пр- также имеет

предельно гиперболический характер (26), то после подстановки этого выражения в (30) получим комбинированное распределение «С» в виде:

Па N

„1+П

(32)

С увеличением £ множитель е £' стремится к единице, и комбинированное распределение (32) принимает вид (31).

Теперь, располагая выводами, полученными в разделах 9. 1 и 9. 2, можем предположить, что отличный от единицы показатель степени формируется у многих эмпирических степенных распределений как комбинация двух и более взаимодействующих процессов. Например, в законе Ципфа первичным может быть распределение ключевых подлежащих, которые в основном несут всю смысловую нагрузку. Далее, как вторичное, формируется распределение из вспомогательных слов, появление которых зависит от первичного распределения. По схеме, описанной выше, их комбинация порождает показатель степени, равный 1 + п.

Аналогичным образом может быть объяснен обратный квадрат в законе Лотки (распределение ученых по числу опубликованных ими работ). Так, если первичным (процесс «А») выступает распределение количества ученых по числу освоенных ими направлений исследований, а пропорционально ему формируется априорная вероятность вторичного (процесс «С») распределения количества публикуемых работ на эти темы, то из (30) как раз и может следовать закон обратного квадрата.

В отношении закона Парето часто применяется высказывание «богатый становится еще богаче». Это зна-

чит, что наличие средств деформирует априорные вероятности получения новых средств. Вышеприведенный алгоритм формализует действие этого правила.

11. Выводы

Использование термодинамических подходов, в частности, энтропийного принципа для анализа широкого круга нефизических макросистем ограничено рядом факторов. Прежде всего, наличием взаимовлияния двух и более макросистем, и невозможностью выделения рассматриваемой системы как изолированной. Влияние одной системы на распределение внутри другой проявляется через деформации априорных условий формирования этого распределения. Нарушение условий симметрии при заселении ячеек в итоге означает отказ от господствующего в термодинамике и статистической физике постулата равных априорных вероятностей микросостояний (Теорема 1).

Когда постулат равных априорных вероятностей утрачивает силу, энтропия Больцмана S = lnW (и другие производные ее формы) уже не может исполнять роль функции, характеризующей вероятность макросостояния системы. С такой задачей может справиться лишь более общая функция, которая получена в настоящей работе, и была названа здесь энтропийной дивергенцией Оа. В соответствии с принципом преемственности она включает в себя энтропию как составляющую (11).

В отношении свойств энтропийной дивергенции приведено формальное доказательство ряда утверждений. Показано, что для определения равновесного состояния системы следует руководствоваться в общем случае уже не требованием условного максимума энтропии $тах, а требованием условного минимума энтропийной дивергенции (Оа) . Этот вывод - есть расширенной формулировкой традиционного экстремального энтропийного принципа применительно к более широкому кругу систем, не ограниченных требованием априорной равной вероятности микросостояний.

Измененный формализм, основанный на требовании условного минимума энтропийной дивергенции, позволяет легко вычислять равновесные распределения (например, (24), (27)), учитывающие априорные вероятности, как результат влияния другой системы. Такое взаимодействие может быть учтено в виде выражений (29), (30). Мультипликативная форма комбинированного распределения позволяет рассматривать процесс взаимодействие двух и более макросистем как реализацию сложного опыта. Объединение макросистем, связанных по такому типу адаптивным статистическим взаимодействием, можно анализировать с позиции единой метасистемы. Выражения, приведенные выше, позволяет развивать количественные приемы такого анализа. В качестве примера продемонстрирована возможность использования этого подхода для вычисления показателя степени в степенных (гиперболических) распределениях.

Литература

1. Jaynes, E. T. Information Theory and Statistical Mechanics [Text] / E. T. Jaynes // Physical Review. P. 620-630. doi:10.1103/physrev.106.620

1957. - Vol. 106, № 4.

£

e

2.

3.

4.

5.

6.

7.

8.

9.

10.

11.

12.

13.

14.

15.

16.

17.

18.

19.

20.

21.

22.

23.

24.

I

Планк, М. Введение в теоретическую физику. Теория теплоты [Текст] / М. Планк. - М.: Научно-техническое изд-во НКТП СССР, 1935. - Ч. 5. - 229 с.

Френкель, Я. И. Статистическая физика [Текст] / Я. И. Френкель. - М.: Изд-во академии наук СССР, 1948. - 760 с. Зоммерфельд, А. Термодинамика и статистическая физика [Текст] / А. Зоммерфельд. - М.: Изд-во иностр. лит., 1955. - 481 с. Киттель, Ч. Статистическая термодинамика [Текст] / Ч. Киттель. - М.: Просвещение, 1977. - 336 с.

Yakovenko, V. Statistical mechanics approach to the probability distribution of money [Text] / V. Yakovenko. - Department of Physics, University of Maryland, 28 July 2010. - 11 p.

Галкин, С. А. Экспоненциальные распределения индивидуальных доходов и расходов граждан: наблюдения и модели ^кст] / С. А. Галкин, О. И. Елагин, А. А. Козлов, В. А. Потапенко, М. Ю. Романовский // Труды института общей физики им. А. М. Прохорова, РАН. - 2009. - Т. 65. - С. 29-49.

Вильсон, А. Дж. Энтропийные методы моделирования сложных систем ^кст] / А. Дж. Вильсон. - М.: Наука, 1978. - 248 с. Левич, А. П. Математические аспекты вариационного моделирования в экологии сообществ ^кст] / А. П. Левич, В. Л. Алексеев, В. А. Никулин // Математическое моделирование. - 1994. - Вып. 6, № 5. - С. 55-76.

Прангишвили, И. В. Энтропийные и другие системные закономерности: Вопросы управления сложными системами ^кст] / И. В. Прангишвили. - М.: Наука, 2003. - 428 с.

Прохоров, А. М. Физическая энциклопедия ^кст] / гл. ред. А. М. Прохоров. - М.: Советская энциклопедия. - 1995. -Т. 4. - 640 с.

Делас, Н. И. Предельно гиперболический закон распределения в самоорганизованных системах [Текст] / Н. И. Делас,

B. А. Касьянов // Восточно-Евроропейский журнал передовых технологий. - 2012. - № 4/4 (58). - С. 13-18. - Режим доступа: \www/URL: http://journals.uran.ua/eejet/article/view/4901/4543

Делас, Н. И. Эволюция сложных систем с гиперболическим распределением [Текст] / Н. И. Делас // Восточно-Европейский журнал передовых технологий. - 2013. - № 3/4 (63). - С. 67-73. - Режим доступа: \www/URL: http://journals.uran.ua/eejet/ article/view/14769/12571

Kullback, S. On Information and Sufficiency [Text] / S. Kullback, R. A. Leibler // The Annals of Mathematical Statistics. -1951. - Vol. 22, № 1. - P. 79-86. doi:10.1214/aoms/1177729694

Трубников, Б. А. Пять великих распределений вероятностей [Текст] / Б. А. Трубников, О. Б. Трубникова // Природа. -2004. - № 11. - С. 13-20.

Горбань, И. И. Феномен статистической устойчивости [Текст] / И. И. Горбань. - Киев: Наукова думка, 2014. - 444 с. Мандельброт, Б. Теория информации и психолингвистическая теория частот слов [Текст] / Б. Мандельброт. - М.: Прогресс, 1973. - С. 316-337.

Ботвина, Л. Р. Автомодельность накопления повреждаемости [Текст] / Л. Р. Ботвина, Г. И. Баренблатт // Проблемы прочности. - 1985. - № 12. - С. 17-24.

Голицин, Г. С. Функции распределения вероятностей для циклонов и антициклонов [Текст] / Г. С. Голицин, И. И. Мохов, М. Г. Акперов, М. Ю. Бардин // Доклады РАН. - 2007. - Т. 413, № 2. - С. 254-256.

Андерсен, К. Длинный хвост. Новая модель ведения бизнеса [Текст] : пер. с англ. / К. Андерсен. - М.: Вершина, 2008. - 272 с. Хайбуллов, Р. А. Ранговый анализ космических систем [Текст] / Р. А. Хайбуллов // Известия главной астрономической обсерватории в Пулкове. - 2009. - Вып. 3, № 219. - С. 95-104.

Орлов, Ю. К. Невидимая гармония [Текст] / Ю. К. Орлов // Число и мисль. - 1980. - Вып. 3. - С. 70-105.

Гелашвили, Д. Б.Степенной характер накопления видового богатства как проявление фрактальной структуры биоценоза

[Текст] / Д. Б. Гелашвили, Д. И. Иудин, Г. С. Розенберг, В. Н. Якимов // Журнал общей биологии. - 2007. - Том 68, № 2. -

C. 115-124.

Делас, Н. И. Негауссово распределение как свойство сложных систем, организованных по типу ценозов [Текст] / Н. И. Делас, В. А. Касьянов // Восточно-Европейский журнал передовых технологий. - 2012. - № 3/4 (57). - С. 27-32. -Режим доступа: \www/URL: http://journals.uran.ua/eejet/article/view/4010/3677