CC BY
305
1
УДК 519.722
01.00.00 Физико-математические науки
К ВОПРОСУ ВЗАИМОСВЯЗИ КОМБИНАТОРНОГО, ВЕРОЯТНОСТНОГО И СИНЕРГЕТИЧЕСКОГО ПОДХОДОВ К ОПРЕДЕЛЕНИЮ КОЛИЧЕСТВА ИНФОРМАЦИИ
Вяткин Виктор Борисович к. т. н.
РИНЦ SPIN-код: 1809-5224 [email protected]
Кубанский государственный аграрный университет, Краснодар, Россия
В статье впервые рассмотрены интегративные коды элементов дискретных систем и показано, что эти коды в общем случае делятся на групповую и системную части. Групповая часть кода характеризует множество элементов с одинаковым значением признака как единое целое, а системная часть кода появляется тогда, когда различные множества объединяются в систему. Установлено, что через средневзвешенную величину указанных частей интегративного кода в точности могут быть выражены информационные меры комбинаторного, вероятностного и синергетического подходов к определению количества информации. На этом основании сделано заключение, что между данными подходами существует интегративнокодовая взаимосвязь, а фигурирующие в них виды информации имеют генетическое родство. При этом показано, что информация, рассматриваемая в синергетическом подходе (сведения о конечном множестве как едином целом), является генетически первичной по отношению к информации, с которой оперируют комбинаторный и вероятностный подходы (снятая неопределенность выбора одной из множества возможностей). Также дан ответ на вопрос о том, почему различные представления об информации приводят к одинаковым формулам ее измерения.
Ключевые слова: КОЛИЧЕСТВО ИНФОРМАЦИИ, ТЕОРИЯ ИНФОРМАЦИИ, ИНТЕГРАТИВНЫЙ КОД, СИНТРОПИЯ, ЭНТРОПИЯ
UDC 519.722
01.00.00 Physical-Mathematical sciences
TO THE RELATIONSHIP OF COMBINATORIAL, PROBABILISTIC AND SYNERGETIC APPROACHES FOR DETERMINING THE QUANTITY OF INFORMATION
Vyatkin Victor Borisovich Cand.Tech.Sci SPIN-код: 1809-5224 [email protected]
Kuban State Agrarian University, Krasnodar, Russia
In the article we consider integrative codes of the elements of discrete systems for the first time. It is shown that these codes in the general case divided into group and system parts. The group part of the code characterizes a set of elements with identical value of the sign as a whole. System part of the code appears when different sets are combined into the system. We have established that in using the weighted average of these parts of integrative code we can express information measures of combinatorial, probabilistic and synergistic approaches to determine the quantity of information. It is concluded that there is an integrative coding relationship between these approaches, and the existing types of information have genetic relationship. It is shown that the information considered in the synergetic approach is genetically of primary in relation to the information, which operates on the combinatorial and probabilistic approaches. Also, we have answered the question why the different conceptions of information lead to identical formulas to measure it.
Keywords: QUANTITY OF INFORMATION, INFORMATION THEORY, INTEGRATIVE CODE, SYNTROPY, ENTROPY
СОДЕРЖАНИЕ
ВВЕДЕНИЕ...........................................................2
1. КОМБИНАТОРНЫЙ, ВЕРОЯТНОСТНЫЙ И СИНЕРГЕТИЧЕСКИЙ ПОДХОДЫ К ОПРЕДЕЛЕНИЮ КОЛИЧЕСТВА ИНФОРМАЦИИ..................................3
1.1. Комбинаторный подход....................................... 3
1.2. Вероятностный подход........................................5
1.3. Синергетический подход......................................8
2
2. ВЗАИМОСВЯЗЬ КОМБИНАТОРНОГО, ВЕРОЯТНОСТНОГО И СИНЕРГЕТИЧЕСКОГО
ПОДХОДОВ.............................................................16
2.1. Уравнение взаимосвязи.........................................16
2.2. Интегративно-кодовая природа взаимосвязи......................19
2.3. Интегративно-кодовая эквивалентность энтропии отражения и энтропии
Шеннона............................................................28
ЗАКЛЮЧЕНИЕ...........................................................31
ЛИТЕРАТУРА...........................................................32
Введение
Становление теории информации, как научной дисциплины, было инициировано решением задач, связанных с передачей информации в виде символьных сообщений по техническим каналам связи и началось с разработки комбинаторного [1] и вероятностного [2] подходов1 к количественному определению информации, в каждом из которых была получена своя информационная мера. В обоих этих подходах информация абстрагируется от семантики сообщений и рассматривается как снятая неопределенность (энтропия) выбора одной из множества возможностей, причем в комбинаторном подходе все возможности имеют одинаковую вероятность, а в вероятностном подходе вероятности осуществления отдельных возможностей могут быть различными. Например, если некоторая система может находиться в одном их множества состояний, образующих полную группу событий, то, согласно указанным подходам, известие о том, что система находится в конкретном состоянии, дает информацию, которая по своей величине равна первоначальной неопределенности состояния системы. При этом, если вероятности состояний одинаковы, то количество полученной информации определяется с помощью комбинаторной меры, а если вероятности различны, то используется вероятностная мера.
Комбинаторный и вероятностный подходы нашли широкое применение в различных предметных областях, но, вместе с тем, они не позволяют корректно решать задачи, связанные с оценкой количества информации, которую отражают (воспроизводят) друг о друге, как едином целом, пересекающиеся конечные множества [4-7]. Данное обстоятельство обусловило разработку нового - синергетического - подхода к определению количества информации [7-10], в котором информация представляет собой сведения о конечном множестве, как едином целом, а мерой информации служит средняя длина интегративного кода его элементов.
1 Названия подходов даны согласно А.Н. Колмогорову [3], в то время как сами их авторы (Р.Хартли и К.Шеннон) такими названиями не пользовались.
3
Анализ дискретных систем с помощью этого подхода показал, что информация о дискретной системе при ее отражении через совокупность своих частей разделяется на отраженную и неотраженную части [8, 11, 12]. При этом математическая форма неотраженной информации оказалась тождественной информационным мерам комбинаторного и вероятностного подходов (тождественность комбинаторной мере, когда все части системы по числу элементов равны между собой и тождественность вероятностной мере, когда этого равенства нет). На этом основании, с учетом того, что неотраженная информация является вторичной информационной функцией, определяемой через отраженную информацию, было сделано предположение, что синергетический подход в информационногенетическом плане является первичным по отношению к комбинаторному и вероятностному подходам. Вместе с тем, содержательная природа такого взаимоотношения различных подходов к определению количества информации не была раскрыта, и не был дан удовлетворительный ответ на вопрос, - почему различные представления об информации приводят к одинаковым математическим выражениям ее измерения? В связи с этим уместно заметить, что в отношении подобных математических совпадений академик А.Н.Колмогоров писал, что «такие математические аналогии следует всегда подчеркивать, так как сосредоточение на них внимания содействует прогрессу науки» [13, с.39].
В настоящей статье дается ответ на поставленный вопрос и вскрываются глубинные корни взаимосвязи комбинаторного,
вероятностного и синергетического подходов к количественному определению информации, показывающие, что информация,
фигурирующая в этих подходах, имеет одну и ту же генетическую природу. При этом сначала приводится краткое описание каждого из подходов и показывается их математическая взаимосвязь.
1. Комбинаторный, вероятностный и синергетический подходы к определению количества информации
1.1. Комбинаторный подход
Среди известных подходов к определению количества информации наиболее ранним является комбинаторный подход, разработанный Р.Хартли в 1928г. [1]. Ставя перед собой задачу количественной оценки информации, передаваемой по техническим каналам связи, Р. Хартли исходил из того, что при передаче сообщения с помощью ^-символьного алфавита каждый символ сообщения является результатом выбора одной из N возможностей. Соответственно, для того, чтобы передать сообщение из n символов, необходимо осуществить n таких выборов. При этом
4
сообщение в целом, как единая «-символьная последовательность,
является реализацией одной из Nn возможных таких последовательностей.
Далее рассуждения Р.Хартли выглядели следующим образом: «Будем произвольно считать, что количество информации
пропорционально числу выборов, а коэффициент пропорциональности выберем таким образом, чтобы равным числам возможных
последовательностей соответствовали равные количества информации» [1,
с.11]. То есть, обозначая количество информации через H02, а коэффициент пропорциональности через K, имеем:
Ho = Kn (1)
Выдвигая условие, что, «если число выборов n1 и n2 в двух системах таковы, что возможных последовательностей в обеих системах одинаково, то одинаково и количество информации» [1, с. 11], Р.Хартли определил K следующим образом:
если N1n1 = N2n2 ,
то Ho = K n = K 2 «2,
K K2
откуда ------— =-----—.
log Ny log N2
Последнее выражение справедливо для всех значений N, если N и K связаны между собой соотношением:
K = Kо log N, (2)
где K0 произвольно и одинаково для любых систем связи.
Поскольку K0 произвольно, то, опуская его и подставляя (2) в (1), Р.Хартли получил следующую формулу количества информации
H0 = n log N = log Nn, (3)
говоря при этом, что «сделанное нами сводится, следовательно, к тому, что в качестве практической меры информации мы берем логарифм числа возможных последовательностей символов» [1, с.12]. Вероятности появления различных символов в сообщении при этом во внимание не принимались, а основание логарифма было принято считать произвольным.
Наибольшую популярность комбинаторная мера количества информации (3) получила в том своем частном виде, когда выбор из N
2
Сам Хартли обозначал информацию символом H без индекса. Нижний индекс «0» (ноль) в настоящей статье ставится для того, чтобы отличать количество информации по Хартли от количества информации по Шеннону, которое последний также обозначал символом H.
5
возможностей осуществляется один раз (п = 1), а основание логарифма равно двум, то есть:
Ho = log2 N (4)
Более того, с этого выражения (4) сейчас начинается, как правило, и собственно рассмотрение комбинаторного подхода [3]. При этом использование двоичного основания логарифма не имеет под собой какого-либо теоретического обоснования, а обусловлено лишь удобством оперирования двоичными логарифмами в процессе теоретической и практической деятельности, связанной с передачей, хранением и переработкой информации.
1.2 Вероятностный подход
В 1948г. К.Шеннон опубликовал ставшую знаменитой статью «Математическая теория связи» [2], в которой идея Р.Хартли о связи количества информации с выбором одной из множества равновероятных возможностей, была распространена на общий случай, когда возможности имеют различную вероятность. Вывод соответствующей меры информации начинался при этом с предположения, что «имеется некоторое множество возможных событий, вероятности осуществления которых суть p1,p2,...,pN» [2, с.259]. Говоря после этого, что «эти вероятности известны, но это - все, что нам известно относительно того, какое событие произойдет», К.Шеннон поставил вопрос: «Можно ли найти меру того, насколько велик «выбор» из такого набора событий или сколь неопределенен для нас его исход?» [2, с.259]. Отвечая на поставленный вопрос, К.Шеннон постулировал, что такая мера H(p1,p2,...,pN) должна обладать следующими свойствами:
«1. H должна быть непрерывной относительно pi.
2. Если все pt равны, pt = 1/ N, то H должна быть монотонно возрастающей функцией от N. В случае равновероятных событий имеется больше возможностей выбора или неопределенности, чем в случае, когда имеются разновероятные события.
3. Если бы выбор распадался на два последовательных выбора, то первоначальная H должна была бы быть взвешенной суммой индивидуальных значений Н» [2, с.260].
Беря сказанное за основу, К.Шеннон доказал теорему, согласно которой «существует единственная функция H, удовлетворяющая трем перечисленным выше свойствам. При этом Н имеет вид
N
Н=-K I pl log pt , (5)
i=1
6
где K - некоторая положительная постоянная» [2, с.260], которая зависит от основания логарифма и «определяет просто выбор единицы измерения» [2, с.261].
Форма полученной функции (5) проявила определенную степень подобия с термодинамической энтропией Больцмана, на основании чего и
3
по совету Дж. Неймана К.Шеннон назвал эту функцию энтропией множества вероятностей, утверждая, что «она является разумной количественной мерой возможности выбора или мерой количества информации» [2, с.262]. Тем самым введенная К.Шенноном мера (5) получила двойственную интерпретацию. То есть, когда перед нами неопределенная ситуация с N возможными исходами (выборами), значение H количественно характеризует неопределенность этой ситуации, а когда неопределенность снимается (ликвидируется) и ситуация становится определенной, то по значению H оценивается количество полученной при этом информации.
Наибольшее распространение информационно-энтропийная мера К.Шеннона, как и комбинаторная мера Р.Хартли, получила при использовании двоичных логарифмов. В этом случае принимается, что K = 1 и, соответственно, имеем:
N
H=- I Pi log2 Pi (6)
i=1
При этом, сравнивая (4) и (6), нетрудно видеть, что при постоянстве значений pi, то есть, когда pi = 1/ N, мера К.Шеннона становится равной мере Р.Хартли:
H
Pi = const
= H0 = log2 N
Последнее свидетельствует о том, что во взаимоотношениях вероятностного и комбинаторного подходов соблюдается принцип соответствия, согласно которому «новая теория, претендующая на более широкую область применимости, чем старая, должна включать последнюю как предельный случай» [15, с.1257].
3
В частной беседе с М.Трибусом относительно введенной им меры неопределенности К.Шеннон сказал следующее. «Меня больше всего беспокоило, как назвать эту величину. Я думал назвать ее «информацией», но это слово слишком перегружено, поэтому я решил остановиться на «неопределенности». Когда я обсуждал все это с Джоном фон Нейманом, тот предложил лучшую идею. Фон Нейман сказал мне: «Вам следует назвать ее энтропией по двум причинам. Во-первых, ваша функция неопределенности использовалась в статистической механике под этим названием, так что у нее уже есть имя. Во-вторых, и это важнее, никто не знает, что же такое эта энтропия на самом деле, поэтому в споре преимущество всегда будет на вашей стороне» [14, с.18].
7
Следует также отметить, что с вероятностно-статистических позиций вероятностная мера К.Шеннона может быть представлена как математическое ожидание случайной величины (- log2 p ):
H = M [- log2 p]
То есть, информация, получаемая в результате снятия неопределенности выбора одной из N возможностей, равна среднему значению логарифмов вероятности осуществления этих возможностей. На этом основании в вероятностном подходе вводится также понятие частной информации Ii [16], как индивидуальной информационной характеристики i-ой возможности:
Ii =- log2 Pi (7)
В содержательном плане выражение (7) говорит о том, что, чем меньше вероятность наступления какого-либо события, тем больше информации дает его осуществление.
Не углубляясь более в вероятностный подход, математический аппарат которого является весьма развитым, отметим, что после его разработки теория информации быстро обрела популярность и стала использоваться в различных предметных областях. Распространение теории было настолько стремительным, что уже в 1956г. К.Шеннон вынужден был заметить, что «сейчас теория информации, как модный опьяняющий напиток, кружит голову всем вокруг». При этом, предостерегая исследователей от формального использования созданной им теории информации, К.Шеннон писал, что «она не является панацеей для инженера-связиста и тем более для представителей всех других специальностей» и предупреждал при этом, что с помощью созданной теории «нельзя решить всех нерешенных проблем» [2, с.667-668]. Солидарность с этими словами К.Шеннона проявили многие ученые. Например, математик Р.Л.Добрушин писал, что «столь общий многообразный объект как информация, не может допускать единого метода численного измерения, а идеи Шеннона обоснованы лишь в применении к той важной, но всё же ограниченной ситуации, когда рассматриваются оптимальные методы кодирования и декодирования информации в целях ее передачи по каналам связи или ее хранения» [17, с.254].
Одной из таких «нерешенных проблем», которые будучи
информационными по своему содержанию, не могут быть решены с помощью комбинаторного подхода Р.Хартли и вероятностного подхода К.Шеннона, является задача оценки количества информации, которую отражают (воспроизводят) друг о друге, как едином целом, два пересекающихся конечных множества. Решение этой задачи потребовало разработки нового - синергетического - подхода к определению
8
количества информации, не связанного с проблемами передачи сообщений по системам технической связи, в котором содержательная сторона понятия «количество информации» принципиально отличается от принятой в комбинаторном и вероятностном подходах.
1.3 Синергетический подход
Освещая данный подход к определению количества информации, предварительно сделаем замечания относительно того, почему подход имеет такое название и что в этом подходе понимается под термином «информация».
Сразу отметим, что включение в название подхода слова «синергетический» никак не связано с синергетикой Г.Хакена [18], а обусловлено исходным значением слова синергетика, которое в переводе с греческого языка означает совместный, согласованно действующий. Дело в том, что в данном подходе рассматриваются информационные аспекты отражения конечных множеств как целостных образований. Элементы множеств при этом принимают участие в информационных процессах одновременно всей своей совокупностью без какого-либо выделения любого из них в качестве самостоятельного события, результата испытания и т.п., как это принято делать в комбинаторном и вероятностном подходах. Соответственно, под термином информация в синергетическом подходе понимаются сведения о конечном множестве как едином целом.
Перейдем теперь к общему описанию синергетического подхода, одновременно несколько модифицируя его относительно более ранних изложений [7-10] в части терминологии, символики и путей получения некоторых формул.
* * *
Рассматривая ту или иную дискретную систему, мы практически всегда выделяем в ее составе множества элементов, обладающих каким-либо одинаковым отличительным признаком (свойством). Когда два множества элементов, выделяемые с помощью различных признаков, пересекаются друг с другом, между ними возникает информационная взаимосвязь и каждое из множеств отражает (воспроизводит) о другом множестве, как целостном образовании, определенную информацию. Эта отраженная информация для ее отличия от других разновидностей информации получила название синтропия4 отражения [21, 22]. То есть,
4 Слово синтропия имеет греческое происхождение и на русский язык может быть переведено как сообраз, взаимная связь образов, совместный путь, сродство (приставка syn- соответствует приставке со-, а корень trop может иметь ряд значений, среди которых образ, путь, манера).
Впервые термин синтропия в научных исследованиях стали использовать в 1921г. немецкие педиатры М.Пфаундлер и Л.Зехт [19], которые назвали синтропией
9
синтропия отражения - это информация, которую отражают друг о друге, как едином целом, два пересекающихся конечных множества. Количественная оценка синтропии отражения имеет научный и практический интерес, а задача по ее определению ставится следующим образом.
Пусть в составе некоторой системы D = {d} (рис.1) по
отличительным признакам Ра и Рв выделены три конечных множества
A = {a | РА(a)} = {d | РА(d)}, B = {b | Рв(b)} = {d | Рв(d)} и К = A П B.
Рисунок 1. Модели взаимосвязи множеств А и В в составе системы D
а - модель отсутствия взаимосвязи; б, в, г - модель частичной взаимосвязи; д - модель полной (взаимно-однозначной) взаимосвязи
Количество элементов в составе каждого из множеств (мощность множества) равно |А|, |B|, |К|. Требуется определить чему равна синтропия
отражения Iab , то есть количество информации, которую отражают друг о друге, как едином целом, конечные множества А и В.
Поставленная задача по определению синтропии Iab имеет теоретический характер, поэтому для лучшего ее восприятия приведем практические примеры этой задачи в различных предметных областях.
Медицина. Пусть среди множества людей, имеющих то или иное заболевание (система D), выделены три группы больных. Первая группа - люди с
«взаимную склонность, притяжение» двух болезней (в противоположность дистропии, те есть «взаимному отталкиванию»). Позднее, независимо от медицинских исследований, термином синтропия стал пользоваться ряд ученых для обозначения того, что противоположно по своему смыслу энтропии. Пионером в данном отношении выступил в 1942г. итальянский математик Л.Фантаппи [20].
10
заболеванием A (множество A с числом элементов A ). Вторая группа - люди с
заболеванием B (множество B с числом элементов |В| ). Третью группу образуют люди, у которых одновременно наблюдаются оба заболевания A и B (множество К с числом элементов |К| ). Определяя величину синтропии отражения Iab , мы
получим ответ на вопрос относительно того, в какой мере заболевания A и B сопровождают друг друга. Соответственно, диагностируя у человека одно заболевание, мы можем с определенной степенью уверенности прогнозировать наличие или отсутствие у него второго заболевания.
Социология. Предположим, что имеется представительная совокупность случайным образом отобранных людей, занимающихся трудовой деятельностью (система D), которые характеризуются двумя признаками - уровнем заработной платы и уровнем образования. При этом зарплату выше среднего уровня
получают A человек (множество A с числом элементов А|), а высшее образование имеют |В| человек (множество B с числом элементов |В| ), причем среди людей с высшим образованием заработок выше среднего уровня отмечается |К| раз (множество K с числом элементов |К| ). Определяя в данном
случае величину синтропии I ab , мы получим информационно-количественную характеристику взаимосвязи высшего образования с повышенным уровнем заработной платы.
Биржевые торги. На ценовой истории любого биржевого инструмента (акции, индексы, валютные пары и т. д.) (система D), независимо от временного масштаба, всегда можно выделить ряд моментов времени, благоприятных для
открытия торговых позиций (множество A с числом элементов |А|). Тестируя на
ценовой истории ту или иную торговую систему, мы получаем определенное количество сигналов относительно того, когда, по «мнению» системы, нужно
было открывать позиции (множество B с числом элементов |В|). При этом у любой системы только часть сигналов по времени своего поступления совпадает с оптимальными торговыми моментами (множество К с числом элементов |К| ). Оценивая по этим данным синтропию отражения I AB различных торговых систем, мы можем проводить сравнительный анализ их работы.
Из анализа моделей взаимосвязи множеств (рис.1) с очевидностью следует, что когда множества А и В состоят из одних и тех же элементов d е D (рис.1д), то их отражение друг через друга ничем не отличается от отражения через самих себя, и как следствие, информация, которую каждое множество отражает о самом себе и синтропия их взаимного отражения в этом случае суть одно и то же, а когда у множеств нет общих элементов (рис.1а), то синтропия как таковая просто не существует. Соответственно, можно утверждать, что в общем случае взаимосвязи множеств, когда в их составе имеются общие элементы dе D (рис.1б,в,г), синтропия I AB представляет собой часть информации, отражаемой о себе
11
каждым из множеств. То есть, обозначая через IA и IB информацию, отражаемую о себе каждым из множеств А и В, можно записать
0 £ IAB £ IA , 0 £ IAB £ IB
С учетом сказанного непосредственной оценке синтропии Iab в синергетическом подходе предшествует определение количества информации Ia , которую произвольное конечное множество А отражает о самом себе как едином целом. При этом отметим, что информация IA при изложении синергетического подхода ранее [7-10] фигурировала под названием «самоотражаемая информация», что создавало определенные неудобства. Поэтому, поскольку информация IA связана только с самим множеством А и совместно с признаком PA является его атрибутивной характеристикой, то разумно этой информации дать новое название -атрибутивная информация конечного множества или просто атрибутивная информация. То есть, атрибутивная информация - это информация, которую конечное множество отражает о самом себе как целостном образовании.
Количественное определение атрибутивной информации IA основывается на двух аксиомах:
1. Аксиома монотонности. Атрибутивная информация конечного множества является монотонно возрастающей функцией от общего числа его элементов, то есть для любых двух конечных множеств А и В с числом элементов |А| и |B| = |А| +1 имеет место неравенство
Ia < Ib (8)
2. Аксиома интегративности. Показателем конечного множества
А, как единого целого, является интегративный код его элементов, представляющий собой индивидуальную для каждого элемента последовательность символов какого-либо алфавита, число
которых La (длина кода) является функцией от общего количества
элементов |А| в составе множества.
Далее рассматривается процесс увеличения числа элементов |А| в
составе множества А, который представляется в виде роста ориентированного дерева, совокупность висячих вершин которого взаимно-однозначно соответствует множеству элементов а е А, а максимальное число дуг, выходящих из одной вершины, равно числу символов n алфавита, выбранного для составления интегративных кодов. При этом каждой из смежных дуг в алфавитном порядке ставится в соответствие свой символ и, как следствие, в качестве индивидуального интегративного кода какого-либо элемента выступает последовательность
12
символов, находящихся на пути движения из начальной вершины дерева в соответствующую данному элементу висячую вершину.
Модель такого дерева, которое называется деревом кодов, при n = 2 и использовании в качестве алфавита упорядоченной пары символов < 0,1 > приведена на рис.2.
"V"
А1
Рисунок 2. Модель дерева кодов при n = 2 и \Л\ = 6
Из рисунка видно, что в общем случае множество А по длине интегративных кодов его элементов разбивается на два подмножества A' и А", таких, что La = x и La" = x +1, где x = [logn |A|] - целочисленная часть
logn [A]. То есть La не является однозначной функцией от |А|. Поэтому в дальнейшем рассматривается средняя длина La интегративных кодов. Величина La при n = 2 получена в следующем виде:
2 x+1
LAn=2 = Х + 2 - А (9)
Выражение (9) удовлетворяет принятым аксиомам и,
соответственно, может быть принято за количество атрибутивной
информации 1А. В тех же случаях, когда n > 2, величина La не может служить мерой 1А, потому что при этом не соблюдается аксиома монотонности (8). Например, уже при n = 3, в ситуациях, показанных на рис.3, имеем, что La = 1 при |А| = 2 и |А| = 3 (рис.3а,б), и La = 2, когда
|А| = 8 и \А\ = 9 (рис.9в,г). То есть, если n > 2, то при наполнении выходящими дугами начальной вершины дерева и последней из висячих вершин средняя длина интегративных кодов La не изменяется.
13
а
|A | = 2
б в г
Отсюда следует, что средняя длина интегративного кода элементов La может выступать в качестве меры атрибутивной информации IA только тогда, когда интегративные коды составлены с помощью двоичного алфавита, то есть принимается, что
ia = La |n=2 (10)
Так как согласно (9) LA|n=2 = f ([log2| A| ]), то из (10) также следует,
что для оценки количества информации в синергетическом подходе могут использоваться только двоичные логарифмы.
Установлено [7-10], что на всем множестве возможных значений |А| е [1, ¥ отклонение La от log21А| ограничено постоянной величиной
y= sup (La - log2|А|) = 0,0860713...
\a е [1, ¥)
Основываясь на данном факте, а также учитывая высокую когерентность поведения функций LA|n=2 и log2|А| (рис.4) и более простой вид
последней из них, для удобства дальнейших теоретических построений и практических расчетов вместо выражения (10) принимается его аппроксимация
Ia = log21А\, (11)
которая также удовлетворяет принятым аксиомам монотонности и интегративности.
14
la , log2|A
То есть при дальнейшем развитии синергетического подхода атрибутивная информация конечного множества выражается через двоичный логарифм общего числа его элементов.
По своей математической форме атрибутивная информация IA (11) подобна информационной мере Р.Хартли Н0 (4) и может создаться впечатление, что они суть одно и то же. Но это далеко не так, что следует хотя бы из того, что их аргументы |А| и N характеризуют множество с разных сторон (N представляет собой разнообразие элементов множества, а |А| равно их общему числу). Соответственно, в одной и той же ситуации IA и Н0, в общем случае, имеют различные значения, причем H0 < IA . В этом можно убедиться на примере буквенных последовательностей конечной длины, информационные оценки которых по формулам (4) и (11) приведены в таблицах 1 и 2.
Из табл. 1 видно, что IA не зависит от разнообразия букв, образующих последовательность, а табл. 2, в свою очередь, показывает, что H0 не зависит от общей длины буквенной последовательности. Иначе говоря, атрибутивная информация множества (11) и информационная мера Р.Хартли (4) инвариантны относительно друг друга, а их значения равны между собой только в том частном случае, когда N = А|.
15
Таблица 1
№ Буквенная последовательность A N Ia H 0
1 a,b,c,d,e,f,g,h 8 8 3 3
2 a,a,b,b,c,c,d,d 8 4 3 2
3 a,a,a,a,b,b,b,b 8 2 3 1
4 a, a, a, a, a, a, a, a, 8 1 3 0
Таблица 2
№ Буквенная последовательность A N Ia H 0
1 a,b 2 2 1 1
2 a,a,b,b 4 2 2 1
3 a,a,a,a,b,b,b,b 8 2 3 1
Возвращаясь теперь к задаче оценки синтропии отражения IAB, отметим, что определение атрибутивной информации IA, как величины La , обусловило оценку синтропии Iab , как результата воспроизведения средней длины интегративного кода элементов одного конечного множества, через пересекающееся с ним другое конечное множество. Это воспроизведение основано на том, что интегративный код любого элемента произвольного множества А представляет собой определенное символьное сообщение о самом множестве, как о целостном образовании, вследствие чего величина атрибутивной информации IA интерпретируется
также, как средняя длина такого сообщения. Исходя из этого, формула синтропии отражения IAB выводится на основе анализа процесса передачи информации IA по системе информационной связи, в которой множества А и В попеременно являются источником и приемником информации, а связующее множество К = AIB выступает в качестве передающей среды или канала связи. В результате указанного анализа формула синтропии отражения I ab получена в следующем виде:
|К|2
Iab 1оВ2 К (12)
A ' B
Из выражения (12) следует, что синтропия IAB является частью атрибутивной информации IK = log2|К|. В то же время, поскольку связующее множество K является подмножеством как множества А, так и
16
множества В, то утверждается, что синтропия IAB представляет собой одну и ту же часть атрибутивной информации каждого из множеств А и В.
Заканчивая общее описание синергетического подхода к определению количества информации, отметим, что этот подход принципиально отличается от комбинаторного и вероятностного подходов тем, что рассматриваемая в нем информация существует независимо от управления, то есть не связана с выбором одной из множества возможностей.
2. Взаимосвязь комбинаторного, вероятностного и синергетического подходов
2.1. Уравнение взаимосвязи
Синергетический подход к определению количества информации получил свое развитие в виде одноименной - синергетической - теории информации, предметом познания которой являются информационноколичественные аспекты отражения системных образований,
представленных конечным множеством элементов. Одним из разделов данной теории является анализ отражения произвольной дискретной системы А через совокупность своих частей B1, B2,..., BN, выделенных по
значениям какого-либо признака PB
B
N
pbr pb2— pbn . При этом A = U Bi,
i=1
N N
П Bi = 0, A = X BI (рис. 5). Моменты этого анализа, имеющие
i=1 i=1
отношение к тематике настоящей статьи, сводятся к следующему.
Рисунок 5. Система А и совокупность ее частей B1, B2, ..., BN
Каждая часть дискретной системы (рис.5) отражает о ней, как едином целом, определенную информацию, которая представляет собой синтропию отражения 1щ . При этом, поскольку AI Bt = Bi, то формула
синтропии (12) принимает следующий вид:
17
IABl = ~A ^°g2 Bi
(13)
Установлено, что аддитивная синтропия IS, равная сумме всех частных синтропий системы
N
Is= SIABt , (14)
i=1
при N > 1 всегда меньше, чем ее атрибутивная информация IA (11). То есть
Ia > I
S
(15)
Неравенство (15) говорит о том, что не вся информация о дискретной системе, как едином целом, отражается (воспроизводится) через дифференцированную совокупность ее частей и всегда существует некоторая часть отражаемой информации IA, которая остаётся неотражённой. Эта неотражённая или невоспроизведённая информация характеризует неопределённость, неадекватность отражения системы через свои части, что в соответствии с распространённой интерпретацией термина энтропия, как меры неопределённости чего-либо, позволяет называть её энтропией отражения. То есть, энтропия отражения (S) - это информация о дискретной системе, которая не воспроизводится через совокупность ее частей.
Величина энтропии отражения S определяется как разность между отражаемой IA и отраженной IS информациями и в соответствии с формулами (11), (13), (14) равна:
I I NBi| , ,
S = log2|A| - lLiilog2|Bi| (16)
i=1 A
Умножив и разделив аргумент второго логарифма в выражении (16) на A ,
и заменяя при этом логарифм произведения суммой логарифмов, получаем:
I I N Bi I
S = log21A - Sjjlog2
i=1 A
A
log21 A\SW
i=1 A
N
Так как S| Bi
i =1
A, то из последнего выражения следует:
N IB.-I
S=- SW log
i=1 A
2
A
(17)
18
Таким образом, изложенное свидетельствует о том, что при отражении дискретной системы через совокупность своих частей происходит разделение отражаемой информации на отраженную и неотраженную части, равные, соответственно, аддитивной синтропии и энтропии отражения. Иначе говоря, информационный баланс отражения дискретной системы через свои части выражается уравнением:
Ia = Is+ S (18)
С позиций теории вероятностей отношение |Вг-1 / |A| представляет собой вероятность pi встречи элементов, обладающих i-м значением признака Рв, среди общего числа элементов системы А. Поэтому формула энтропии отражения (17) может быть представлена также в следующем виде:
N
s = - Z Pi 1оё2 Pi (19)
i = 1
Нетрудно видеть, что формула энтропии отражения (19) и формула энтропии К.Шеннона (6) в математическом отношении представляют собой одно и то же, хотя по своей содержательной интерпретации они принципиально отличаются друг от друга. Так как при pi = const формула
К.Шеннона (6) становится формулой Р.Хартли (4), то можно говорить о том, что равенство (18), помимо прочего5, представляет собой уравнение взаимосвязи комбинаторного, вероятностного и синергетического подходов к определению количества информации, которое в зависимости от значений Pi принимает следующий вид:
pi ф const ^ Ia = IS + H (20)
pi = const ^ Ia = Is+ H0 (21)
Анализируя выражения (20) и (21), необходимо также отметить следующее. В вероятностном подходе К.Шеннона энтропия (6) вводится в рассмотрение эмпирическим путём, как функция, удовлетворяющая априорным требованиям к мере неопределённости выбора одной из N различных возможностей. В синергетической теории информации, в свою очередь, энтропия отражения (19) получена аналитически, как разность между отражаемой (11) и отражённой (14) информациями. Иначе говоря, в синергетической теории информации энтропия (19) представляет собой меру неотражённой информации, и в силу этого является вторичной, то есть выводимой через синтропию отражения функцией. Сказанное позволяет утверждать, что с информационно-генетических позиций
5 Выражение (18) имеет ряд интерпретаций, среди которых «закон сохранения суммы хаоса и порядка» и «закон сохранения информации» [11, 12, 23, 24].
19
синергетический подход к определению количества информации является первичным по отношению к комбинаторному подходу Р.Хартли и вероятностному подходу К.Шеннона. Примечательно, что данное утверждение полностью согласуется с тезисом академика А.Н.Колмогорова о том, что «основные понятия теории информации должны и могут быть обоснованы без помощи обращения к теории вероятностей и так, что понятия «энтропия» и «количество информации» оказываются применимы к индивидуальным объектам» [25, с.6].
Указанная взаимосвязь различных подходов к определению количества информации основана на математической тождественности энтропии отражения и энтропии Шеннона, которая ничего не говорит о природе этой взаимосвязи. Поэтому возникает естественный вопрос -почему различные представления об информации приводят к одной и той же математической формуле ее измерения, именуемой как «энтропия»? Причем, когда понятие информации связывается с управлением (теория Хартли-Шеннона), эта формула имеет основополагающее значение, а когда информация рассматривается независимо от управления (синергетическая теория), то формула энтропии появляется третьей по счету в ряду соответствующих информационных мер (после атрибутивной информации и синтропии отражения). Поскольку, согласно сделанному информационно-генетическому утверждению, синергетическая
информация (IA, IS) является первичной по отношению к управленческой информации (H0, H) и связана при этом с интегративными кодами элементов, то представляется разумным ответ на поставленный вопрос искать в особенностях структуры интегративных кодов, когда множество по значениям какого-либо признака делится на ряд подмножеств и рассматривается как система, в которой подмножества выступают в качестве ее автономных частей.
2.2. Интегративно-кодовая природа взаимосвязи
На основе аксиомы интегративности, принятой при выводе формулы атрибутивной информации, модели взаимосвязи двух конечных множеств А и В (рис.1) можно выразить с помощью интегративных кодов их элементов, что иллюстрирует рисунок 6.
20
Рисунок 6. Интегративно-кодовая взаимосвязь конечных множеств А и В
а - взаимосвязь отсутствует; б,в,г - частичная взаимосвязь; д - полная взаимосвязь
Из рисунка видно, что, когда пересечение множеств не является пустым множеством, то кодовые деревья множеств частично (рис.6б,в,г) или полностью (рис.бд) совмещаются друг с другом. То есть при полном совмещении кодовых деревьев интегративные коды элементов одного множества полностью совпадают с интегративными кодами элементов другого множества, а когда совмещение деревьев является частичным, то совпадение кодов имеет фрагментарный характер, причем различаются две ситуации. В первом, наиболее общем случае (рис.бб), совпадающие фрагменты составляют часть интегративного кода тех элементов каждого из множеств, которые образуют область их пресечения. Во втором, более частном случае (рис.6в,г), одно из множеств является подмножеством другого множества и, соответственно, интегративные коды элементов подмножества представляют собой только часть интегративных кодов элементов множества.
Беря сказанное за основу, ранее рассмотренную систему А (рис.5) можно представить в виде дерева кодов, в котором взаимоотношения интегративных кодов элементов системы и каждой из ее частей соответствуют взаимоотношениям интегративных кодов элементов пересекающихся множеств А и В, когда В с А (рис.бв). Такое системное дерево кодов, на примере системы А с числом элементов \А\ = 8,
21
представлено на рисунке 7. При этом показаны три ситуации, которые отражают два полярных (рис.7а,в) и один общий (рис.7б) случаи деления системы А по значениям отличительного признака PB = PB ,PBi,...,PBn на
N частей B1, B2,..., BN.
Рисунок 7. Деревья интегративных кодов дискретной системы А
с числом элементов |А| = 8
На рисунке 7 а непосредственное деление системы на части отсутствует (N = 1), то есть все элементы системы характеризуются одним
и тем же значением признака PB . Противоположная этому ситуация показана на рис.7в, где число частей системы равно количеству ее элементов (N = |А|), то есть в данном случае каждый элемент системы обладает индивидуальным значением признака PB . На рисунке 7б приведен наиболее общий случай деления системы на части (1 < N < |А|),
когда части соотносятся между собой по числу элементов произвольным образом, то есть, когда элементы системы по значениям признака PB могут образовывать множества с числом элементов от |Вг| = 1 до
B = \л\ -1.
Анализ кодовых деревьев на рисунке 7б показывает, что в общем случае интегративные коды элементов, образующих дискретную систему, могут быть разделены на две части. Первая часть (нижняя) одновременно представляет собой, как фрагмент общесистемного интегративного кода элементов, так и собственно интегративный код соответствующей части системы, когда эта часть рассматривается автономно, то есть независимо от других частей. Вторая часть (верхняя), в свою очередь, является только
22
фрагментом общесистемного кода. Отсюда следует, что, когда автономные конечные множества объединяются в систему, интегративные коды их элементов возрастают на некоторую величину, которая является показателем системной принадлежности множеств или, проще говоря, выражает собой системный эффект от объединения множеств в одно целое.6 Учитывая это, и принимая во внимание тот факт, что множество элементов, образующих ту или иную часть системы, можно также называть группой элементов с одинаковым значением определенного признака, дадим указанным частям интегративных кодов следующие названия. Нижняя часть кода - групповая часть, верхняя часть кода -системная часть. При этом можно сказать, что системная часть кода является надстройкой его групповой части.
Так как длину интегративного кода элементов принято обозначать символом L, то любой фрагмент кода будем обозначать символом DL. Соответственно, для групповой и системной частей кода принимаются обозначения DLG и DLS. Таким образом, общую длину интегративного кода любого элемента системы можно представить в следующем виде:
L = DLg + D Ls
Обращаясь снова к рисунку 7, также отметим следующее. Когда в системе нет деления на части (рис.7а), системная составляющая DLS в интегративных кодах ее элементов отсутствует и коды представлены только групповой частью DLG. В противоположной ситуации (рис.7в), когда число частей системы равно количеству ее элементов, имеем обратную картину, то есть интегративный код каждого элемента состоит только из системной части DLS. В наиболее общем случае деления системы на части (рис.7б) интегративные коды элементов состоят из обеих частей DLg и DLS, но при этом в тех отдельных частных случаях (части
В3 и В4 на рис. 7б), когда |£г| = 1, интегративные коды представлены только системной составляющей.
Рассмотрим теперь количественные аспекты интегративных кодов элементов в составе системы и начнем с их групповой части.
По определению (10) атрибутивная информация произвольного конечного множества равна средней длине интегративного кода его элементов, составленного с помощью двоичного алфавита.
Соответственно, средняя величина групповой части кода элементов, образующих i-ю часть системы, равна:
6 Системные эффекты подобного рода, выражающие эмерджентные свойства систем, рассматриваются, например, в системной теории информации Е.В. Луценко, созданной на базе информационных мер Хартли и Шеннона [26, 27].
23
(DLG )Bi - log2 |Bi
(22)
Средневзвешенное значение групповой части кода (22) по всем частям системы, в свою очередь, выразится формулой:
N
ЦBj I log2 Bj
N
Так как I |Bi
i-1
(DLG ) A - 1 1 N
IIBj
i-1
A , то окончательно для (DLG)A имеем:
(DLg )a - l°g2 B (23)
i-1 A
Определяя теперь среднее значение системной части кода, сначала с очевидностью отметим, что эта величина для элементов i-й части системы будет равна разности между средним значением общей длины кода всех элементов системы (10) и средней величиной групповой части кода элементов данной части системы (22), то есть:
--- — ----- . . . . A BA
(DLS )Bi - LA - (DLG )Bi - !°g2| A - log2 |Bi| - log2 В = -l0g2W
(24)
Соответственно, средневзвешенная величина системной интегративного кода по всем элементам системы равна:
(DLS ) A -
N
- I|Bi| log2
i-1
A
N
IIBi
i-1
n |b-|
I l°g2
i-1 A
В
A
части
(25)
При этом в том случае, когда все части системы равны между собой по
I I AI
числу элементов, то есть, когда В А - —, имеем:
N
(DLS ) A
Bi - const
N—l°g2
N
1
N
l°g2 N
(26)
Проводя теперь сравнительный анализ полученных характеристик интегративных кодов с информационными мерами комбинаторного, вероятностного и синергетического подходов к определению количества информации, можно сказать следующее.
Комбинаторный и вероятностный подходы. Наиболее известная мера информации - энтропийная мера Шеннона (6) - представляет собой
24
средневзвешенную величину системной части интегративного кода элементов дискретной системы (25), разделенной по значениям произвольного признака PB на N частей:
H — (DLs ) ^
(27)
При этом в том случае, когда все части системы равны между собой по количеству элементов (26), через средневзвешенную величину системной части интегративного кода выражается также комбинаторная мера информации Хартли (4):
Hо - (dLs ) A
Bi — const
(28)
Частная информация (7), фигурирующая в вероятностном подходе, в свою очередь, представляет собой среднее значение величины системной части кода (24) тех элементов системы, которые имеют одно и то же значение признака PB — PB ,PB^,...,PBn , то есть:
h — (DLs )
Bi
(29)
Синергетический подход. Первоначально выводимая в этом подходе мера атрибутивной информации конечного множества (11) по определению представляет собой среднюю длину интегративного кода всех элементов системы (1о), которая при отсутствии деления системы на части также является средней длиной групповой части интегративного кода элементов, то есть:
IA — LA — (DLG ) A
N—1
(30)
Частная синтропия отражения системы какой-либо ее частью (13) с интегративно-кодовых позиций представляет собой соответствующее слагаемое в формуле средневзвешенного значения групповой части кода элементов системы (23) и с учетом равенства (22) может быть представлена в следующем виде:
B—
1щ —^ (DLg )Bl (31)
Соответственно, аддитивная синтропия отражения (14), представляя собой отраженную часть атрибутивной информации (11), равна средневзвешенной величине групповой части кода всех элементов системы
(23): ____
Is— (DLg ) a (32)
Энтропия отражения системы через совокупность своих частей (17), будучи неотраженной частью атрибутивной информации, также как и
25
энтропия Шеннона, равна средневзвешенной величине системной части интегративного кода элементов системы (25), то есть:
S = (щ) a (33)
Обобщением сказанного является таблица 3, в которой вместе с информационными мерами комбинаторного (4), вероятностного (6,7) и синергетического (11,13,14,17) подходов к определению количества информации приведены результаты их сравнительного анализа (27-33) с различными характеристиками интегративных кодов элементов дискретных систем (22-26).
Таблица 3 - Информационные меры и их интегративно-кодовая интерпретация
Подход к определению количества информации Информационная мера
Оригинальный вид Интегративно-кодовая интерпретация
Комбинаторный H о = log2 N H0 = (DLS ) A B | \Bi = const
Вероятностный N H = - I Pi log2 Pi i = 1 H = (DLs ) A
Ii = -log2 Pi Ii = (DLS ) Bi
Синергетический 1A = log2 A 1A = LA = (DLG ) A N=1
BJ , , IABl A ^0g2\Bi\ IbJ IABi = ~A (ALG ) Bi
^BJ . . I S= log 2\B,\ i=1 A Is = (dLg ) a
nBJ IbJ s=-i!\ Alog2 A S = (DLs ) a
Приведенная таблица наглядно показывает, что информационные меры комбинаторного, вероятностного и синергетического подходов по своей сущности являются количественными характеристиками структурных особенностей интегративных кодов элементов
26
дискретных систем, что говорит об их общем генетическом родстве. Именно в этом заключается глубинная природа взаимосвязи данных подходов к определению количества информации. При этом информационные меры комбинаторного и вероятностного подходов функционально связаны только с системной частью интегративных кодов, в то время как в мерах синергетического подхода фигурируют обе части кода, а также его общая длина.
Так как системная часть кодов является надстройкой групповой части и образуется только тогда, когда система делится на части по значениям какого-либо признака, а до этого деления интегративные коды элементов представлены только групповой частью, то сказанное свидетельствует о том, что в генетическом отношении информация, фигурирующая в синергетическом подходе, является первичной по отношению к информации, измеряемой в комбинаторном и вероятностном подходах. Это лишний раз подтверждает ранее сделанное утверждение об информационно-генетической первичности
синергетической теории информации относительно теории Хартли-Шеннона, основанное на анализе последовательности получения формул атрибутивной информации, аддитивной синтропии и энтропии отражения, с учетом того, что последняя из них математически тождественна энтропии Шеннона.
Покажем на простых примерах как можно практически представить себе генетическую первичность информации синергетического подхода и вторичность информации комбинаторного и вероятностного подходов.
Пример 1. Известно [2], что при передаче текстовых сообщений по каналам технической связи среднее количество информации, приходящейся на одну букву, равно энтропии Шеннона, определенной на основе вероятностей появления букв в языке, на котором составлено сообщение. Эти вероятности выражают статистическую структуру языка и определяются на основе анализа представительного по объему текста, написанного на данном языке. То есть, прежде, чем вычислять энтропию Шеннона, нужно провести предварительную работу по определению общего количества букв анализируемого
представительного текста (система А с числом элементов |А|, в качестве которых выступают буквы) и числа появлений в тексте каждой буквы из используемого ^-буквенного алфавита (части Bj с A с числом букв |Bj1, i = 1,2,...,N). Только после этого можно оценить вероятность появления в тексте каждой буквы (Pj = |Bj| /|A| ) и перейти к непосредственному
вычислению энтропии Шеннона. При этом нетрудно видеть, что уже на предварительном этапе работ мы можем сразу определить атрибутивную информацию анализируемого текста (I a ) и такую же информацию каждой из его частей (I Bj ), равные, соответственно, среднему значению общей длины
интегративного кода всех букв текста и средней величине групповой части кода одинаковых букв.
27
Пример 2. В работе [28] приводится следующая задача, связанная с определением энтропии Шеннона: «Имеются две урны, содержащие по 20 шаров - 10 белых, 5 черных и 5 красных в первой и 8 белых, 8 черных и 4 красных во второй. Из каждой урны вытаскивают по одному шару. Исход какого из этих двух опытов следует считать более неопределенным?» [28, с.76]. При этом задача решается через определение энтропии Шеннона для каждого из опытов.
Энтропия первого опыта:
„1 1, 11, 11, 1 ,,
H =— log2-----log2---log2 = 1,5
2 62 2 4 2 4 4 2 4
Энтропия второго опыта:
2 2, 2 2, 2 1, 1
H 2 = — log2-------log2-----log2 = 1,52
5 2 5 5 2 5 5 2 5
На основе полученных значений авторы пишут: «Если оценивать (как это мы условились делать) степень неопределенности опыта его энтропией, то надо считать, что исход второго опыта является более неопределенным, чем исход первого» [28, с.77].
Покажем, что эта задача может быть решена также только на основе значений аддитивной синтропии. Дело в том, что аддитивная синтропия Is
является противоположностью энтропии отражения S, которая математически равна энтропии Шеннона H и, соответственно, может рассматриваться в качестве меры определенности исхода того или иного опыта. Поэтому, отвечая на поставленный в задаче вопрос, можно сказать, что более неопределенный исход имеет тот опыт, аддитивная синтропия (14) системы шаров у которого имеет меньшее значение. Собственно решение задачи при этом выглядит следующим образом.
Аддитивная синтропия первого опыта:
IS = —log210 + —log2 5 + —log2 5 = 2,82 S 20 20 20
Аддитивная синтропия второго опыта:
2 8 8 4
IS = — log2 8 + — log2 8 + — log2 4 = 2,8 S 20 20 20
В результате имеем неравенство IS > IS и соответственно можно
утверждать, что неопределенность исхода второго опыта больше, чем первого. То есть мы пришли к такому же решению задачи, как и в случае использования энтропии Шеннона.
Решение поставленной задачи, полученное с помощью синтропии отражения, показывает, что сравнительный анализ величины энтропии Шеннона различных систем с одинаковым числом элементов можно проводить на уровне бинарных суждений «больше - меньше» без определения значений самой энтропии.
28
2.3. Интегративно-кодовая эквивалентность энтропии отражения и энтропии Шеннона
Выше уже говорилось о том, что энтропия отражения и энтропия Шеннона имеют различную информационную интерпретацию, а их расчетные формулы, будучи математически тождественными, получены различными путями. Именно на этом основании во введении был поставлен вопрос о том, почему различные представления об информации приводят к одинаковым математическим выражениям ее измерения. Ранее ответ на этот вопрос оставался открытым, но сейчас, вставая на интегративно-кодовые позиции, в качестве ответа можно сказать следующее.
Выражения (27) и (33), а также таблица 3 показывают, что энтропия Шеннона H и энтропия отражения S имеют один и тот же интегративно-кодовый эквивалент в лице средневзвешенной величины (DLS)A системной части интегративного кода элементов дискретной системы и по существу являются ее метафорами. Именно поэтому их количественные оценки, полученные различными путями, выражаются одной и той же формулой. При этом метафоричность энтропии отражения, как невоспроизводимой части атрибутивной информации, является очевидной, в то время как метафоричность энтропии Шеннона следует из того, что средневзвешенная величина системной части интегративного кода удовлетворяет всем трем условиям, которые априорно были предъявлены Шенноном к мере информации, как снятой неопределенности выбора одной из множества возможностей.7 Покажем это. (Сами условия приведены в разд. 1.2.)
В силу того, что (DLS) A и H математически подобны, удовлетворение первым двум условиям Шеннона со стороны (DLS)A
является очевидным. В отношении же удовлетворения (DLS)A третьему условию, обратимся к поясняющему это условие примеру, который приводил сам Шеннон [2].
На рис. 8 показан выбор из трех возможностей, с помощью которого Шеннон разъяснял смысл третьего условия следующим образом.
7
В более широком смысле о метафоричности информации, как снятой неопределенности, можно прочитать, например, в работе [29] .
29
Рисунок 8. Выбор из трех возможностей (Шеннон К., 1948 [2])
«Слева имеются три возможности р1 = 1/2; р2 = 1/3; р3 = 1/6. Справа производится выбор между двумя возможностями, причем каждая имеет вероятность 1/2, и в случае осуществления второй возможности производится еще один выбор между двумя возможностями с вероятностями 2/3; 1/3. Окончательные результаты имеют те же самые вероятности, как и прежде. Потребуем в этом случае, чтобы
H
Г1111 V1 11 1 ' 2 1 ^
= H + -H
,2,3,6, V 2,2, 2 V 3,3 ,
(34)
Коэффициент У2 является весовым множителем, введенным из-за того, что второй выбор осуществляется только в половине случаев» [2, с.260].
С позиций дискретных систем, рассматриваемых в синергетической теории информации, пример Шеннона в общем случае представляет собой выбор одного элемента из системы А с числом элементов Ia|, которая по
значениям некоторого признака PB = PB ,Рщ,...,PBn разделена на N частей
B1, B2,..., BN с числом элементов в каждой части (B^, |B2|,..., |BN|. Соответственно выбор осуществляется из N возможностей, вероятности
b
которых равны р1
A
P2
A
, Pn
N
A
Если первоначальный
выбор из элементов системы А разделяется на два последовательных выбора так, как это показано Шенноном, то с системных позиций это означает следующее.
Первый из двух последовательных выборов осуществляется из
N
системы A*, состоящей из двух частей В1 и Bу = у Bi . Если в результате
i=2
выбора из элементов системы A* появляется элемент из части By, то эта
часть в дальнейшем рассматривается как автономная подсистема, из элементов которой осуществляется следующий выбор. Иллюстрацией этого является рис. 9, где выборы Шеннона из рис. 8 представлены как
выборы из элементов систем A и A* и подсистемы By.
30
б
В
B\
U
B,
B
Рисунок 9. Выбор элементов из систем A и A* и подсистемы В|
U
в
1
2
Так как H = (DLS)A, то на основе сказанного третье условие Шеннона может быть представлено в следующем виде.
Если система А, состоящая из N частей, преобразуется без
изменения общего числа элементов в систему A* из двух частей, таких, что одна часть представляет собой подсистему Ви, включающую в себя
N -1 частей системы А, то средневзвешенная величина системной части интегративного кода элементов системы А должна быть равна взвешенной сумме соответствующих величин системы A* и подсистемы %
Покажем выполнение этого условия на конкретном примере систем A и A* и подсистемы Ви с A*, приведенных на рис. 9, в которых
отношения числа элементов в частях к общему числу элементов равны вероятностям выборов в примере Шеннона на рис. 8. В самом простом случае такой пример выглядит следующим образом.
Дана система А (рис.9а) с числом элементов |A| = 6, которая по значениям признака PB = PB , PB2 , РВз разделена на три части Въ В2, В3 с
числом элементов BJ = 3, |В2| = 2, |В3| = 1. Эта система без изменения
общего числа элементов преобразуется в систему A* (рис.9б), состоящую из двух частей В, и BU = В2 U В3
частей В, и Ви = В2 U В3 с числом элементов
= 3:
В
U
— В2 + В3 — 2 +1 — 3
При этом часть Bu рассматривается как
автономная подсистема (рис.9в). В соответствии с формулой (25) значения средневзвешенных величин системных частей интегративного кода
элементов систем A и A* и подсистемы Ви с A* равны:
(DLS ) A
3
32
21
1
Al0g2 7 + 7 l0g2 7 + 7 l°g2 7
V 6 6 6 6 6 6
= 1,46
(35)
31
(DLS)A* —
(DLS)Bu
3
3 3
3
7log2 7 + 7 log2-6 6 6 6
1,0
2.
2 1
1
V 3l0g2 3 + 3l0g2 3 ,
- 0,92
(36)
(37)
Суммируя значения (36) и (37), и применяя к последнему весовой
множитель Шеннона из выражения (34), получаем значение (35). То есть,
, 0,92 1 . _
имеем равенство: 1 +—— —1,46.
Таким образом, на конкретном примере мы убедились, что средневзвешенная величина системной части интегративного кода элементов дискретной системы удовлетворяет условиям Шеннона, априорно предъявленным к мере информации как снятой неопределенности выбора одной из множества возможностей. Тем самым
метафоричность энтропии H по отношению к (DLS)A получает
практическое подтверждение.
Заключение
В начале 70-х годов прошлого столетия философ Л. А. Петрушенко, характеризуя положение дел в теории информации, писал: «Теория информации в кибернетике напоминает болото, поверх которого заботливыми руками математиков и техников настланы достаточно твердые доски. Ниже, Шенноном и Винером, насыпан плотный слой теорий и постулатов. Еще ниже находится мох догадок. И, наконец, там, совсем глубоко, - трясина гипотез, где все абсолютно шатко и сверкает ледяная вода таких широких обобщений и глубоких абстракций, которые еще не известны современной науке» [30, с.52].
К числу таких ранее не известных «глубоких абстракций» по праву можно отнести впервые рассмотренные в настоящей статье интегративные коды элементов дискретных систем, разделенных на части по значениям какого-либо признака. Анализ этих кодов показал, что в общем случае они формализовано делятся на групповую и системную части, первая из которых характеризует множество элементов с одинаковым значением признака как единое целое, а вторая часть, являясь надстройкой первой, образуется в результате объединения в одну систему различных множеств и по сущности представляет собой системный (эмерджентный) эффект такого объединения. При этом установлено, что через средневзвешенную величину групповой и системной частей интегративного кода в точности выражаются информационные меры комбинаторного, вероятностного и синергетического подходов к определению количества информации. Причем, если меры синергетического подхода выражаются через
32
средневзвешенную величину как групповой, так и системной частей кода, то в мерах комбинаторного и вероятностного подходов фигурирует средневзвешенная величина только системной части.
На основании сказанного в статье сделаны выводы о том, что, во-первых, между указанными подходами к определению количества информации существует интегративно-кодовая взаимосвязь и, во-вторых, что информация в виде сведений о конечном множестве как едином целом, измеряемая в синергетическом подходе, является генетически первичной по отношению к информации как снятой неопределенности выбора одной из множества возможностей, с которой оперируют комбинаторный и вероятностный подходы.
Последний из сделанных выводов позволяет говорить о том, что те «общие» определения информации, которые основаны на таких понятиях, как разнообразие [31, 32], неоднородность [33, 34], запомненный выбор [35, 36], с позиций дискретных систем являются неполными и
односторонними. Это следует уже из того факта, что количественная оценка определяемой подобным образом информации опирается на теорию информации в версии Хартли-Шеннона, интегративно-кодовая ограниченность которой показана в настоящей статье.
В статье также впервые дается содержательный ответ на вопрос о том, почему энтропия Шеннона и энтропия отражения, являясь мерами различных видов информации, выражаются одной и той же формулой, полученной к тому же различными путями. Суть данного ответа заключается в том, что обе эти энтропии имеют один и тот же интегративно-кодовый эквивалент в лице средневзвешенной величины системной части интегративного кода элементов дискретной системы, по отношению к которому являются метафорами.
В целом изложенный материал является развитием синергетической теории информации, в которой интегративные коды элементов ранее рассматривались в процессе вывода меры атрибутивной информации конечного множества.
Литература
1. Хартли Р.В.Л. Передача информации // Сб.: Теория информации и ее приложения. - М.: Физматгиз, 1959. - С. 5-35.
2. Шеннон К. Работы по теории информации и кибернетике. - М.: Изд. иностр. лит., 1963. -830 с.
3. Колмогоров А.Н. Три подхода к определению понятия «количество информации» // Проблемы передачи информации. - 1965, т.1, №1 - С. 3-11.
4. Вяткин В.Б. К вопросу информационной оценки признаков при прогнозно-геологических исследованиях // Известия Уральского горного института. Сер.: Геология и геофизика. -1993, вып. 2. - С. 21-28.
5. Вяткин В.Б. Информационные прогнозно-геологические антиномии // Компьютерное обеспечение работ по созданию государственной геологической карты Российской
33
федерации: Материалы 5-го Всероссийского совещания-семинара МПР РФ по компьютерным технологиям. - Ессентуки, 1998. - С. 116-119.
6. Вяткин В.Б. Теория информации и проблема негэнтропийной оценки признаков // Техногенез и экология: Информационно-тематический сборник - Екатеринбург: УГГГА, 1998 - С. 26 - 36.
7. Вяткин В.Б. Математические модели информационной оценки признаков рудных объектов: Автореф. дис. ... канд. техн. наук : 05.13.18 : Екатеринбург: УГТУ-УПИ, 2004. - 27с.
8. Вяткин В.Б. Синергетическая теория информации: общая характеристика и примеры использования. // Наука и оборонный комплекс - основные ресурсы российской модернизации. Материалы межрегиональной научно-практической конференции. -Екатеринбург: УрО РАН, 2002. - С. 361-390.
9. Вяткин В.Б. Синергетическая теория информации. Часть 1. Синергетический подход к определению количества информации // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2008. - №44(10). С. 166-189. Режим доступа: http://ei.kubagro.ru/2008/10/pdf/12.pdf
10. Вяткин В. Б. Синергетический подход к определению количества информации // Информационные технологии. - 2009, № 12. - С. 68-73.
11. Вяткин В.Б. Введение в синергетическую теорию информации // Информационные технологии. - 2010, № 12. - С. 67-73.
12. Вяткин В.Б. Синергетическая теория информации. Часть 2. Отражение дискретных систем в плоскости признаков их описания // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2009. - №45(1). С. 154-183. Режим доступа: http://ei .kubagro.ru/2009/01/pdf/12 .pdf
13. Колмогоров А.Н. Теория информации и теория алгоритмов. - М.: Наука, 1987. - 304с.
14. Мартин Н., Инглед Дж. Математическая теория энтропии. - М.: Мир, 1988. - 350с.
15. Советский энциклопедический словарь / Гл. ред. А.М. Прохоров. - М.: Сов. энциклопедия, 1989. - 1632с.
16. Вентцель Е.С. Теория вероятностей. - М.: Наука, 1969. - 576с.
17. Добрушин Р.Л. Теория информации (комментарии) / В кн: Колмогоров А.Н. Теория информации и теория алгоритмов. - М.: Наука, 1987. - с. 254-257.
18. Хакен Г. Синергетика. - М.: Мир, 1980. - 404с.
19. Pfaundler M., von Seht L. Weiteres uber Syntropie kindlicher Krankheitzustande // Zeitschr. f. Kinderheilk. - 1921, bd. 30. - S. 298-313.
20. Fantappie L. Principi di una teoria unitaria del mondo fisico e biologico. - Rome: Accademia d'ltalia, 1942.
21. Вяткин В.Б. Синергетическая теория информации: пояснения и терминологические
замечания // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2012. - №06(080). С. 557 - 592. Режим доступа: http://ei .kubagro.ru/2012/06/pdf/46.pdf
22. Вяткин В.Б. Информационно-квантовые характеристики и отраженные образы конечных множеств // Информационные технологии. - № 7, 2012. - С. 50-56.
23. Вяткин В.Б. Хаос и порядок дискретных систем в свете синергетической теории информации // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2009. - №03(47). С. 96 - 129. - Режим доступа: http://ei .kubagro.ru/2009/03/pdf/08.pdf
24. Вяткин В.Б. Основное уравнение синергетической теории информации и его интерпретация // Вычислительный интеллект (результаты, проблемы, перспективы): Материалы 2-й Международной научно-технической конференции. - Черкассы: Маклаут, 2013. - С. 345346.
25. Колмогоров А.Н. К логическим основам теории информации и теории вероятностей // Проблемы передачи информации. - 1969, т. 5, № 3. - С. 3-7.
34
26. Луценко Е.В. Автоматизированный системно-когнитивный анализ в управлении активными объектами (системная теория информации и ее применение в исследовании экономических, социально-психологических, технологических и организационно-технических систем). Монография (научное издание). - Краснодар: КубГАУ. 2002. - 605с.
27. Орлов А.И., Луценко Е.В. Системная нечеткая интервальная математика. Монография (научное издание). - Краснодар, КубГАУ. 2014. - 600 с.
28. Яглом А.М., Яглом И.М. Вероятность и информация. - М.: Наука, 1973. - 512с.
29. Соколов А.В. Информация как метафора // Труды Санкт-Петербургского государственного университета культуры и искусств. - Том 200, 2013. - с.416-424
30. Петрушенко Л.А. Самодвижение материи в свете кибернетики. - М.: Наука, 1971. - 290с.
31. Эшби У.Р. Введение в кибернетику. - М.: Изд. иностр. лит., 1959. -
432 с.
32. Урсул А.Д. Природа информации. - М.: Политиздат, 1968. - 288 с.
33. Глушков В.М. Мышление и кибернетика // Вопросы философии. - № 1, 1963. - С. 36-48.
34. Гуревич И.М. Информация как универсальная неоднородность // Информационные технологии. - № 4, 2010. - С. 66-74.
35. Кастлер Г. Возникновение биологической организации. - М.: Мир, 1967. - 91с.
36. Чернавский Д.С. Синергетика и информация: Динамическая теория информации. - М.: Либриком, 2013. - 304с.
Literatura
1. Hartli R.V.L. Peredacha informacii // Sb.: Teoriya informacii i ee prilozheniya. - M.: Fizmatgiz, 1959. - S. 5-35.
2. Shennon K. Raboty po teorii informacii i kibernetike. - M.: Izd. inostr. lit., 1963. - 830 s.
3. Kolmogorov A.N. Tri podhoda k opredeleniyu ponyatiya «kolichestvo informacii» // Problemy peredachi informacii. - 1965, t.1, №1 - S. 3-11.
4. Vyatkin V.B. K voprosu informacionnoj ocenki priznakov pri prognozno-geologicheskih issledovaniyah // Izvestiya Ural'skogo gornogo instituta. Ser.: Geologiya i geofizika. - 1993, vyp. 2. - S. 21-28.
5. Vyatkin V.B. Informacionnye prognozno-geologicheskie antinomii // Komp'yuternoe obespechenie rabot po sozdaniyu gosudarstvennoj geologicheskoj karty Rossijskoj federacii: Materialy 5-go Vserossijskogo soveshchaniya-seminara MPR RF po komp'yuternym tekhnologiyam. - Essentuki, 1998. - S. 116-119.
6. Vyatkin V.B. Teoriya informacii i problema negehntropijnoj ocenki priznakov // Tekhnogenez i ehkologiya: Informacionno-tematicheskij sbornik - Ekaterinburg: UGGGA, 1998 - S. 26 - 36.
7. Vyatkin V.B. Matematicheskie modeli informacionnoj ocenki priznakov rudnyh ob"ektov: Avtoref. dis. ... kand. tekhn. nauk : 05.13.18 : Ekaterinburg: UGTU-UPI, 2004. - 27s.
8. Vyatkin V.B. Sinergeticheskaya teoriya informacii: obshchaya harakteristika i primery ispol'zovaniya. // Nauka i oboronnyj kompleks - osnovnye resursy rossijskoj modernizacii. Materialy mezhregional'noj nauchno-prakticheskoj konferencii. - Ekaterinburg: UrO RAN, 2002. - S. 361-390.
9. Vyatkin V.B. Sinergeticheskaya teoriya informacii. CHast' 1. Sinergeticheskij podhod k
opredeleniyu kolichestva informacii // Politematicheskij setevoj ehlektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU)
[EHlektronnyj resurs]. - Krasnodar: KubGAU, 2008. - №44(10). S. 166-189. Rezhim dostupa: http: //ej .kubagro. ru/2008/10/pdf/ 12.pdf
10. Vyatkin V.B. Sinergeticheskij podhod k opredeleniyu kolichestva informacii // Informacionnye tekhnologii. - 2009, № 12. - S. 68-73.
11. Vyatkin V.B. Vvedenie v sinergeticheskuyu teoriyu informacii // Informacionnye tekhnologii. -2010, № 12. - S. 67-73.
12. Vyatkin V.B. Sinergeticheskaya teoriya informacii. CHast' 2. Otrazhenie diskretnyh sistem v
ploskosti priznakov ih opisaniya // Politematicheskij setevoj ehlektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU)
35
[EHlektronnyj resurs]. - Krasnodar: KubGAU, 2009. - №45(1). S. 154-183. Rezhim dostupa: http://ej .kubagro.ru/2009/01/pdf/12.pdf
13. Kolmogorov A.N. Teoriya informacii i teoriya algoritmov. - M.: Nauka, 1987. - 304s.
14. Martin N., Ingled Dzh. Matematicheskaya teoriya ehntropii. - M.: Mir, 1988. - 350s.
15. Sovetskij ehnciklopedicheskij slovar' / Gl. red. A.M. Prohorov. - M.: Sov. ehnciklopediya, 1989. -1632s.
16. Ventcel' E.S. Teoriya veroyatnostej. - M.: Nauka, 1969. - 576s.
17. Dobrushin R.L. Teoriya informacii (kommentarii) / V kn: Kolmogorov A.N. Teoriya informacii i teoriya algoritmov. - M.: Nauka, 1987. - s. 254-257.
18. Haken G. Sinergetika. - M.: Mir, 1980. - 404s.
19. Pfaundler M., von Seht L. Weiteres uber Syntropie kindlicher Krankheitzustande // Zeitschr. f. Kinderheilk. - 1921, bd. 30. - S. 298-313.
20. Fantappie L. Principi di una teoria unitaria del mondo fisico e biologico. - Rome: Accademia d'ltalia, 1942.
21. Vyatkin V.B. Sinergeticheskaya teoriya informacii: poyasneniya i terminologicheskie
zamechaniya // Politematicheskij setevoj ehlektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [EHlektronnyj resurs]. -Krasnodar: KubGAU, 2012. - №06(080). S. 557 - 592. Rezhim dostupa:
http://ej .kubagro.ru/2012/06/pdf/46.pdf
22. Vyatkin V.B. Informacionno-kvantovye harakteristiki i otrazhennye obrazy konechnyh mnozhestv // Informacionnye tekhnologii. - № 7, 2012. - S. 50-56.
23. Vyatkin V.B. Haos i poryadok diskretnyh sistem v svete sinergeticheskoj teorii informacii //
Politematicheskij setevoj ehlektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [EHlektronnyj resurs]. - Krasnodar: KubGAU, 2009. - №03(47). S. 96 - 129. - Rezhim dostupa:
http://ej .kubagro.ru/2009/03/pdf/08.pdf
24. Vyatkin V.B. Osnovnoe uravnenie sinergeticheskoj teorii informacii i ego interpretaciya // Vychislitel'nyj intellekt (rezul'taty, problemy, perspektivy): Materialy 2-j Mezhdunarodnoj nauchno-tekhnicheskoj konferencii. - CHerkassy: Maklaut, 2013. - S. 345-346.
25. Kolmogorov A.N. K logicheskim osnovam teorii informacii i teorii veroyatnostej // Problemy peredachi informacii. - 1969, t. 5, № 3. - S. 3-7.
26. Lucenko E.V. Avtomatizirovannyj sistemno-kognitivnyj analiz v upravlenii aktivnymi ob"ektami (sistemnaya teoriya informacii i ee primenenie v issledovanii ehkonomicheskih, social'no-psihologicheskih, tekhnologicheskih i organizacionno-tekhnicheskih sistem). Monografiya (nauchnoe izdanie). - Krasnodar: KubGAU. 2002. - 605s.
27. Orlov A.I., Lucenko E.V. Sistemnaya nechetkaya interval'naya matematika. Monografiya (nauchnoe izdanie). - Krasnodar, KubGAU. 2014. - 600 s.
28. Yaglom A.M., Yaglom I.M. Veroyatnost' i informaciya. - M.: Nauka, 1973. - 512s.
29. Sokolov A.V. Informaciya kak metafora // Trudy Sankt-Peterburgskogo gosudarstvennogo universiteta kul'tury i iskusstv. - Tom 200, 2013. - s.416-424.
30. Petrushenko L.A. Samodvizhenie materii v svete kibernetiki. - M.: Nauka, 1971. - 290s.
31. EHshbi U.R. Vvedenie v kibernetiku. - M.: Izd. inostr. lit., 1959. - 432 s.
32. Ursul A.D. Priroda informacii. - M.: Politizdat, 1968. - 288 s.
33. Glushkov V.M. Myshlenie i kibernetika // Voprosy filosofii. - № 1, 1963. - S. 36-48.
34. Gurevich I.M. Informaciya kak universal'naya neodnorodnost' // Informacionnye tekhnologii. -№4, 2010. - S. 66-74.
35. Kastler G. Vozniknovenie biologicheskoj organizacii. - M.: Mir, 1967. - 91s.
36. Chernavskij D.S. Sinergetika i informaciya: Dinamicheskaya teoriya informacii. - M.: Librikom, 2013. - 304s.
