К вопросу взаимоотношений теории информации и теории вероятностей Текст научной статьи по специальности «СМИ (медиа) и массовые коммуникации»

Key words: nonlinear differential equation; Green’s function; integral constants; Lipschitz constants; absolutely stable solution.

УДК 519.722

К ВОПРОСУ ВЗАИМООТНОШЕНИЙ ТЕОРИИ ИНФОРМАЦИИ И ТЕОРИИ ВЕРОЯТНОСТЕЙ

© В.Б. Вяткин

Ключевые слова: конечное множество; информация; энтропия; синтропия.

Показано, что взгляды А.Н.Колмогорова на взаимоотношения теории информации и теории вероятностей находят свое подтверждение в лице синергетической теории информации.

А.Н. Колмогоров неоднократно [1-3] заострял внимание на взаимоотношениях теории информации и теории вероятностей, говоря, «не видно, почему теория информации должна столь существенно основываться на теории вероятностей, как это представляется по большинству руководств» [3, с. 29], и утверждая, что «теория информации должна предшествовать теории вероятностей, а не опираться на нее» [3, с. 35]. Тем не менее, «большинство руководств» продолжает относиться к этим взаимоотношениям по-прежнему, что обусловлено широким распространением вероятностной теории информации К. Шеннона [4], основанной на формуле энтропии Н множества вероятностей р = Р1,Р2, ■ ■ ■ ,рп ■

п п

Н = -К^2'Рг рг,^рг = 1, (1)

г=1 г=1

где К - некоторая положительная константа, зависящая от выбора единиц измерения информации (от основания логарифма а, причем, если а = 2, то К = 1).

Вместе с тем приведенные слова А.Н. Колмогорова находят свое подтверждение в лице синергетической теории информации (СТИ) [5, 6], предметом познания которой являются информационно-количественные аспекты отражения (воспроизведения) конечных множеств. В пользу этого говорит тот факт, что в данной теории без какого-либо использования теории вероятностей получен аналог (1), имеющий иной содержательный смысл, а понятию вероятности дается информационная интерпретация. Покажем это.

Термином информация в СТИ обозначаются сведения о конечном множестве как едином целом, а мерой информации служит средняя длина Ь интегративного кода элементов, из которых состоит множество. В основе теории лежит вывод двух формул: количества информации 1д, отражаемой множеством А с числом элементов Ыд о самом себе как о целостном образовании, и информационной синтропии, т. е. количества информации 1ав, которую отражают друг о друге как едином целом два пересекающихся множества А и В, таких, что А П В = К. (В переводе с греческого языка синтропия - взаимосвязь образов, сообраз).

Первоначально формула 1д получена в следующем виде:

2Ж+1

1А = ЬА = X + 2 - ыд, (2)

2477

где x = [log2 Ma] - целочисленная часть.

Так как разность La — log2 Ma ограничена постоянной величиной

ф = sup (La — log2 Ma) = 0,0860713 • • •,

то в дальнейшем для удобства теоретических построений вместо (2) используется его аппроксимация:

Ia ~ log2 Ma.

В результате анализа передачи Ia от A к B и Ib от B к A установлено, что

MK

Iab = mm og2 Mk ■

В том случае, когда множество A отражается через совокупность подмножеств

П П

Bi,B2,...,Bn с числом элементов Мвг,Mb2,...,Мвп таких, что U Bi = A, ftBi = ®,

i=1 i=1

происходит разделение отражаемой информации Ia на отраженную и неотраженную части, равные, соответственно, аддитивной синтропии I— и энтропии отражения S:

I- = £ Ma ‘og2 Mb- S = Ia — ft = — £ MA ^ MA' £ Mb. = Ma.

i=1 i=1 i=1

Так как М. = Pi, то при использовании в (1) двоичных логарифмов получаем, что

S = H■ Кроме того, поскольку из B С A следует , то вероятность Pi интерпрети-

руется как относительная синтропия отражения конечным множеством A своего подмножества Bi■ Это говорит о том, что с информационно-генетических позиций СТИ является первичной по отношению к вероятностной теории информации К.Шеннона.

ЛИТЕРАТУРА

1. Колмогоров А.Н. Проблемы теории вероятностей и математической статистики // Вестник РАН. М.: 1965. № 5. С. 94-96.

2. Колмогоров А.Н. К логическим основам теории информации и теории вероятностей // Проблемы передачи информации. М.: 1969. Т. 5. № 3. С. 3-7.

3. Колмогоров А.Н. Комбинаторные основания теории информации и исчисления вероятностей // УМН. М.: 1983 Т. 38. Вып. 4. С. 27-36.

4. Шеннон К. Работы по теории информации и кибернетике. М.: Изд. иностр. лит., 1963.

5. Вяткин В.Б. Синергетический подход к определению количества информации // Информационные технологии. М.: 2009. № 12. С. 68-73.

6. Вяткин В.Б. Введение в синергетическую теорию информации // Информационные технологии. М.: 2010. № 12. С. 67-73.

Vyatkin V.B. TO A QUESTION OF RELATIONSHIP OF THE INFORMATION THEORY AND PROBABILITY THEORY

It is shown that A.N.Kolmogorov’s views of relationship of the information theory and probability theory find the confirmation in the person of the synergetic information theory.

Key words: final set; information; entropy; sintropy.

2478