Научная статья на тему 'Энтропия неопределенности'

Энтропия неопределенности Текст научной статьи по специальности «Математика»

CC BY
3458
188
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
ЭНТРОПИЯ / НЕОПРЕДЕЛЕННОСТЬ / ТЕОРИЯ ГИПЕРСЛУЧАЙНЫХ ЯВЛЕНИЙ / ENTROPY / UNCERTAINTY / THEORY OF HYPER-RANDOM PHENOMENA

Аннотация научной статьи по математике, автор научной работы — Горбань И. И.

Систематизированы понятия неопределенности, многозначности, случайности и гиперслучайности. Известное для случайных событий и величин понятие информационной энтропии распространено на неопределенные величины, которые не имеют вероятностной меры. Предложена методика расчета энтропии гиперслучайных величин.

i Надоели баннеры? Вы всегда можете отключить рекламу.
iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

The concepts of uncertainty, many-valuedness, randomness, and hyper-randomness are systematized. Known for random events and quantities concept of information entropy is carried over uncertain quantities which have not probability measure. The method for calculating of hyper-random quantities entropy is proposed.

Текст научной работы на тему «Энтропия неопределенности»

МОДЕЛЮВАННЯ І УПРАВЛІННЯ

УДК 519.2: 530.1: 600.1 И.И. ГОРБАНЬ*

Анотація. Систематизовано поняття невизначеності, багатозначності, випадковості і гіпервипадковості. Відоме для випадкових подій та величин поняття інформаційної ентропії розповсюджено на невизначені величини, що не мають імовірнісної міри. Запропоновано методику розрахунку ентропії гіпервипадкових величин.

Ключові слова: ентропія, невизначеність, теорія гіпервипадкових явищ.

Аннотация. Систематизированы понятия неопределенности, многозначности, случайности и гиперслучайности. Известное для случайных событий и величин понятие информационной энтропии распространено на неопределенные величины, которые не имеют вероятностной меры. Предложена методика расчета энтропии гиперслучайных величин.

Ключевые слова: энтропия, неопределенность, теория гиперслучайных явлений.

Abstract. The concepts of uncertainty, many-valuedness, randomness, and hyper-randomness are systematized. Known for random events and quantities concept of information entropy is carried over uncertain quantities which have not probability measure. The method for calculating of hyper-random quantities entropy is proposed.

Keywords: entropy, uncertainty, theory of hyper-random phenomena.

1. Введение

В физике, математике, информатике, кибернетике, телекоммуникации, связи и других разделах науки широко используется понятие энтропии. Это - одно из базовых понятий, с помощью которого определяются другие понятия, в частности, понятие количества информации.

Несмотря на исключительное значение, которое энтропия играет для различных областей знаний, до сих пор нет единого ее определения. Даже в рамках одной и той же дисциплины энтропия, зачастую, трактуется по-разному.

В переводе с греческого языка энтропия означает поворот, превращение. Впервые этот термин был введен в термодинамику Р.Ю. Клазиусом (1865 г.) для характеристики необратимо рассеиваемой части энергии [1]. В теплофизике под энтропией подразумевают [2] функцию S состояния системы, дифференциал которой в элементарном обратимом процессе равен отношению бесконечно малого количества теплоты dQ, сообщенного системе, к ее абсолютной температуре T : dS = dQ / T. Энтропия не зависит от способа достижения состояния системы и определяется лишь параметрами этого состояния.

Л. Э. Больцман, рассматривая множество микросостояний системы, ввел понятие статистической энтропии (1872 г.) S = kln W [3], где k - коэффициент пропорциональности (Максом Планком этот коэффициент назван постоянной Больцмана, k = 1,38 10-23 Дж/К), W - число возможных микросостояний (способов), с помощью которых можно составить данное макроскопическое состояние системы, отождествляемое с числом микросостояний системы при условии, что все микросостояния равновероятны.

© Г орбань И.И., 2013

ISSN 1028-9763. Математичні машини і системи, 2013, № 2

При статистическом обосновании термодинамики Д.В. Гиббс [4] рассматривал (1902 г.) энтропию как величину

^ = к | у ^ 4)1п У ^ q)фdq, (1)

где к - размерный множитель, У(р, д) - плотность распределения вероятностей обобщенных координат р и импульсов д в фазовом пространстве системы.

Для характеристики степени неопределенности опыта с N возможными исходами Р.В.Л. Хартли [5] предложил (1928 г.) использовать величину 1о§2 N .

Для независимых случайных событий X с N возможными состояниями, описываемыми вероятностями рп (п = 1, К), К.Э. Шеннон определил (1948 г.) информационную энтропию (среднюю энтропию) следующим образом [6, 7]:

N

Нх = Рп 1о§2 Рп = -М [1о§2 Рп ] , (2)

п=1

где М[ ] - оператор математического ожидания.

Энтропия, описываемая выражением (2), принимает значения на интервале [0,1о§2 N]. Минимальное значение соответствует случаю, когда вероятность одного из состояний равна единице, а остальных - нулю, максимальное же значение - равномерному

распределению, когда для всех п = 1, N вероятности рп = -1.

Р.Г. МакАртур [8] использовал (1955 г.) статистический аналог формулы Шеннона как меру биологического разнообразия экологических сообществ:

Н = -£%- 1п ^, (3)

х 1=1 N N

I

где Ni - численность г -той популяции в сообществе из I видов, N = ^ Ni - суммарная

г=1

численность рассматриваемых особей.

Для характеристики степени хаотичности процессов на выходе динамических систем используется К -энтропия (энтропия Колмогорова - Синая или энтропия Крылова -Колмогорова):

Ь = 1!т 1п [ С (I)/ С (0)]

С(0)—0 |

I-

где С (0) - расстояние в фазовом пространстве между двумя близлежащими точками х1(0), х2 (0) в первоначальный момент времени I;

С(I) - расстояние между траекториями х1(1), х2(1), проходящими через точки х1(0), х2 (0): С(I) = |х (I) - х2 (I)|.

Известен еще целый ряд других определений понятия энтропии.

В информатике, телекоммуникации и связи при описании случайных величин, принимающих дискретные значения, обычно используют Шенноновское определение энтропии (2). Для описания случайной величины X с непрерывной плотностью распределения вероятностей У(х) используется энтропия, определяемая для безразмерной плотности распределения как [9]

Hx = - J f(x) log2 f(x) dx = -M [log2 f(X)] (4)

(дифференциальная энтропия), или для необязательно безразмерной плотности распределения как [10]

H, =-J f (x)log2 [l,f( x)} dx = -M [log, \Jxf (X)}], (5)

где lx - размерный коэффициент (lx > 0), определяющий положение нуля на шкале энтропии.

В отличие от энтропии дискретной случайной величины энтропия непрерывной случайной величины может принимать как положительные, так и отрицательные значения. Для случайной величины с ограниченной плотностью распределения вероятностей

f (x) < A энтропия положительна, если lx < —.

A

Заметим, что формула (5) описывает энтропию не только непрерывных, но и дискретных случайных величин (случайных событий). Для перехода к выражению (2) доста-

точно представить плотность распределения дискретной величины, принимающей значения xn с вероятностью pn (n = 1, N), выражением

N

f (x) = Е Pn 6(x - xn )

n=1

и положить lx8(0) = 1 [10], где 5(-) - 5 -функции Дирака.

Обратим внимание, что энтропии, рассчитанные по формулам (4), (5), совпадают между собой с точностью до постоянного сдвига на величину - log, lx. Поэтому обычно ограничиваются рассмотрением дифференциальной энтропии, рассчитываемой по формуле (4).

В ряде случаев энтропия Нх связана с среднеквадратическим отклонением (СКО) sx случайной величины X логарифмической зависимостью. Например, для экспоненциального распределения Hx = log2(eax), для распределения Лапласа Hx = log2(V2eax), для гауссовского распределения

Hx = ^V2^ ), (6)

а для равномерного распределения

Hx = log2(2^s,). (7)

Это создает иллюзию того, что энтропия, подобно СКО и дисперсии, характеризует разброс значений случайной величины. Но это не совсем так. В отличие от СКО и дисперсии, она характеризует не столько разброс, как разнообразие значений случайной величины с высоким уровнем вероятности: чем больше значений она принимает с высокой степенью вероятности, тем больше энтропия. При этом расстояние же между значениями случайной величины не играет существенной роли.

Если интервал изменения случайной величины ограничен, то максимум энтропии достигается при равномерном законе распределения, если же не ограничен, то - при гауссовском законе.

Из приведенного краткого обзора следует, что в общефизической постановке понятие энтропии не связано с наличием вероятностной меры. Однако во многих случаях, в частности, в статистической термодинамике, информатике и смежных областях (см. выражения (1), (2), (4)-(5)) энтропия определена лишь для случайных событий и величин, т.е. объектов, которые имеют вероятностную меру. При этом для событий и величин, не имеющих вероятностной меры, к примеру, для интервальной величины [11], гиперслучайного события или гиперслучайной величины [12, 13], понятие информационной энтропии (Шенноновской энтропии) не применимо. Для таких событий и величин не применимы и другие понятия, связанные с энтропией, в частности, понятие количества информации.

Целью настоящей статьи является распространение понятия энтропии на события и величины, не имеющие вероятностной меры.

Прежде чем переходить к изложению основного материала, представляется целесообразным кратко остановиться на некоторых терминологических вопросах, касающихся неопределенности, и дать объяснение новому, недавно введенному понятию обобщенного предела.

2. Параметры физических систем

Окружающий мир постоянно меняется, что проявляется в изменении его свойств и свойств составляющих его объектов - различных физических систем.

Состояния объектов характеризуются физическими и нефизическими величинами. Физические величины, в отличие от нефизических, - измеряемые величины.

Согласно ГОСТ [14], физическая величина - свойство, общее в качественном отношении многим физическим объектам (физическим системам, их состояниям и происходящим в них процессам), но в количественном отношении индивидуальное для каждого объекта.

Любая физическая система (объект) описывается бесчисленным количеством физических величин - параметрами1 или, иначе, координатами состояния.

Параметры могут быть скалярными (одномерными) и векторными (многомерными). Принято различать детерминированные и недетерминированные (индетерминированные или неопределенные) параметры.

Параметры обычно рассматриваются как функции времени. Детерминированный параметр в фиксированный момент времени принимает конкретное значение. В скалярном случае это значение описывается числом (натуральным, вещественным или комплексным), а в векторном - вектором (совокупностью натуральных, вещественных или комплексных чисел). Параметры, описываемые бесконечномерными векторами, обычно называют характеристиками. Детерминированная характеристика представляется детерминированной функцией.

В фиксированный момент времени неопределенный параметр, в отличие от детерминированного, не принимает конкретного значения, а неопределенная характеристика не описывается какой-либо конкретной детерминированной функцией.

Деление параметров и характеристик реальных систем на детерминированные и недетерминированные не совсем корректно, поскольку обычно в наличии имеется всего лишь одна реализация, а по одной реализации нельзя судить о детерминированном или неопределенном характере явления.

Однако заманчивая идея деления на класс детерминированных и недетерминированных объектов может быть реализована применительно к абстрактным идеализированным моделям. Формируя математическую модель, можно допустить, что одни ее параметры (или характеристики) детерминированные, а другие - неопределенные.

1 С древнегреческого языка слово параметр переводится как соразмеряемый.

Модели, не содержащие неопределенных параметров, обычно называют детерминированными, а содержащие такие параметры - недетерминированными (неопределенными).

Системы, адекватным образом описываемые детерминированными моделями, называют детерминированными, а описываемые недетерминированными моделями - недетерминированными (неопределенными).

3. Классификация неопределенностей

Понятие неопределенности не такое очевидное, как кажется на первый взгляд. Далеко не всегда удается точно сформулировать, что подразумевается под понятием неопределенности. Существует множество сходных понятий, близких ему по смыслу. К ним относятся, например, неизвестность, неоднозначность, случайность, недостоверность, неадекватность, многозначность, хаотичность и др.

Некоторые из этих понятий расплывчаты (например, понятие неадекватности). Иные же, хотя и формализованы, однако базируются на разных исходных модельных представлениях, что затрудняет установление связи между ними (к таковым, например, относятся понятия случайности и хаотичности).

Поэтому предложить всеобъемлющую и притом логически корректную систематизацию понятий неопределенности не представляется возможным. Но даже субъективные и неполные классификации, ставящие перед собой цель упорядочить в какой-то мере понятия неопределенности, зачастую полезны, поскольку позволяют получить общее представление об иерархии рассматриваемых понятий.

К их числу относится классификация, приведенная в монографии В.П. Бочарникова [15] (рис. 1). В этой классификации, хотя и отсутствуют многие важные понятия, в частности, понятия интервальной величины [11], гиперслу-чайного явления [12, 13] и др., однако верно подмечено,

что случайность, неоднозначность и неопределенность - не идентичные понятия. Случайность является частным случаем неоднозначности (многозначности), а последняя - частным случаем неопределенности.

Понятия случайности, многозначности и неопределенности могут касаться различных явлений - событий, величин, процессов, полей. Ограничимся рассмотрением двух основных классов: событий и величин. Для описания воспользуемся подходом, разработанным в рамках теории гиперслучайных явлений [12].

Под случайным событием будем подразумевать многозначное событие, имеющее определенную вероятность, а под случайной величиной X - многозначную величину, описываемую функцией распределения Е (х).

Под интервальной величиной X будем понимать многозначную величину, характеризуемую верхней а и нижней Ь границами, под гиперслучайным событием - множест-

Рис. 1. Классификация неопределенности по В.П. Бочарникову

во случайных событий, а под гиперслучайной величиной X - множество случайных величин {Xg, g е G} .

Гиперслучайная величина X исчерпывающе характеризуется множеством условных функций распределения F(х / g) в условиях g е G. Границы функции распределения

гиперслучайной величины X определяются выражениями (рис. 2)

FS (х) = sup P {X < х / g} = sup F(х / g),

geG geG

F,(х) = inf P{X < х / g} = inf F(х/ g),

geG geG

где P {z} - вероятность условия z .

Рис. 2. Границы функции распределения FS (х) , F, (х) невырожденной гиперслучайной величины (а), случайной величины (б), детерминированной величины (в) и интервальной величины (г)

Между границами функции распределения расположена зона неопределенности (затемненная область на рис. 2а). Ее ширина определяется разностью

DF(х) = FS (х) - F, (х): чем больше неопределенность, тем больше величина DF(х).

Вырожденный случай гиперслучайной величины - случайная величина. Для случайной величины X границы функции распределения совпадают с ее функцией распределения F (х): FS (х) = F, (х) = F (х) и разность DF (х) равна нулю (рис. 2б).

Детерминированную величину а приближенно можно рассматривать как случайную величину X, функция распределения F(х) которой имеет вид единичного скачка в

точке а: F(х) = sign [х - а] (рис. 2в).

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

Интервальную величину, определяемую интервалом [ a, b], можно рассматривать как гиперслучайную величину X, верхняя граница которой описывается функцией еди-

ничного скачка в точке а : FS (х) = sign [ х - а], а нижняя - функцией единичного скачка в точке b : F, (х) = sign [х - b] (рис. 2г).

Если а ® -¥, а b ® ¥, то скачки верхней границы функции распределения стремятся к минус бесконечности, а нижней границы - к плюс бесконечности. Гиперслучай-ную величину с такими границами распределения можно рассматривать как полностью неопределенную или хаотическую величину.

Следует отметить, что определяемая таким образом хаотическая величина, если и имеет, то косвенное отношение к понятию детерминированного хаоса, широко используемого в научной литературе.

Из приведенного экскурса следует, что между детерминированными и неопределенными явлениями нет той пропасти, как можно было бы предполагать. Детерминированную, случайную и интервальную величины, а также детерминированное и случайное события можно рассматривать как частные случаи гиперслучайной величины.

4. Классификация моделей

Принимая во внимание соображения, изложенные в предыдущем подразделе, можно предложить следующую классификацию математических моделей (рис. 3).

Рис. 3. Классификация математических моделей

В этой классификации под многозначными в общем случае подразумеваются не только модели, неоднозначность которых проявляется при рассмотрении множества реализаций (как, например, в случае случайных и гиперслучайных моделей), но и модели, у которых имеет место неоднозначность на уровне одной реализации. В последнем случае

реализация физической величины описывается не числом, а множеством чисел (многозначной величиной), реализация же физического процесса - многозначной функцией.

Основы теории многозначных величин и функций разработаны в статьях [16, 17], в которых введены понятия обобщенного предела, принимающего не обязательно единственное значение, непрерывной многозначной функции, производной и интеграла многозначной функции, а также другие понятия, полезные при моделировании.

5. Обобщенный предел

Согласно классическим представлениям, последовательность {хп} = х1,х2,...,хп считается сходящейся, если существует необходимо единственный предел с = Нш хп. Последова-

п®¥

тельность, не имеющая единственного предела, считается расходящейся.

В статье [16] для расходящихся последовательностей было введено понятие обобщенного предела. Основная идея, лежащая в основе этого понятия, следующая.

Известно, что из любой бесконечной последовательности можно получить множество частичных последовательностей (подпоследовательностей), образуемых из исходной последовательности вычеркиванием части членов. Если последовательность сходится (в обычном смысле), то сходятся все ее частичные последовательности. Если же последовательность расходится, то не обязательно расходятся все ее частичные последовательности. Некоторые из них могут сходиться к определенным пределам ст (предельным точкам). Множество всех предельных точек последовательности, называемых также частичными пределами, образуют спектр §х 2 [16-17].

Спектр расходящейся последовательности является аналогом обычного предела сходящейся последовательности и аналитически описывается обобщенным пределом £ = ИМхп [16-17].

П®¥

В случае сходящейся последовательности {х } обобщенный предел ИМ х совпа-

п®¥

дает с обычным пределом Нш хп (обязательно единственным), однако, когда эта последо-

п®¥

вательность расходится, то ЫМ хп принимает множество значений. Это множество харак-

п®¥

теризуется не только спектром предельных точек 8Х, но и функцией распределения

Р (х) = ИМ^, (8)

п®¥ п

где п(х) - количество членов последовательности {хп}, меньших х .

Обобщенный предел (8) может сходиться к числу (рис. 4а), сходиться к множеству чисел (рис. 4б) или расходиться (рис. 4в). В первых двух случаях функция распределения Р (х) однозначная ( (Р (х) = Р (х)), а в третьем - многозначная.

Для описания функции распределения Р( х) могут использоваться ее нижняя р (х)

и верхняя (х) границы (рис. 4), плотности распределения границ /1 (х) =

бх

„ . . (х)

(х) = —^-, моменты границ: математические ожидания границ т1х, т5х, дисперсии

бх

2 Здесь и далее знак тильда указывает на множественность значений.

границ БІ, и другие характеристики и параметры, используемые в теории гиперслу-

чайных явлений [12-13].

а б в

Рис. 4. Функция распределения Р(х) предельных точек и границы р (х), р (х) функции распределения предельных точек однозначной последовательности {хп} : сходящейся к числу х0 (а), сходящейся к множеству чисел (б) и расходящейся (в)

6. Энтропия неопределенной величины

Распространить понятие энтропии на неопределенные события и величины, не обязательно имеющие вероятностную меру, можно следующим образом.

Рассмотрим многозначную выборку {хп} = х1,х2,...,хп объема п неопределенной величины х, принимающей значения из интервала [а, Ь]. Разделим интервал значений [а, Ь] на Я непересекающихся интервалов (разрядов) длительностью Ахг (г = 1, Я) и введем вспомогательную функцию

j(Axr) = LIM

n

n

log

n

n

(9)

где nr - количество значений выборки {xn} , попавших в r -й разряд. Назовем энтропией неопределенной величины x величину

H =- LIM0£Ф(ДХг)•

max Axr ®0

(l0)

r=l

В общем случае вспомогательная функция j(Dxr) - многозначная функция, а энтропия Hx - многозначная величина. Как любая многозначная величина, энтропия характеризуется спектром предельных точек SH и соответствующей функцией распределения F (h ).

Если предел (10) сходится к некоторому числу Hx0 (в частности, это имеет место, когда выборка {xn} случайная), то функция распределения F (hx) = F (hx) представляет собой функцию единичного скачка в точке hx = Hx0: F(hx) = sign [hx - Hx0 ], если этот предел сходится к множеству чисел, то функция распределения F(hx) - однозначная функция (F (hx ) = F (hx )), если же предел расходится, то F (hx ) - многозначная функция.

В общем случае диапазон предполагаемых значений энтропии можно описать двойным неравенством (рис. 5):

mSh - квп < h < m„„ + ka

'Sh,

Ihx

Ihx

(11)

где mSh и a^ - соответственно матема-

JSh,

тическое ожидание и СКО верхней границы FS (hx) распределения энтропии

F(hx) , mIh и aIh - соответственно математическое ожидание и СКО нижней границы FI (hx ) распределения энтропии

F(hx) , к - константа, определяющая степень доверия.

Под диапазоном предполагаемых значений многозначной величины (в данном случае энтропии) подразумевается диапазон ее значений, вне которого верх-Рис. 5. Функция распределения энтропии F) няя граница вероятности пребывания рас-неопределенной величины х сматриваемой величины пренебрежимо

мала.

У казанная верхняя граница определяется константой к . При ее увеличении степень доверия возрастает. Для гауссовских законов распределения границ FS (hx) и FI (hx) при

к = 1 , как для любых гауссовских распределений, обеспечивается степень доверия на уровне 68,3%, при к = 2 - на уровне 96%, а при к = 3 - на уровне 99,7% .

Описанный подход не предполагает наличия у величины x вероятностной меры и потому применим как для случайных, так и произвольных неслучайных величин.

К сожалению, реализовать его на практике в большинстве случаев не представляется возможным, поскольку для получения достоверных оценок границ функции распределения FS (hx ), FI (hx ) необходимо располагать непомерно большим объемом данных.

Однако задача может быть существенно упрощена при установлении связи между случайной величиной и неопределенными величинами, не имеющими вероятностной меры, в частности, гиперслучайной и интервальной величинами.

7. Энтропия гиперслучайной и интервальной величин

Пусть имеется гиперслучайная величина X = {Xg, g е G} с функцией распределения F(x), границами функции распределения FS (x) , Ft (x), математическими ожиданиями границ mSx, mIx и СКО границ aSx, aIx, а также случайная величина Xe с функцией распределения Fe (x) (рис. 6).

Случайную величину Xe будем называть эквивалентной гиперслучайной величине X, если ее математическое ожидание mx совпадает с серединой интервала (11), а ее СКО ax , увеличенное в к раз, равно полуширине этого интервала.

Тогда (рис. 6)

mx =

xe

2

a..

_ x2 - x

1

1 = 2к ^ (mIx + kaIx ) - (mSx - kaSx ) J .

(12)

а б

Рис. 6. Функции распределения F (x) и Fe (x) соответственно гиперслучайной величины X и эквивалентной случайной величины Xe с равномерным (а) и гауссовским (б) законами

распределения

Под энтропией Hx гиперслучайной величины X будем понимать энтропию Hx эквивалентной случайной величины Xe .

Поскольку энтропия случайной величины зависит от закона распределения, то рассчитываемая таким образом энтропия Hx гиперслучайной величины зависит от закона распределения Hx эквивалентной случайной величины. Кроме того, она зависит от величины константы k .

Если эквивалентная случайная величина подчиняется гауссовскому закону распределения, то, согласно выражениям (6) и (12) (рис. 6а),

Hx = l0g2

(mIx - msx) + (а + а )

------:------+(а Ix + а sx)

k

Л f l0g2

(mIx - msx) + (а + а )

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

------:------+(а Ix + а sx)

k

Л

+1.

(13)

а, если равномерному закону, то, согласно выражениям (7) и (12) (рис. 6б),

Hx = l0g2

V3

k

l0g2

(mIx - msx )

k

+ (SIx +ssx )

+ 0,8.

(14)

Для интервальной величины формулы (13) и (14) приобретают следующий вид:

Hx = l0g2

Hx = l0g2

(mIx - msx )

V3

k

(mIx - msx ) k

Л f l0g2

(mIx - msx )

k

+1,

Л f l0g2

(mIx - msx ) k

\

+ 0,8.

У

Принимая гипотезу адекватного описания исследуемой физической величины ги-перслучайной моделью, можно воспользоваться разработанной [12] методикой получения оценок математических ожиданий m*Sx, m*lx и СКО a*x, а*, границ Fs (x), FI (x) функции

распределения F(x) гиперслучайной величины X. По этим оценкам с использованием

формул (13)-(14) нетрудно рассчитать оценку И* энтропии Их этой величины.

Особенно простое решение задачи получается, когда статистические условия изменяются достаточно медленно, так, что за время пребывания в произвольных фиксированных условиях g е G удается сформировать эмпирическую функцию распределения

F*(x / g) (оценку функции распределения F(x / g) ) случайной величины Xg приемлемого

качества. Методика расчета такой функции распределения изложена в монографии [12].

В этом случае объем данных N, необходимый для решения задачи, во много раз меньше, чем при использовании универсального подхода. Если положить, что для построения каждой условной функции распределения F*(x / g) достаточно несколько сот отсчетов, то при числе различных условий порядка десяти объем выборки N , достаточный для расчета энтропии, лежит в районе 104 отсчетов.

8. Выводы

1. Систематизированы понятия неопределенности, многозначности, случайности, гиперслучайности, а также понятия неопределенной, многозначной, гиперслучайной, случайной и интервальной моделей.

2. Широкоизвестное для случайных событий и величин понятие Шенноновской информационной энтропии распространено на неопределенные величины, не имеющие вероятностной меры.

3. Разработана методика расчета энтропии гиперслучайных величин.

СПИСОК ЛИТЕРАТУРЫ

1. Clausius R. Uber verschiedene fur die Anwendung bequeme Formen der Hauptgleichungen der mechanischen Warmetheorie / R. Clausius // Ann. Phys. Folge 2. - 1865. - Bd. 125. - Р. 353 - 400.

2. Яворский Б.М. Справочник по физике для инженеров и студентов ВУЗов / Б.М. Яворский, А.А. Детлаф. - М.: Наука, 1968. - 940 с.

3. Boltzmann L. Weitere Studien uber das Warmegleichgewicht unter Gasmolekulen / L. Boltzmann //

Sitzber. Acad. Wiss. Wien. - 1872. - Bd. 66. - S. 275 - 376.

4. Gibbs J.W. Elementary Principles in Statistical Mechanics, Developed with Especial Reference to the Rational Foundation of Thermodynamics / Gibbs J.W. - N.-Y.: Schribner, 1902. - 159 p.

5. Хартли Р.В.Л. Теория информации и ее приложения / Хартли Р.В.Л. - М.: Физматгиз, 1969. -С. 5 - 35.

6. Shannon C.E. A mathematical theory of communications / C.E. Shannon // Bell Systems Tech. J. -1948. - Vol. 27. - P. 623 - 656.

7. Шеннон К. Работы по теории информации и кибернетике / Шеннон К. - М.: И-во иностр. лит., 1963. - 829 с.

8. MacArthur R.H. Educations of animal populations and measure of community stability /

R.H. MacArthur // Ecology. - 1955. - Vol. 36, N 7. - P. 533 - 536.

9. Корн Г. Справочник по математике для научных работников и инженеров / Г. Корн, Т. Корн. -М.: Наука, 1977. - 831 с.

10. Пугачев В.С. Теория случайных функций / Пугачев В.С. - М.: Изд-во физ.-мат. литературы, 1962. - 883 с.

11. Шарый С.П. Конечномерный интервальный анализ [Электронный ресурс] / Шарый С.П. - XYZ: Институт вычислительных технологий, 2010. - 597 с. - Режим доступа: http: //www.nsc. ru/interval.

12. Горбань И.И. Теория гиперслучайных явлений: физические и математические основы [Электронный ресурс] / Горбань И.И. - К.: Наукова думка, 2011. - 318 с. - Режим доступа: http://www.immsp.kiev.ua/perspages/gorban i i/index.html.

13. Горбань И.И. Теория гиперслучайных явлений [Электронный ресурс] / Горбань И.И. - К.: ИПММС, 2007. - 181 с. - Режим доступа: http://www.immsp.kiev.ua/perspages/gorban i i/index.html.

14. ГОСТ 16263-70 ГСИ. Метрология. Термины и определения. - М.: Госстандарт, 1970. - 92 с.

15. Бочарников В.П. Fuzzy-технология: Математические основы. Практика моделирования в экономике / Бочарников В.П. - СПб: Наука, 2001. - 328 с.

16. Горбань И.И. Расходящиеся последовательности и функции / И.И. Горбань // Математичні машини і системи. - 2012. - № 1. - С. 106 - 118.

17. Горбань И.И. Многозначные величины, последовательности и функции / И.И. Горбань // Математичні машини і системи. - 2012. - № 3. - С. 147 - 161.

Стаття надійшла до редакції 15.04.2012

i Надоели баннеры? Вы всегда можете отключить рекламу.