Количественный анализ энтропии в математических выражениях Текст научной статьи по специальности «Математика»

Ляхов Александр Федорович

УДК 519

КОЛИЧЕСТВЕННЫЙ АНАЛИЗ ЭНТРОПИИ В МАТЕМАТИЧЕСКИХ ВЫРАЖЕНИЯХ

Аннотация

В работе показано, что различные формы записи алгебраических выражений несут разное количество информации о распределении вычислительных погрешностей. В случае развернутых формул вычислений интервал оценивания расширяется, но при этом распределение погрешности становится неравномерным. Для оценки степени неравномерности распределения погрешности используется понятие энтропии.

Ключевые слова: погрешность, информация, энтропия, распределение.

ВВЕДЕНИЕ

При выполнении вычислений, как правило, приходится сталкиваться с возникновением и ростом погрешности вычислений. Если вычисления не очень громоздкие и производятся вручную, то в процессе счета человек может контролировать рост погрешности вычислений и предпринимать меры для её уменьшения. Заметим, что ручные вычисления обычно производятся способом, который может быть назван «вычисления с переменной длиной числа, с квазификсиро-ванной-квазиплавающей запятой», то есть длина используемых чисел регулируется.

Объёмы современных машинных вычислений при решении сложных задач могут содержать 1010 и более элементарных арифметических операций. Машинные вычисления обычно осуществляются с плавающей запятой и с фиксированной длиной числа. В этом случае оценки погрешностей могут быть получены только в результате сложных исследований и вычислений.

Известно, что, с одной стороны, все оценки погрешности измерений величин, с

© А.Ф. Ляхов, 2011

которыми производятся вычисления, носят вероятностный характер, то есть наряду с интервалом погрешности указывается соответствующая доверительная вероятность, с другой стороны, реальные погрешности вычислений всегда много меньше теоретических оценок. Всё это подталкивает исследователей к построению статистических подходов оценки погрешности. Эти подходы базируется на идее, что процесс округления есть случайный процесс, и, следовательно, можно построить его модель, основываясь на теории вероятностей. Для того чтобы формально применить методы математической статистики, необходимо создать вероятностное пространство результатов вычислений. Это может быть осуществлено путем создания некоторой умозрительной модели или многократного повторения процесса вычислений с использованием современных технологий распараллеливания и многопроцессорных вычислительных машин1 .

1 Погрешности вычислений в одной и той же задаче при её повторных выполнениях на многопроцессорных компьютерах различны. Это является следствием того, что распараллеливание задачи определяется общим состоянием занятости процессоров, участвующих в работе.

Построим вероятностное пространство, полагая числа, над которыми производятся арифметические операции, варьирующимися. Представим, что вычисление может быть сделано с бесконечной точностью, но на каждом арифметическом шаге осуществляется округление, и присоединяется некоторая погрешность [2]. Будем полагать, что эта погрешность - случайная величина, равномерно распределенная на интервале длиной, равной единице последнего значащего разряда.

Заметим, что в этой модели допускается непрерывное распределение и игнорируется тот факт, что действительное распределение машинного округления дискретно, так как вычислительные машины оперируют с числами конечной длины.

Одним из главных свойств случайных величин является отсутствие уверенности в их значении. Эта неопределенность изменяется при выполнении связанных с этими величинами операций.

В теории информации за меру неопределенности случайной величины X с плотностью распределения f (x) принимается величина, называемая энтропией и равная

H(x) = -]f (x)log f (x)dx .

Заметим, что максимальную энтропию имеет равномерно распределенная случайная величина [1, 3]. Следовательно, чем меньше можно сказать о значении, которое примет случайная величина, то есть чем меньше информации о ней мы имеем, тем энтропия больше.

Выполняя арифметические действия над числами, погрешности которых имеют некоторые распределения, получим новые погрешности с распределениями, отличными от исходных. В зависимости от порядка выполнения действий, как величина погрешности, так и мера неопределенности результата, то есть энтропия, будут различными.

ПОСТАНОВКА ЗАДАЧИ

Рассмотрим различную запись одного и того же выражения:

I1 = (a + b)2, I2 = a2 + 2ab + b2.

Оценим энтропию этих выражений с точки зрения предложенной модели округления чисел.

Пусть a - случайная величина, равномерно распределенная на интервале (a -Da; a + Da) и имеющая математическое ожидание, равно a. Плотность распределения

1 ,xе (a-Da;a + Da),

fa (x) =

2Da

0, x g (a - Da; a + Da),

Пусть Ь - случайная величина, равномерно распределенная на интервале (Ь -Db; Ь + АЬ) с математическим ожиданием, равным Ь:

1

Плотность распределения fb(x) =

,xе (b -Db;b + Db),

2АЬ

0, хг (Ь-АЬ;Ь + АЬ). Для того чтобы ответить на вопрос, какая запись - 11 или 12 содержит в себе больше информации, требуется найти плотности распределения / 2(х) и / 2 2 (х), а затем

(а+Ь) а +2 аь+ь

вычислить энтропию этих распределений.

Из теории вероятностей известно [2], что, если имеется непрерывная случайная величина Xс плотностью/(х), то случайная величина У = ср(X) имеет плотность распределения

Я (У) = (у)) к'(У)|, (1)

1=1

где к - число значений функции, обратной к ((х), соответствующее данному у, у1 (у), у2( у),...,ук (у) - значения обратной функции, соответствующие данному у [1].

Найдём законы распределения случайных величин входящих в искомые выражения. Определим плотность распределения квадрата случайной величины ((х) = х2. Функция

у = х не монотонна:

; У (У) = ~4у , у2 (У) = 4У . Из (1) получим

в (у)=п= (У (-¿У)+у (^У)), у >0.

v2 у

(2)

Рассмотрим функцию двух случайных аргументов

¥ = ((Ха, ),

функция распределения случайной величины У равна

°(у ) = //(Ха, ХЬ )СхаСхЬ ,

((ха.ХЬ )<у

где область интегрирования на плоскости хаОхЬ определяется из условия ((ха, хЬ) < у . Дифференцируя (3) по величине у, найдем плотность распределения случайной величины йв (у)

(3)

(у) =

йу

Полагаем, что случайные величины Xа и ХЬ независимы, то есть У (ха, хь ) = Уа (ха ) УЬ (ХЬ ) , и положительны.

Найдем функцию распределения случайной величины

¥ = ((Xа ,Хь ) = Ха + Хь , О(у) = /Я (ха )(х, )йхайхъ.

ха + хЬ < у

В этом случае область интегрирования - часть прямоугольника, отсеченная прямой ха + хЬ = У (Рис. 1).

Предположим, что Ла > ЛЬ . Покажем, как определяется функция 0(у) на интервале

у1 £ у £ у 2

-у-(Ь-ЛЬ) у-х

у) =

1

4ЛаЛЬ

/ йха ¡С

1

а-Ла

Ь-ЛЬ

4ЛаЛЬ

- (у - Ъ + ЛЬ)2 - (у - Ъ + ЛЬ)(а-Ла) + -(а-Ла)2

Ь+ЛЬ

Ь -Л Ь

у1 = а -Ла + Ъ -ЛЪ,у2 = а -Ла + Ъ + ЛЪ, у3 = а + Ла + Ъ - ЛЪ,у4 = а + Ла + Ъ + ЛЪ.

/

Рис. 1

Рис. 2

О (у) =

1

4АаАЬ

На остальных интервалах О(у) определяется аналогичным образом.

0, у < У1,

1 2 1 2

2(У - Ь-АЬ)2 - (у - Ь + АЬ)(а-Аа) + -(а - Аа)1, У1 < у < уг,

2АЬ2 + 2АЬ(у - а + АЬ - Ь-АЬ), у2 < у < у3,

1 2 1 2

4АаАЬ- — (у - Ь-АЬ)2 + (у - Ь-АЬ)(а + Аа)- — (а + Аа)2, у3 < у < у4,

4АаАЬ, у4 < у. График функции О(у) изображен на рис. 2.

Дифференцируя по у, находим плотность распределения суммы двух случайных величин:

0, у < у1, (у - Ь + АЬ), у1 < у < у2,

2АЬ, у2 < у < у3,

- (у - Ь-АЬ) + (а + Аа), уз < у <

0, у4 < у.

Я (у) =

1

4АаАЬ

График плотности распределения я(у) изображен на рис. 3.

Функция распределения произведения случайных величин У = (р(Ха, ХЬ) = Ха ■ ХЬ

О(у) = ДО/а (ха)/ь (хЬ )йхайхЬ .

ха'ХЬ < у

Область интегрирования - часть прямоугольника, отсеченная кривой ха ■ хЬ = у (рис. 4). Предположим, что аАЬ < ЬАа , тогда у1 < у2 < у3 < у4 . В этом случае получим:

0, у < л,

О (у) =

1

4АаАЬ

у

Ы

у

(а - Аа)(Ь -АЬ) Ь + АЬ

у

4АаАЬ - у

Ы

Ь -АЬ

у

-1 + (а - Аа)(Ь-АЬ), у^ < у < у2, 2АЬ(а -Аа), у2 < у < уз,

1

■(а + Аа)(Ь + АЬ),уз <у <уА,

(а + Аа)(Ь + АЬ)

/

4АаАЬ, у4 < у.

График функции О(у) изображен на рис. 5. Дифференцируя его по у, находим плотность распределения произведения двух случайных величин:

Я (у) =

1

4АаАЬ

Рис. 3

0, у < у1,

ы

у

(а -Аа)(Ь -АЬ) Ь + АЬ

1п

- 1п

Ь - АЬ

у

(а + Аа)(Ь + АЬ)

0, у4 < у.

у1 < у < у2,

, у2 < у < Уз,

, у3 < у < у4,

b+Db

b -D b

График плотности распределения g (y) показан на рис. 6.

ЧИСЛЕННЫЙ ПРИМЕР НАХОЖДЕНИЯ ЭНТРОПИИ ВЫРАЖЕНИЯ

Поскольку определить плотность распреДеЛеНИЯ f(a+b)2 (Х) и / 2 + 2Л+Ь2 (^ В обЩеМ

виде невозможно, приведём пример решения поставленной задачи для конкретных значений a, b, Da, Db.

Расчеты быши проведены в системе Maple. На каждом этапе вычислений производилась проверка выполнения основных свойств y1 = (a - Da) (b - Db), y2 = (a - Da) (b + Db), плотности распределения для полученных функций.

Примем a = 2, b = 5, Da = Db = 0,5 , Ii = (2 + 5)2.

Согласно ранее выведенным формулам плотность распределения случайной величины (2 + 5) имеет следующий график (рис. 7).

Из графика видно, что результатом сложения может быть любое число из интервала (6; 8), возводя его в квадрат, получим плотность выражения I, f 2 (рис. 8).

(2+5) (x)

Энтропия выражения 1г численно равна H(1г) »Ъ,1Ъ1Ъ.

Вычислим энтропию выражения 12 = 22 + 2 ■ 2 ■ 5 + 52.

y3 = (a + Da)(b -Db), y4 = (a + Da)(b + Db) Рис. 4

Рис. 7

Рис. 8

Рис. 9

График плотности распределения случайной величины 2 • 5 имеет следующий вид (рис. 9)

Произведение может принимать все значения из интервала (6,75; 13,75). Максимальная плотность вероятностей имеет место для интервала (8,25; 11,25).

Плотности распределения величин 22 и 25 показаны на рис. 10.

Плотность распределения суммы квадратов 22 + 25 имеет следующий вид (рис. 11).

Плотность распределения выражения 12 показана на рис. 12.

Энтропия такого распределения численно равна Н(12)» 2,8923 .

Можно видеть, что закон распределения выражения 12 близок к нормальному распределению. Это обусловлено тем, что выражение 12 содержит 3 операции сложения. Из центральной предельной теоремы теории вероятностей известно, что при сложении большого количества независимых случайных величин закон распределения их суммы приближается к нормальному [1].

Математическое ожидание и среднеквадратичное отклонение полученного распределения т1 » 49,167, о1 » 4,4014 .

Значение энтропии выражения 12 можно вычислить приближённо как энтропию соответствующего нормального распределения. Энтропия нормального закона имеет простую

аналитическую запись [1]: Н(N(т,а)) = 1о%(су1 2р • е).

Вычислим энтропию нормального распределения с параметрами т1 ,о1 :

Н((т1 ))» 2,9009 .

■1' ЦГА: Ц 0и Щи ца;

Рис. 10

/

/

\

X и »

Рис. 11

Рис.12

Можно видеть, что энтропии, вычисленные по определению и с помощью предельной теоремы, отличаются не более чем на 0,01.

Сравнивая энтропии выражений 11 = (2 + 5)2 и 12 = 22 + 2 ■ 2 ■ 5 + 52, можно видеть, что H(11) » 3,1313 > H(12) » 2,8923 .

Приведём оценки погрешности выражений по правилам элементарной теории погрешности. Погрешностями округления после выполнения арифметических операций будем пренебрегать.

' Ла + ЛЬЛ

Для первого выражения можно записать

6 2 = 2б(а+Ъ) = 2 (а+Ь)2 (а+ъ а + Ъ

V у

для второго выражения формула погрешности будет сложнее

6 2 2 = 2

а2+Ъ +2аЪ

г аЛа + ЪЛЪ + 2(ЪЛа + аЛЪ) Л

членом

а 2 + Ъ 2 + 2аЪ

V У

Заметим, что первая оценка несколько занижена, так как при её получении пренебрегли (Ла + ЛЪ)2

(а + Ъ)2

Численные значения погрешности 6 2 = 0,28 , 6 2 2 = 0,42 .

^ (а+Ь)2 а2 +Ь2 +2аЪ

Количественный анализ показывает, что, с точки зрения предложенной модели округления чисел, запись 12 содержит в себе больше информации, чем запись 11, так как запись 12 является развернутой формой 1Х. Следовательно, результат во втором случае более определён.

Аналогичные вычисления для ряда других чисел показал, что во всех случаях развернутые формы выражений имеют меньшую энтропию, чем формы свёрнутые.

Проводился анализ следующего тождества

Бт(х + у) = Бт(х) * Cos(y) + Cos(х) * Бт(у).

В этом случае 11 = 8т(х + у) и 12 = 8т(х) * Cos(у) + Cos(х) * 8т(у), Х,¥ случайные величины, равномерно распределённые на интервале [0, р / 4], то есть х = к /8, у = к /8, а Лх = р/8, Лу = р/8. Интервалы изменения случайных величин 11 £ [0;1], 12 е [0;л/2].

Основные вероятностные характеристики для правой части тождества: математическое ожидание М[11] = 0,6115 , дисперсия Б[1г] = 0,4909 , энтропия Н[11] = 0,2216 . Вероятностные характеристики левой части тождества: математическое ожидание М[12] = 0,6103 , дисперсия Б[12] = 0,0118 , энтропия Н[12] = 0,1835 .

Можно видеть, что и в этом случае интервал погрешности расширяется для развёрнутого выражения, а энтропия уменьшается.

ЗАКЛЮЧЕНИЕ

Проведенное исследование показывает, что в случае развернутых формул вычислений интервал оценивания расширяется, но при этом распределение погрешности становится неравномерным. Следовательно, применяя методы статистической оценки погрешности с учётом её доверительного интервала вероятности, можно уменьшить интервал учитываемой погрешности.

Заметим, что если операции сложения преобладают в исследуемом выражении, то, энтропия такого выражения может быть найдена как энтропия нормального закона с соответствующими параметрами распределения.

Литература

1. Вентцель Е. С., ОвчаровЛ.А. Теория вероятностей и её инженерные приложения. М.: Наука, 1976. С. 480.

2. ХеммингР.В. Численные методы для научных работников и инженеров. М.: Наука, 1968. С. 400.

3. Яглом А.М., ЯгломИ.М. Вероятность и информация. М.: Наука, 1973. С. 511.

Abstract

In the paper it is shown that different notations of algebraic expressions contain different amounts of information about distribution of calculating errors. For unfold calculating formulae estimating interval broadens but the distribution of error becomes nonuniform. The concept of entropy is used to estimate degree of nonuniformness of distribution.

Keywords: error, information, entropy, distribution.

© Наши авторы, 2011. Our authors, 2011.

Ляхов Александр Федорович, кандидат физико-математических наук, доцент кафедры теоретической механики механико-математического факультета НГУ им. Н.И. Лобачевского, Ьуакког@тт. ипп. ги