CC BY
40
эффективности Ливн. Максимальное значение \Ут а соответствует оптимальной рабочей точке функционирования системы связи и ее элементов (точке "золотого сечения"), в которой "сбалансированы" отдельные показатели качества функционирования. Поддержание процесса функционирования сети связи в оптимальной рабочей точке — одна из основных задач в процессе использования сети по назначению.
"Сбалансированность" показателей производительности системы связи и скорости передачи наглядно представима на нагрузочной характеристике. Нагрузочная характеристика определена [8] как зависимость между интенсивностью обслуженного потока сообщений и скоростью доставки 7м сообщений. Нагрузочная характеристика для элемента, некоторого участка и сети связи в целом может быть вычислена аналитически, например, с использованием теории систем массового обслуживания. получена на имитационной модели и экспериментально путем измерений или сбора и обработки статистических данных.
В частном случае в плоскости Г1 х V нагрузочная характеристика, устанавливающая зависимость между показателями производительности П и скорости V. обеспечивает наглядность определения оптимальной рабочей точки функционирования, характеризующейся
максимальной эффективностью вследствие сбалансированности отдельных показателей.
Таким образом, получение обобщенного показателя объема системы связи (И0. определяемого в метрическом пространстве Ф основных показателей качества функционирования (П. V и Г), позволяет вычислить показатель эффективности системы связи и на основании его производить объективную сравнительную оценку систем связи, устанавливать тарифы за пользование ресурсами и др.
Предлагаемый показатель эффективности может быть использован при создании новых и совершенствовании существующих сетей связи, которые могут быть построены на любых сетевых технологиях —с коммутацией сообщений, пакетов и каналов, сети интегрального обслуживания. Он может быть применен и для оценки отдельных элементов сетей связи, а также средств реализации служб и услуг связи, функциональных модулей адаптации, маршрутизации и коммутации, переноса информации на канальном и физическом уровнях транспортной сети, а также автоматизированных систем управления сетями связи, систем технической эксплуатации и т. д.
Все операции по получению оценки объема сети связи, показателя ее эффективности и нагрузочных характеристик вычисляются простыми средствами компьютерной техники.
СПИСОК ЛИТЕРАТУРЫ
1. Знжо А.Г., К.ювский Д.Д., Назаров М.В., ФинкЛ.М. Теория передачи сигналов: Учебник для вузов. М.: Радио и связь. 1986.
2. Шварц М. Сети связи: протоколы, моделирование и анализ: В 2 ч. Ч. 1: Пер. с англ. М.: Наука. Гл. ред. физ-.мат. лит., 1992.
3. Giessler A., Koenig A., Haenle J., Pade Е. Dead-lock-Free Packet Networks.
4. Клейпрок Л. On How control in computer networks / Computer Science Department University of California. Los Angeles. California. 9002.
5. Пасечников И.И. Методология анализа и синтеза предельно нагруженных информационных сетей: М.: Машиностроение-1. 2004.
6. Кулряшов В. А., Расчесова А.Г. Выбор системы показателей эксплуатационно-технического обслуживания сети передачи данных//Электросвязь. 1984. № 1. С. 51-53.
7. Надежность и эффективность в технике: Справочник// Под ред. В.Ф. Уткина. 1988.
8. ГОСТ 4.091.280-87 Узлы коммутации пакетов и сообщений. Процедуры эксплуатационно-технического обслуживания. 1987. 52 с.
Ю. Ю. Громов, И. Г. Карпов Законы распределения непрерывной
случайной величины с максимальной энтропией.
Обобщенный метод моментов
Часто при классификации законов распределения непрерывной случайной величины (СВ) по числовым характеристикам используют коэффициент -энтропии [1. 2]
6э=-Цхр(Я).
/ст
(1)
В формуле (1) ст = — среднее квадра-
тическое отклонение, а ц, — второй центральный степенной момент для данного закона распределения; Н - энтропия, определяемая выражением
Н=- \ р(х)\п(р(х)У1х,
(2)
ших ограничениях, наложенных на плотность
вероятности р(х):
» »
р(л')> 0. \р(х)с1х=1, {лг'Х А-ул- = р''Д» (3) о о
где р — параметр масштаба; V — величина максимального существующего начального прямого момента. Здесь и далее под прямым моментом будем считать в соответствии с (3) положительный степенной момент, а под обратным моментом —отрицательный степенной момент.
Интегралы в выражениях (2) и (3) при больших значениях // и целом М можно сколь угодно точно представить в следующем виде:
где/>(лг) — плотность распределения вероятностей (ПРВ) случайной велечины. Коэффициент энтропии имеет максимальное значение для гауссовского закона (8, = 2.066). для равномерного закона —51 = 1.73. для распределения Коши — 5 = 0 и т. д.
Цель данной статьи получить обобщенные выражения для законов распределения с максимальной энтропией при использовании наряду со степенными моментами экспоненциальных и логарифмических моментов, а также на основе существующего метода моментов разработать обобщенный метод моментов для оценки параметров законов распределения.
Законы распределения непрерывной случайной величины с максимальной энтропией
Выясним вначале, какие непрерывные законы распределения обладают максимальной энтропией. Так как величина энтропии не зависит от параметра сдвига, то для упрощения выкладок полагаем, что он равен нулю. Вначале среди односторонних законов распределения неограниченной СВ найдем такой закон распределения, для которого величина энтропии Н достигает максимума при следую-
|/>(х)1п(/>(*)>!х = Ил>0>(.г)Уд- £ с, 1п(гА);
о О М к=0
*> II 11 м
/1 А /
к= О
м
¡х1р(х У1х = \х"р(ху/А- = — X 4 Ч -
0 О М к= 0
где хк = Ик/М; :к = р(хк).
Для поиска экстремума воспользуемся методом неопределенных множителей Лагранжа [3]. Будем искать стационарную точку функции
о
\р(х)с/х-\
1х*р(хуь-р/у
о
(4)
или бесконечно близкого к ней по значению выражения
1.А
А/
м м м
- X ч 1п (г*)+ а., X ъ + X
к =0 к=0 к-0
х1 +
л2Р"
введя множители Лагранжа X, и X,, учитывающие ограничения (3). Необходимым условием
попадания в стационарную точку является обращение в нуль частных производных от функции Лагранжа
дЬ = дЬ
откуда с учетом (4) получаем
+ (5)
Из (5)следует
-1п(/?(.х)) - 1 + + = 0, (6) так как вид выражения (5) не зависит от А и Л/, т. е. от способа разбиения интервала интегрирования на отрезки.
Таким образом, плотность р(х), которая удовлетворяет условиям (3) и максимизирует Н. может быть найдена из уравнения (6)
р(.х) = ехр(А. - 1 +
(7)
Подставляя (7) в (3) вместо р(х), получаем после интегрирования:
го/г-)
ехр(Х, -1 > ехр(Х, -1 >
Г(1/У)
= 1,
ш
ш,
7 = Р'А-
(8)
Из (8) находим, что Х2 = -1/Р' и ехр(А., - 1) = = 1'/рГ(1Л>)). Следовательно,
Р(*)=:
-ехр
(9)
РГ(1/у)
0<Х<оо,
где Г(г) — гамма-функция.
Из (9) следует, что если существует только первый начальный прямой момент (г = 1), то наибольшей энтропией обладает экспоненциальный закон; если два момента (г = 2), то односторонний гауссовский закон; а если существуют все прямые моменты (V —> оо), то односторонний равномерный закон р(х) = = 1/р, 0 < .г < р. Таким образом, среди односторонних законов распределения СВ наибольшей энтропией обладает равномерный закон, если существуют все прямые моменты.
Аналогичным образом можно показать для двухсторонних симметричных законов распределения неограниченной СВ. что если существуют первые V абсолютных центральных прямых моментов, то наибольшей энтропией обладает плотность вероятности
0.5у РГ(1/у)
ехр
— ООСХСОО. (10)
Из (10) следует, что если существует только первый абсолютный центральный момент (V = 1). то наибольшей энтропией обладает распределение Лапласа: если два момента (г = 2), то гауссовский закон; а если существуют все прямые моменты (V —> оо), то равномерный закон. Действительно, предельным случаем (10) при »• оо является равномерный закон р(х) = 0,5/р, -р < .v < р. Таким образом, среди двухсторонних симметричных законов распределения СВ наибольшей энтропией обладает равномерный закон, если существуют все прямые моменты. Рассмотренные частные случаи двухсторонних законов с максимальной энтропией совпадают с уже известными законами, имеющими максимальную энтропию, что подтверждает правильность полученных результатов.
Из анализа полученных выражений (9) и (10) следует также, что для повышения количества информации об оцениваемых параметрах законов распределения большой протяженности (с длинными "хвостами") с помощью метода моментов необходимо использовать прямые моменты малого порядка, в том числе и дробного порядка. Если же оцениваются параметры законов распределения малой протяженности, то необходимо использовать прямые моменты более высокого порядка.
Найдем теперь среди односторонних законов распределения неограниченной СВ такой, для которого величина энтропии 11 достигает максимума при следующих ограничениях, наложенных на плотность вероятности р(х): р(х)> О,
]р(х>£с = 1, ).г-,>(х>/х = р7^ (П) о о
где V — величина максимального существующего начального обратного момента.
При этом энтропия Н определяется выражением
Н = -)у-2р(\/у)\п(у-гр(\/у))<1у = о
00
= -{/>(* )1п(д:2/>(*))^ (12)
о
где 1/у)— плотность вероятности СВ П. обратной к СВ имеющей плотность вероятности р(х).
В результате использования метода неопределенных множителей Лагранжа получим выражение для закона распределения с максимальной энтропией
Р(*)=
-^ехр
РГ(1/У)Х2
0<х<ос.
1
(13)
Предельным случаем (13) при V оо (существуют все обратные моменты) является односторонний закон распределения ограниченной снизу СВ />(*)=1/рх2, 1/(3 < х < оо.
Определим среди двухсторонних законов распределения неограниченной СВ такой, для которого величина энтропии Я достигает максимума при следующих ограничениях, наложенных на плотность вероятности р(х):
р( л)>0.
х оо
| р{х)(1х = I, |ехр(юг)/>(л;уА- = р1'Д, (14)
-00 -00
где г — величина максимального существующего начального прямого экспоненциального момента.
При этом энтропия Я определяется выражением
х>
//=- | р (а )1 п (ехр(-л')р(а)У^х. (15)
-оо
В результате использования метода неопределенных множителей Лаг ранжа получим следующее выражение для закона распределения с максимальной энтропией:
уехр(.х) ехр(ух)^ Р(х)=-;—гехР--
-00 < А < со. (16)
Предельным случаем (16) при г —> оо (существуют все прямые экспоненциальные моменты) является закон распределения ограниченной сверху СВр(х) = ехр(.\ )/р. -ос < д- < 1п(Р).
Теперь определим среди двухсторонних законов распределения неограниченной СВ такой закон распределения, для которого величина энтропии Я достигает максимума при следующих ограничениях, наложенных на плотность вероятности р(х):
р(х)> О,
оо оо
¡р(х)с1х = 1, |ехр(-уд)/;(х>/д: = ргА, (17)
где V — величина максимального существующего начального обратного экспоненциального момента.
При этом энтропия Я равна
оо
//=- I р(х)1п(ехр(х)р(х))/х. (18)
-оо
В результате использования метода неопределенных множителей Лагранжа получим выражение для закона распределения с максимальной энтропией
уехр(-л) р(х)=-;—-ехр
ех]
Р"
-00 < X <00.
(19)
Предельный случай (19) при V оо (существуют все обратные экспоненциальные моменты ) — закон распределения ограниченной снизу СВ р(х) = ехр(-л)/р. -1п(Р) < л- < оо.
Из анализа выражений (16) и (19) следует, что экспоненциальное преобразование СВ приводит к преобразованию параметра формы V в параметр масштаба, а параметра масштаба р в параметр сдвига.
Наконец, определим среди односторонних законов распределения неограниченной СВ такой, для которого энтропия Я достигает максимума при следующих ограничениях, наложенных на плотность вероятности р(х):
р(х)> О,
)р(х^х = 1, ]|1п(л0|1'/>(х>[х = р7у, (20) о о
где у — величина максимального существующего абсолютного начального логарифмического момента.
При этом энтропия Я определяется так:
Я = -]р(.х)1п(л:р(х))*х. (21) н
В результате использования метода неопределенных множителей Лагранжа получим обобщенное выражение для закона распределения с максимальной энтропией
ехр
2рГ(1/у)х
0< А'<00.
|1п(х)Г
(22)
Из (22) следует, что если существуют два абсолютных начальных логарифмических
момента (г = 2). то наибольшей энтропией обладает логарифмический нормальный закон. Предельным случаем (22) при г —> ос является закон Шеннона для ограниченной снизу и сверху СВ р(.V) = 1/(2р.\ ), ехр(-0) < .V < ехрф). Необходимо отметить, что при логарифмическом преобразовании СВ параметр масштаба (3 преобразуется в параметр формы, а параметр сдвига — в параметр масштаба.
Обобщенный метод моментов
Оценка параметров закона распределения СВ обычно производится по результатам наблюдений, представленных в виде конечномерной выборки X = (.V,, .V,,... хп). Для решения данной задачи наиболее часто используют метод моментов и метод максимального правдоподобия [4, 5].
Метод моментов — один из наиболее простых методов оценки параметров ПРВ. Этот метод универсален и в большинстве случаев не требует сложных вычислений, что является его достоинством. Однако методу моментов присущи серьезные недостатки. Во-первых, для некоторых законов распределения случайных величин степенные моменты не существуют (например, закон Коши): во-вторых, при малом объеме выборки не удается достичь высокой точности оценки параметров, т. е. такие оценки не обладают оптимальными свойствами с точки зрения эффективности [4. 5]. Кроме того, при больших выборках они имеют не наименьшую возможную дисперсию [5].
От недостатка метода моментов при оценке параметров ПРВ случайной величины позволяет освободиться метод максимального правдоподобия. Но во многих случаях его применение связано с серьезными вычислительными трудностями, зачастую в явном виде оценки параметров получить не удается. Одновременно с этим, как показывает практика. оценку параметра сдвига одностороннего закона распределения СВ методом максимального правдоподобия удается получить только с большой погрешностью.
Очевидно, что точность получаемых оценок параметров закона распределения СВ зависит от количества информации о случайной величине. Сущность предлагаемого обобщенного метода моментов заключается в использовании для оценки параметров ПРВ случайной величины, в отличие от известного метода моментов, не только прямых степенных, но и моментов
других типов, например логарифмических, экспоненциальных. При этом чтобы узнать, какие моменты использовать, сначала необходимо прологарифмировать выражение для ПРВ выборки, сформированной в результате наблюдения случайной величины.
Затем в полученном аналитическом выражении определяются слагаемые, которые являются функциями СВ (/,(х), /,(х) и т. д.). Вид функциональных зависимостей определяет тип используемых моментов (степенной, логарифмический, экспоненциальный и т. д.) и их порядок.
Далее полученные аналитические выражения соответствующих моментов приравниваются к значениям соответствующих выборочных моментов. Тогда оценки параметров распределений. как и в методе моментов, определяются в результате решения полученной системы уравнений. Количество уравнений в системе соответствует числу оцениваемых параметров.
Для уяснения сути предлагаемого метода рассмотрим пример. Пусть необходимо произвести оценку параметров логарифмического нормального закона с использованием обобщенного метода моментов.
Прологарифмируем ПРВ логарифмического нормального закона
-Ля-
-ехр
GX
(lnx- т)~
В результате получим
1пр(х)= 1п(\/2яст)-(in JC — /и )"
-lnx —
2ст
(23)
Из выражения (23) следует, что/,(х) = lax, а /,(х) = (lnx — т)2. Таким образом необходимо усреднять /,(х) = lnx и/,(х) = (lnx — т)2. Получим систему уравнений
I "
М [lnx]=/n =—]Пп х, ,
п /=1
Л/Г(1пх-/и)21 = ст2 =—У (In х, -т)2, L J "ы
из решения которой находим оценки параметров и и ст.
Вполне определенный интерес вызывает сравнение предлагаемого метода с известными
методами оценки параметров распределений с точки зрения точности оценивания. Проведенные исследования показали, что предлагаемый обобщенный метод моментов, сочетая в себе простоту, характерную для метода моментов, одновременно позволяет обеспечить малую погрешность оценивания параметров распределений при малых выборках, т. е. позволяет избавиться от недостатка, присущего методу моментов. Получаемые при этом оценки соответствуют методу максимального правдоподобия. а в некоторых случаях превосходят их.
Таким образом, получены обобщенные выражения для односторонних и двухсто-
ронних непрерывных законов распределения с максимальной энтропией в зависимости от количества существующих степенных, экспоненциальных либо логарифмических моментов. С их помощью можно более обоснованно осуществлять выбор априорного распределения в условиях априорной неопределенности. Так как величина максимальной энтропии зависит от типа используемых моментов, то целесообразно для решения задачи оценивания параметров законов распределения случайных величин и процессов вместо существующего метода моментов использовать обобщенный метод моментов.
СПИСОК ЛИТЕРАТУРЫ
1. Новицкий П.В., Зыраф И.А. Оценка погрешностей результатов измерений. Л.: Энергоатомиздат. 1991. 304 с.
2. Карпов И.Г. Классификация законов распределения непрерывной случайной величины. Законы распределения с максимальной энтропиен // Радиоэлектроника. 2001. Т. 44. № 11. С. 41-49 (Изв. высш. учеб. заведений).
3. Пир.iкн A.M., Балакирев B.C.. Дудников Е.Г.
Вариационные методы оптимизации управляемых объектов. М.: Энергия. 1976. 448 с.
4. Тихонов В.И. Статистическая радиотехника. М.: Радио и связь. 1982. 624 с.
5. Орлов А.И. Прикладная статистика. М.: Экзамен. 2004. 656 с.
