Аппроксимация двумерных законов распределения зависимых случайных величин Текст научной статьи по специальности «Математика»

УДК: 004.942

АППРОКСИМАЦИЯ ДВУМЕРНЫХ ЗАКОНОВ РАСПРЕДЕЛЕНИЯ ЗАВИСИМЫХ СЛУЧАЙНЫХ ВЕЛИЧИН

© 2014 Д.А. Кудрявцев, И.А.Лёзин

Самарский государственный аэрокосмический университет имени академика С.П. Королёва (национальный исследовательский университет)

Поступила в редакцию 17.12.2013

Статья посвящена проблеме аппроксимации плотностей вероятности двумерных зависимых случайных величин. В статье приводится способ решения задачи и возможность использования нейронных сетей. Вид распределения определяется многослойным персептроном, а параметры вычисляются с использованием ЯБР-сети. В результате выводятся итоговые формулы для вычисления параметров плотности двумерных законов распределения. В статье приводится таблица с результатами исследований методов решения.

Ключевые слова: двумерная случайная величина, аппроксимация плотности вероятности, параметрическая модель, нейронная сеть.

Одним из способов восстановления двумерных плотностей вероятности по имеющейся выборке является построение параметрической модели неизвестного непрерывного закона распределения. При определении выражения неизвестной двумерной плотности вероятности с помощью параметрической модели, если в данных условиях можно предполагать, что выборка распределена по какому-либо закону, необходимо решить две задачи:

1) определить вид параметрической модели, адекватно описывающей представленную выборку,

2) определить неизвестные параметры модели.

Учитывая, что нейронные сети являются универсальным и широко используемым механизмом при решении задач аппроксимации и классификации, рассмотрим возможность использования нейронных сетей при построении параметрических моделей плотностей вероятности.

Данная задача состоит из четырех частей:

1) преобразование исследуемой дискретной двумерной выборки в вид, удобный для работы с нейронной сетью;

2) определение типа распределения исследуемой выборки с помощью многослойного персептрона;

3) определение параметров распределения по методу моментов с учетом известного типа распределения;

4) определение параметров распределения методом нейронных сетей с использованием алгоритма обучения радиально-базисной сети.

Кудрявцев Дмитрий Андреевич, аспирант кафедры кафедры "Информационные системы и технологии ". E-mail: [email protected]

Лёзин Илья Александрович, кандидат технических наук, доцент кафедры "Информационные системы и технологии". E-mail: [email protected]

Данный подход исследования двумерных распределений можно использовать для различных видов распределений, но для упрощения генерации исходных данных и отладки алгоритмов рассмотрим параметрическую модель, заданную следующим способом:

Г X = X „

[7 = • X 2 + Р • X,, (1)

где X1 и X2 - независимые величины, р - коэффициент корреляции.

Ограничимся рассмотрением нормального и экспоненциального одномерных законов, а также закона Вейбулла. Исходя из линейного характера зависимости между случайными величинами X и 7, построим прямую, используя метод наименьших квадратов (МНК):

у = ах + Ь. (2)

Задача заключается в нахождении коэффи-у

а

Рис. 1. Преобразование модели

Автоматизированные системы научных исследований

циентов линеинои зависимости, при которых следующая функция принимает наименьшее значение [1]:

F (a, b) = Y^ (у> - (ax, + b ))2 ^ min, (3)

где n - размер выборки,

a, b - коэффициенты линейной зависимости в выражении (2),

X, y. - г-ый элемент двумерной выборки. После определения а и b сумма квадратов отклонений экспериментальных данных от найденной прямой будет наименьшей. Далее двумерную выборку необходимо повернуть так, чтобы случайные величины X и Y можно было рассматривать как независимые. Получена следующая формула:

ми функциями Гаусса вида:

У i = У t - a(x. - mx)

(4)

Рис. 2. Частотная гистограмма двумерной выборки

(VxX-Cx )2 <-УуУ-Сy )

G (x, y) = e

(5)

Для нормального-экспоненциального закона распределения вероятности:

(" x-Cx~)2-Луу

G (x, y) = e 2 (6)

Для нормального-Вейбулла закона распределения вероятности:

где а - коэффициент линейной зависимости, найденный методом МНК,

тх - оценка математического ожидания, у1 -, -ый элемент выборки по оси ординат после преобразования,

у. - , -ый элемент выборки по оси ординат до преобразования,

х. - . -ый элемент выборки по оси абсцисс до преобразования.

Для удобства постановки задачи классификации будем представлять случайную последовательность в виде частотной двумерной гистограммы с разбиением на Мх коридоров по оси х и Му коридоров по оси у, построенной по исследуемой выборке, представленной на рис. 2.

Для восстановления аналитического выражения функции плотности вероятности из набора узловых точек используется алгоритм нейросе-тевой аппроксимации. Для примера, в качестве базовой модели для определения коэффициентов нормального-нормального закона распределения вероятности, который был установлен на этапе классификации, берется ЛБ^-сеть, нейроны скрытого слоя которой являются двумерны-

/ \2 кУ

(vxx-cx ) УУ

G(x, У) = ■ e 2 ßy

ßУ

(7)

Эти функции используются для построения аппроксимирующей модели, которая выглядит следующим образом:

/(x, y) = w ■G( x, y).

(8)

Неизвестные коэффициенты ш , V , V , С ,

/? 1 3 ч-ч- х у х

Су, р , ку, Л в выражениях (5-7) являются настраиваемыми, а их значения определяются в процессе обучения нейронной сети.

Таким образом, целевая функция определяется по формуле:

1

Mx -1 My -1

Е = 2 , у1) - /(х,, у1)) ^ т1п. (9)

2 ,=о ]=0

Приведем формулы вычисления параметров для нормального-нормального закона распределения вероятности:

V V + VVО(х,у)■ (Ох,у)-/(х,у]-сх)х1,

V w■ 0(х,у)■ (Ох,у)-/(х,у])№уу] -су)у],

Сх = Сх -V ^ Ох, у) ■ (Ох, у) - /(х, у])V - Сх), (10)

Су = Су - Vw■ Ох,у) ■ (Ох,у) -/(х,у]-Су).

Для нормального-экспоненциального:

V V у)Шу) -/(х у -Сх X, С =С у)■ (С(х,у)-/(ху))^>х -С),

Лу =Л Ох,у) ■Оху)-Ах у ))>г

Для нормального-Вейбулла:

V, =К VV Ох, у)(О(х, у) - /(х, у] )№х - С )х,

с =с ™ ■°х,у)<Ох, у) - /(х, у] - с X

у1'

р =ру-V V ■ОъуХЦх, у) - /(х, у] ))р-,

'V

(11)

(12)

У

ky = ky-v w ■ G(x, y) ■ (G(x, y) - fix:,, y ))Щ )(1-ß).

y

Оценка погрешности аппроксимации вычис-

2

2

k

Таблица 1. Результаты исследования методов

СКП

m x C x m + 3c xx max

1 0,0137 0,0038 0,0243 0,0246

2 0,0144 0,0008 0,0169 0,0160

3 0,0116 0,0035 0,0221 0,0224

4 0,0231 0,0029 0,0318 0,0309

ляется по формуле:

А = jj (f (X У) - /(X y))2 dxdy • (13>

D

Для исследования погрешности было проведено 29 испытаний [2]. Также, полагая величину погрешности случайной величиной, распределенной по нормальному закону, величина погрешности оценивается по правилу "трёх сигма". В каждом из испытаний строилась гистограмма 15 на 15 столбцов и моделировалась выборка случайной величины, состоящая из 10000 отсчетов и распределенная по двумерному нормальному закону. Результаты исследования представлены в табл. 1.

Первая строка - погрешность, полученная с использованием методов описанных в статье, вторая строка - результаты исследования погрешности аппроксимации RBF-сетью [3].

Третья строка - результаты, описанные в [4], последняя строка - результат использования метода моментов.

В таблице mx представляет выборочное среднее погрешности аппроксимации, рассчитанное по 29 значениям, < - корень выборочной дисперсии, max - максимальная величина погрешности среди проведенных испытаний.

Таким образом, по результатам испытаний, которые приведены в таб. 1, можно сделать вывод о том, что метод, описанный в статье, имеет меньшую погрешность, чем метод моментов, однако большую, чем метод, основанный на аппроксимации RBF-сетью [3], и метод, используемый для работы с двумерной независимой выборкой [4].

СПИСОК ЛИТЕРАТУРЫ

1. Линник Ю.В. Метод наименьших квадратов и основы математико-статистической теории обработки наблюдений. М.: Государственное издательство физико-математической литературы, 1958. с. 337

2. Методы нормирования метрологических характеристик, оценки и контроля характеристик погрешностей средств статистических измерений. РТМ 2513974 / Минприбор, 1974. 76 с.

3. Лёзин И.А. Автоматизированный комплекс аппроксимативного анализа двумерных законов распределения ортогональными полиномами и нейронными сетями / / Информационные технологии в высшем профессиональном образовании: Сборник докладов II межрегиональной научно-практической конференции [под.ред. О.А. Тарабрина, А.В. Очеповского]. Тольятти-Самара: Самарский государственный аэрокосмический университет, 2007. С.84-87.

4. Аппроксимация двумерных плотностей вероятности параметрическими моделями / Д.А. Кудрявцев, И.А. Лёзин, С.А. Прохоров // Вестник транспорта Поволжья. Сентябрь-октябрь 2012. №5 (35). С.70.

APPROXIMATION OF DOUBLE-DIMENSIONAL DISTRIBUTION LAWS OF DEPENDENT RANDOM VARIABLES

© 2014 D.A. Kudryavtsev, I.A. Lyozin

Samara State Aerospace University after Academician S.P. Korolev (National Research University)

Article is dedicated to the approximation problem of double dimensional dependent random variables. Solution of the problem and ability neural networks usage is introduced in it. Distribution type is determined by a multi-layer perceptron, and parameters are calculated by RBF-network. As a result, formulas for computing parameters of double dimensional densities of probability are derived. The article represents a table with the research methods results.

Keywords: double dimensional random variable, approximation of the density of probability, parametric model, neural network. Dmitry Kudryavtsev, Second-Year Graduate Student of Department "Information Systems and Technologies". E-mail: [email protected]

Ilya Lyozin, Ph.D., Assoc. Prof. of Department "Information Systems and Technologies". E-mail: [email protected]