Оптимизация алгоритмов расчета коэффициента размытости для непараметрических оценок Текст научной статьи по специальности «Компьютерные и информационные науки»

Актуальные проблемы авиации и космонавтики - 2014. Информационные технологии

УДК 519.6:519.21

В. В. Браништи Научный руководитель - А. В. Медведев Сибирский государственный аэрокосмический университет имени академика М. Ф. Решетнева, Красноярск

ОПТИМИЗАЦИЯ АЛГОРИТМОВ РАСЧЕТА КОЭФФИЦИЕНТА РАЗМЫТОСТИ ДЛЯ НЕПАРАМЕТРИЧЕСКИХ ОЦЕНОК

Рассматривается метод настройки коэффициента размытости для оценки Розенблатта-Парзена функции плотности вероятности. Предлагается упрощение выражения для функционала качества, а также сравнивается несколько алгоритмов по скорости оптимизации.

В различных областях науки и техники часто встречается задача оценивания неизвестной функции плотности вероятности непрерывной случайной величины. Функция плотности вероятности используется при проверке статистических гипотез, при решении различных задач классификации, распознавания образов, восстановления зависимостей и др. Одним из наиболее распространённых подходов, позволяющим по выборке значений случайной величины восстановить её функцию плотности вероятности fx), является использование непараметрических оценок Розенблатта-Парзена [1; 2]:

' " ' ^- * ' (1)

1 п 1

/( x) = IX h Ф

n = h

h

4 (i -'2)

< i,

(2)

z > 1.

W (h) =

1

-УУ fo

n2 h1 i=1 j=1 -L

ф

dx -

-УУф

n( n -1)h

i=1 j=1, j*i

гxJ-xl ^ h

(3)

нивается эффективность известных алгоритмов оптимизации в применении к функционалу (3).

С учётом оптимальной формы ядра (2) функционал (3) принимает вид

К(И) =А +77^ I (2 - ^ )3 (( + 6г + 4)-

1< 2ц < 2

У (4)

5nh

80n2h,

п(п - 1)h

У (1 -2)•

x, - x,

где zj =-

h

суммирование ведётся по обоим ин-

где XI, х2, ..., хп - выборка значений случайной величины; ф(г) - ядерная функция; И - коэффициент размытости. Оптимизация функционала качества данной оценки в виде усреднённой глобальной квадратичной ошибки аппроксимации

Q = [ М {(х) - / (х) )2 jdx

-да

по форме ядра даёт оптимальную функцию в виде усечённой параболы [3]:

' 3,

ф( г) = '

дексам /, у, удовлетворяющим соответствующему условию. Выражение (4) не содержит операторов интегрирования и позволяет существенно ускорить процесс минимизации.

Для минимизации функционала (4) рассмотрено 5 алгоритмов локальной оптимизации (см. табл. 1). Метод кубической интерполяции использует аналитическое выражение для производной оптимизируемой функции, а метод Ньютона - второй производной. Из (4) непосредственно выводится:

(И) =

dn

На качество оптимизации существенно влияет коэффициент размытости h. Однако его оптимальное значение выражается через вторую производную функции fx) [3], следовательно, неприменимо на практике. В работе [4] предлагается методика расчёта коэффициента размытости h по выборке значений случайной величины без использования функции fx). Данная методика сводится к минимизации функционала

-— +

1

5п 80п

У (-80z3 +120z2-32)-

1

п(п - 1)0<,<1

У (2 -1)

(5)

d dh

■W (h) =

г i_

5п

40п2

У ( -200z3 + 240Z2 -32) +

У К -1)

(6)

по И. Однако в данном функционале присутствует оператор интегрирования, что делает его вычисление затратным, а процесс минимизации - медленным. В работе предлагается упрощение выражения (3) с целью повышения скорости оптимизации, а также срав-

п(п -1)0<% <1

\ у /

Для каждого алгоритма оценивалось время минимизации функции (4) по h с точностью до 0,001, усредненное по 900 запускам для различных выборок случайной величины объёма п = 100. Погрешность оценивалась по правилу «3 с». Результаты представлены в таблице. Для получения результатов использовался процессор Intel® Core™ i3-2330M.

Численные эксперименты показали, что наиболее эффективным по скорости работы при минимизации функции (4) является метод Пауэлла. Таким образом, в приложениях при расчёте коэффициента размыто-

3

2

h

3

3

h

Секция «Математические методы моделирования, управления и анализа данных»

сти для непараметрической оценки функции плотности вероятности предлагается минимизировать критерий качества в виде (4) методом Пауэлла.

Время работы алгоритмов оптимизации

Метод минимизации Время минимизации, с

Метод золотого сечения [5] 4,11±0,05

Метод Пауэлла [5] 0,91 ±0,02

Метод кубической интерполяции [6] 0,99±0,04

Метод Ньютона [7] 6,0±0,4

Конечно-разностная аппроксимация метода Ньютона [7] 6,3±0,2

Библиографические ссылки

1. Rosenblatt M. Remarks on some nonparametric estimates of a density function // The Annals of Mathematical Statistics. 1956. Vol. 27. № 3. P. 832-837.

2. Parzen E. On estimation of a probability density function and mode // The Annals of Mathematical Statistics. 1962. Vol. 35. № 3. P. 1065-1076.

3. Епанечников В. А. Непараметрическая оценка многомерной плотности вероятности // Теория вероятностей и её применения. 1969. Т. 14. № 1. С. 156-161.

4. Лапко А. В., Медведев А. В., Тишина Е. А. К оптимизации некоторых непараметрических оценок // Применение вычислительных машин в системах управления непрерывным производством. Фрунзе : Илим, 1975. С. 93-107.

5. Рубан А. И. Методы анализа данных : учеб. пособие. 2-е изд., исправл. и доп. Красноярск : ИПЦ КГТУ, 2004. 319 с.

6. Пантелеев А. В., Летова Т. А. Методы оптимизации в примерах и задачах : учеб. пособие. 2-е изд., испр. М. : Высш. шк., 2005. 544 с.

7. Калиткин Н. Н. Численные методы / под ред. А. А. Самарского. М. : Наука, 1978. 512 с.

© Браништи В. В., 2014

УДК 519.68

С. С. Волкова Научный руководитель - Л. В. Липинский Сибирский государственный аэрокосмический университет имени академика М. Ф. Решетнева, Красноярск

ОТБОР ИНФОРМАТИВНЫХ ПРИЗНАКОВ С ПОМОЩЬЮ НЕЙРОННЫХ СЕТЕЙ

Рассматривается алгоритм отбора информативных признаков, основанный на использовании нейронной сети, представляются результаты применения метода к практической задаче.

В настоящее время на практике трудно найти задачи регрессии или классификации, которые не требовали предварительной работы с данными, а также снижение размерности признакового пространства задачи. Задача эта не нова, но продолжает оставаться актуальной, так как существующие методы не всегда удовлетворяют запросам исследователей. В этой работе рассматривается снижение размерности признакового пространства за счет отбора информативных признаков, который осуществляется с помощью нейронных сетей. Информативность признака рассматривается относительно конкретной выходной переменной.

Благодаря отсутствию строгих требований к решаемой задаче (целевой функции) нейронные сети широко применяются к настоящему моменту [1], а также ищутся новые пути использования этого простого, но мощного инструмента анализа данных. В настоящей работе рассматривается метод оценки информативности (значимости) признаков путем последовательной фиксации их значений [2]. Идея этого метода основывается на следующем предположении: если признак является избыточным для построения регрессии или осуществлении классификации, то фиксация входа, соответствующего этому признаку, не приведет к существенному ухудшению значения целевой функции обученной нейронной сети по сравнению со значением целевой функции, полученном на

исходной выборке. Эта идея реализуется по следующему алгоритму: (1) Обучение нейронной сети; (2) Тестирование нейронной сети на экзаменующей выборке; (3) Вычисление среднего значения для каждой входной переменной; (4) Вычисления значения целевой функции при фиксировании каждого входа тестовой выборки по очереди; (5) Анализ значений целевой функции, отбор наиболее информативных признаков. Стоит отметить, что в такой формулировке пункта (3) содержится ограничение на применение метода: только для задач с ве щественными входными переменными, но для качественных переменных возможна замена среднего значения на наиболее часто встречаемое значение переменной.

Для исследования описанного метода была взята практическая задача, в которой необходимо оценить нагрузки на отопление и кондиционирование в зависимости от параметров строения: (1) относительная компактность, (2) площадь поверхности, (3) площадь стен, (4) площадь крыши, (5) высота, (6) ориентация, (7) площадь остекления, (8) расположение остекления. Объем выборки 768 объектов, на обучающую и тестовую выборка делилась случайным образом (доля обучающей 0,6), среднее значение признаков рассчитывалось по полной выборке. Для оценки эффективности метода в признаковое пространство вводился еще один признак, значение которого были сгенери-