CC BY
47№2(22) 2011
В. И. Малюгин, M. Е. Васильков
Непараметрический анализ стохастических систем с нелинейной функциональной неоднородностью1
В данной статье рассматриваются задачи анализа стохастических систем, описываемых нелинейными статистическими моделями с неоднородной функциональной формой в пространстве существенно зависимых признаков. Предполагается, что функциональная неоднородность моделей обусловлена различными классами состояний системы. Приводятсярезультаты аналитического и экспериментального исследования алгоритма классификации состояний системы, а также алгоритма прогнозирования зависимых переменных, основанных на непараметрической оценке многомерной плотности вероятностей с адаптивным гауссовским ядром.
Ключевые слова: многомерные модели, существенно зависимые признаки, функциональная неоднородность, многомерная непараметрическая оценка плотности, адаптивное гауссовское ядро, непараметрическая классификация и прогнозирование.
JEL classification: С14, С38.
При решении задач анализа, прогнозирования и управления на основе экономет-рических моделей экономических, технологических и производственных систем (далее — сложных систем) часто приходится сталкиваться со структурной неоднородностью моделей (Айвазян и др., 1989; Hardie, Simar, 2007; Hubler, Frohn, 2006). При описании сложных систем с помощью многомерных линейных по параметрам моделей регрессионного и авторегрессионного типа структурная неоднородность моделей вызывается скачкообразными изменениями параметров моделей, определяющих структуру зависимости между эндогенными и экзогенными переменными. Структурная неоднородность модели может быть обусловлена двумя основными причинами:
• наличием нескольких априорно предполагаемых режимов функционирования (классов состояния) сложных систем;
• структурными изменениями модели, вызванными внешними шоковыми воздейст-
Задачам анализа и прогнозирования экономических систем в условиях параметрической структурной неоднородности моделей посвящены работы автора (Малюгин, Харин, 1986; Малюгин, 2008а, 20086, 2009а).
1 Данная статья является расширенной версией доклада на международной конференции «Computer Data Analysis and Modeling», Минск, 2010 (Malugin, Vasilkov, 2010).
1. Введение
ВИЯМИ.
№2(22) 2011
На практике предположение о линейности модели по параметрам часто не подтвержда- |
ется. В связи с этим возникает проблема построения многомерных нелинейных моделей. ¡5
Параметрический вид таких моделей, как правило, точно не известен, и это приводит к не- &
обходимости использования непараметрических методов оценивания зависимостей, про- цц
гнозирования и классификации (Айвазян и др., 1985; Хардле, 1993). При построении мно- ^
гомерных эконометрических моделей приходится также сталкиваться с проблемой экзо- |
генности факторов, т. е. проблемой разбиения совместно используемых экономических пе- |
ТО
ременных на эндогенные (внутренние) и экзогенные (внешние по отношению к модели). § Таким образом, в общем случае эндогенно-экзогенная структура модели может быть также ^ точно не известна.
Рассматриваемая в работе многомерная статистическая модель имеет две существенные особенности. Первая состоит в том, что компоненты вектора признаков являются «существенно зависимыми» случайными величинами, совместное распределение вероятностей которых близко к вырожденному. Второй особенностью является неоднородность, обусловленная наличием нескольких режимов функционирования системы, каждому из которых соответствует своя модель зависимости признаков. Эта особенность интерпретируется как функциональная структурная неоднородность модели наблюдений. В общем случае допускается также неопределенность в разбиении вектора признаков на зависимые и независимые компоненты (эндогенные и экзогенные переменные). Если указанное разбиение известно, т. е. определена эндогенно-экзогенная структура модели, то рассматриваемые модели принимают вид многомерных нелинейных статистических зависимостей регрессионного типа.
В данной работе предполагается, что имеют место два режима функционирования сложной системы и, соответственно, два класса состояний, различающихся моделями статистических зависимостей для компонент случайного вектора признаков. Решаются две задачи анализа рассматриваемых систем: 1) задача прогнозирования (оценки) класса состояния системы в случае неизвестной эндогенно-экзогенной структуры вектора признаков; 2) задача прогнозирования эндогенных переменных по известному значению вектора экзогенных переменных для заданного класса состояния системы и известной эндогенно-экзогенной структуре вектора признаков.
Алгоритмы анализа сложных систем в обоих случаях основываются на использовании непараметрических ядерных оценок многомерных условных плотностей распределения наблюдений с адаптивным (переменным) гауссовским ядром (Малюгин, 1985). Для решения первой задачи используются непараметрические классификаторы, получающиеся подстановкой в оптимальное (в смысле минимума риска) байесовское решающее правило непараметрических ядерных оценок многомерных условных плотностей распределения наблюдений с адаптивным гауссовским ядром. При решении второй задачи прогнозное значение эндогенных переменных определяется как модальное значение непараметрической оценки условной плотности распределения вектора эндогенных переменных для заданного значения вектора экзогенных переменных и состояния системы. Приводятся результаты аналитического исследования алгоритмов, полученных в асимптотике усиливающейся статистической зависимости компонент вектора признаков и растущем объеме выборки. На тестовых модельных данных проводится сравнительный анализ предлагаемых алгоритмов с известными непараметрическими алгоритмами прогнозирования и классификации.
№2(22) 2011
2. Математическая модель наблюдений и задачи исследования
Модель «существенной зависимости». Пусть характеристики сложной системы в /-ом эксперименте описываются случайным вектором у1 который допускает разбиение
на подвекторы вида
У1
/
^, х = (хл,...,ХШ)'е^, = (2Я)'еZс^, (1)
где р = N + М, г = 1,...,п, Z С^м—ограниченнаяобластьв .
Компоненты вектора у1 Е^+м связаны моделью статистической зависимости
Т(у1 ) = Х -/(г,) = £,, I = 1,...,п, (2)
§ где: Т(•),/(•) —неизвестные достаточно гладкие векторные функции; ) Е^7 —
^ случайный вектор ошибок с нулевым математическим ожиданием и невырожденной кова-
о риационной матрицей 2 = (о^.) Е , где — семейство положительно определенных 5 симметричных матриц размерности N X N; случайные векторы . Е Z и Е^7 являются
>=а
0
1 л
§ и неслучайный аргумент соответствующей функции плотности распределения обознача-§ ются одним и тем же символом.
I
статистически независимыми и имеют плотности распределения рг (г) и соответст-
венно; разбиение (1) в общем случае неизвестно. Для простоты записи случайный вектор
С учетом сделанных предположений плотность распределения р (у) случайного вектора у1 (/ =1,...,п) имеетвид:
р (у) = Р,(х - / {г))рг (г), х Е^, 7 Е Z СШМ, у. (3)
«
0
1 '5 ф I
5
I
о
§ Для пояснения сути рассматриваемой проблемы статистического оценивания плотности
о вида (3) введем конкретизирующие предположения относительно плотностей распределе-
£ ния рг (г) и р^ Будем считать, что случайные векторы . Е Zи^j Е^7 имеют, соот-
1« ветственно, равномерное в ограниченной области Z и7-мерное нормальное распре-
ф »
5
деление с плотностями:
I 1
р. сю = т^щ Iz п» й ' 2)' ^ е ^Е^, (4)
| где п7 07, 2) — функция плотности 7-мерного нормального распределения с нуле-
§ вым вектором математического ожидания и ковариационной матрицей ; \,ь (г) и
mes{Z} < оо — соответственно индикаторная функция и 7-мерный объем (мера Лебега)
^ области Z.
ф §
га
Ц Согласно (3) и (4) плотность распределения случайного вектора у Е определяется
ас выражением:
80
I №
2(22) 2011
Р(у) = ^iZIz (z)nN (x\f (z),2) . (5)
Особенностью рассматриваемой модели данных, определяемой плотностью (3) и ее ча- ^
стным случаем (5), является предположение о малости дисперсии компонент случайного ё
вектора ошибок £е , которое в аналитических исследованиях формулируется следую- |
щим образом: §
I
1х(2)^ 0 или о2 = тах{ои} ^ 0. (6) 5;
¡=1,...,Ы ад
Асимптотика (6) означает усиливающуюся статистическую зависимость компонент вектора у1 (р > 1) при уменьшении дисперсий компонент вектора случайных ошибок
) ■ Условие (6) означает, что наблюдения {у1}(/' = 1,...,п) концентриру-
ются в пространстве ^р «вблизи» некоторой Л-мерной (N < р) гиперповерхности (многообразия) Г, определяемой тождеством Т (у) = 0Л. Данное тождество можно интерпретировать как некоторое нелинейное ограничение, которому удовлетворяют анализируемые переменные в устойчивом состоянии системы для определенного режима функционирования. При этом вектор рассматривается как случайное отклонение системы от этого состояния в /-ом эксперименте, обусловленное случайными и неконтролируемыми факторами. Таким образом, распределение вероятностей случайного вектора у , описываемое соотношениями (1)-(3), при выполнении условия (6) близко к вырожденному. На этом основании в работе (Малюгин, 1985) вектор у , удовлетворяющий условиям (1), (2), (6), называется случайным вектором с «существенно зависимыми» компонентами. Предположение о «существенной зависимости» компонент вектора признаков, очевидно, осложняет проблему оценивания плотности распределения данного вектора с помощью непараметрических ядерных оценок, использующих фиксированное ядро, поскольку в данном случае приходится оценивать распределения, близкие к вырожденным. Асимптотика (6), таким образом, означает не только усиливающуюся статистическую зависимость между компонентами вектора признаков, но и растущую сложность задачи оценивания плотности распределения вектора признаков.
Рассматриваемая модель данных допускает следующие интерпретации. В случае, когда разбиение вектора у на подвекторы эндогенных и экзогенных переменных известно, соотношение (2) представляет собой модель многомерной нелинейной регрессии. Поскольку функциональный вид зависимости в (2) не известен, то для анализа моделей типа (2) предлагается использовать непараметрические методы2, основанные на многомерной ядерной оценке плотности вектора признаков у . Предположение о малости дисперсии компонент случайного вектора ошибок в данном случае, как показывают проведенные исследования, делает предпочтительным (в смысле требуемого объема выборки) использование непараметрических ядерных оценок с адаптивным ядром.
Если разбиение (1) вектора у неизвестно, то описанная модель соответствует ситуации, когда вектор признаков у является избыточным, т. е. фактически необходимое
2 Проблема выбора между параметрической и непараметрической спецификацией модели регрессионного типа комментируется в (Racine, 2008).
№2(22) 2011
для описания состояния сложной системы число переменных (параметров) меньше размерности исходного пространства и совпадает с размерностью ^многообразия Г. Неизвестная величина N (N < р) при этом называется истинной размерностью (intrinsic dimensionality) пространства признаков (Фукунага, 1979). Подобные модели данных возникают в различных приложениях (см., например, (Granlund, Knutsson, 1995; Camastra, Vinciarelli, 2002)).
Следует также отметить, что предположения (4) используются в работах (Малюгин, 1985, 20096), посвященных аналитическому асимптотическому анализу непараметрических оценок плотности вида (3), а также основанных на этих оценках решающих правил. Краткое описание указанных результатов приводится в разделе 4. Заметим, что предположения (4), а, следовательно, и неизвестное на практике представление (5), при выборе функции ядра предлагаемой оценки плотности не используются. В то же время они не противоречат традиционным предположениям относительно объясняющих переменных и случайных ошибок в моделях регрессионного типа, к числу которых может быть отнесена рассматриваемая модель зависимости вида (2) при известном разбиении (1) вектора признаков yt (р > 1) § на эндогенные и экзогенные переменные. Как и предположения (4), асимптотика (6) усили-§ вающейся статистической зависимости компонент вектора признаков используется в разде-
t
^ ле 4 наряду с асимптотикой растущего объема выборки для формирования различных типов
о
о ситуаций, различающихся степенью статистической зависимости признаков и объемом вы-5 борки, в рамках аналитического исследования непараметрических классификаторов с фик-
ф
* сированным и адаптивным ядром.
0
1 л
Модель структурной функциональной неоднородности. Пусть сложная система харак-| теризуется случайным вектором у ЕЖР, описываемым моделью (1), (2), (6), и имеют место
s
§ два режима функционирования, которым соответствуют два класса состояний системы Й1
| и й2. Номер класса состояния системы в /-ом эксперименте описывается ненаблюдаемой случайной величиной у1 = г(у/)е 5 = {1,2} (/' =1,...,п) с распределением вероятностей
0 Р{у1 = а} = жа> 0 (а£ 5), л1 +ж2 = 1, параметры [жа, а Е 5} называются априорными вероятностями классов состояний системы.
5 Классам {Йа } соответствуют неизвестные функции {/а (г)}, уцовлетворяющис условию
ф
1
о §
15
о
О
£ -
§ которое означает, что для различных классов состоянии модели статистических зависимо-
ф »
5
S
функциональной структурной неоднородности модели наблюдений:
P (/1 (z) = f2 (z)) = 0, z Е Z, (7)
стей признаков различны с точностью до множества меры нуль. Условные плотности распределения ра (у) случайного вектора наблюдений у для классов состояний системы {Йа} имеют вид (3) при /(г) = /а (г) (т(у) = Та (у)), «Ё 5.
Априорная информация и задачи анализа. Относительно описания модели делаются следующие предположения:
• вероятностные характеристики классов ,ра (у), йё 5} неизвестны;
>s
S / г
о
® • эндогенно-экзогенная структура вектора признаков у = 1 IЕ^ + может быть из-
^ вестна, либо не известна; \ '
Ц • имеется классифицированная обучающая выборка наблюдений 7 = ) , доЦ пускающая разбиение на подвыборки наблюдений из классов {Йа}: У = и У2, где 1 Уа= )— выборка наблюдений из класса (йё 5, п = п1 + п2).
82
I №
2(22) 2011
Актуальными являются следующие задачи анализа рассматриваемых систем. |
1. Задача прогнозирования (оценки) класса состояния системы. Она заключается в опре- ¡§
делении класса состояния системы (режима функционирования) на основе классификации &
вновь поступающих наблюдений за системой к одному из заданных классов, т. е. в оценке но- цц
мера класса состояния системы vt =v^yi) Е S по наблюдаемому значению yt =
'x, ^
\z> I
8
(/ = п + 1, п + 2,...). Эндогенно-экзогенная структура вектора признаков при этом может быть неизвестна. ^
2. Задача прогнозирования эндогенных переменных для заданного класса состояния системы. Предполагается, что известна эндогенно-экзогенная структура вектора признаков
: . Задача состоит в прогнозировании вектора эндогенных переменных x Е^
по заданному значению вектора экзогенных переменных z Е Z .
щ
\z)
3. Методы и алгоритмы анализа состояния сложной системы
Приведем краткое описание непараметрической оценки плотности с адаптивным ядром и основанных на ней методов решения сформулированных выше задач.
Непараметрическая оценка плотности с адаптивным гауссовским ядром. Поскольку параметрический вид функций T(•),/(•), а также само разбиение вектора у на подвекторы неизвестны, то для оценивания плотности распределения р(у) по случайной выборке Y = (yj используется непараметрическая оценка плотности Ро-зенблатта-Парзена с многомерным гауссовским ядром, определяемая по формуле (Фу-кунага, 1979):
1 п
р (у ) = - 2 ПР (y\yj' h2H)' (8)
n j=1
где H,h — управляемые компоненты гауссовского ядра: Н — матрица гауссовского ядра; h = h(n) — коэффициенты сглаживания, удовлетворяющие условиям асимптотической несмещенности и состоятельности оценки плотности:
h(n) ^ 0, nh(n) ^ со, n . (9)
При построении оценки (8) наряду с задачей вычисления коэффициентов сглаживания h(n) приходится решать задачу выбора матрицы ядраН. Обычно в качестве Н используется либо фиксированная (единичная) матрица Н(1) , либо выборочная (по всей выборке) оценка ковариационной матрицы Н(2) (Фукунага, 1979).
Как показано в (Малюгин, 1985), если зависимость (2) является линейной Т{у)=в'у (вЕШР,р = М+1) и выполняются предположения (3)-(5), то оценка плотности р (у ) с матрицей Н = Н(2) (обозначается далее р(2) (у)) в асимптотике усиливающейся статистической зависимости (6) компонент вектора у имеет существенный выигрыш по сравнению с оценкой р(1) (у), использующей произвольную фиксированную матрицу
№2(22) 2011
Н1}. Так, для достижения оценками одной и той же точности в смысле среднего квадрата относительного смещения, оценкам р(2) (у) и рт (у) требуются объемы выборок п2 и п1, связанные соотношением
п2 = пуд 7 (0 <у<1), д =
ОН(1) О
ол
откуда следует, что в рассматриваемой асимптотике п2 с п1.
Коэффициенты сглаживания для оценки р(2) (у), оптимальные в смысле рассматриваемой в (Епанечников, 1969) относительной глобальной ошибки аппроксимации плотности, вычисляются по следующей формуле (см. (Малюгин, 1985)):
И0 = к0(п) = ф(р)п "+4, ф(р) =
а
¡5
о
о »
о.
0 »
5
ш
1
>=а
0
1 л
4
О $
£
>=а
0
1 >8
I
5
I
о §
15
о
О
8
0 ш
1 5
Р-1 \
р+ 4
(10)
На этом основании для оценивания плотности распределения р (у) в случае нелинейной зависимости компонент вектора у ЕЖР, определяемой соотношениями (1) и (2), была предложена процедура адаптивного выбора матрицы ядра. Адаптация в указанной процедуре достигается за счет использования для каждого наблюдения у1 (/ = !,...,п) своей матрицы ядра (локальной выборочной оценки ковариационной матрицы случайного вектора у ), вычисленной в некоторой окрестности наблюдения у1, обеспечивающей наилучшую линейную аппроксимацию нелинейной зависимости (2) в данной точке. Оптимальный размер локальной окрестности для точки у1, определяемый количеством попавших в нее точек т (/) из выборки У, находится из условия минимума Г-статистики (Андерсон, 1963), характеризующей степень множественной линейной зависимости компонент векто-
ра у<
в окрестности точек у1 (/ = 1,..., п) (при этом само наблюдение у1
в число т
О)
наблюдений не входит):
т(г) = аге тт (V
К„<к<п-1
) (Р < К0 < п),
V('' > =.
15 0 'к)
П-
/=1
(11)
,а,к)
к-1
1 (У,
■у*>)(у,
■у °'к >)',
у, ео ц,к)
V - -1 2
Л у, еО(/,к)
У1
где 0(/, к) —локальная окрестность точки у1 радиуса к, обеспечивающая наилучшую линейную аппроксимацию нелинейной зависимости (2) в точке у1 (/ = 1,...,п).
>8 £
0 щ
1 &
§
с 1
Таким образом, непараметрическая оценка плотности р (у) с адаптивным гауссовским ядром по случайной выборке У = {у1} (/' = 1,...,п), удовлетворяющей предположениям (1) и (2), определяется соотношениями:
Р {Чу ) = 1 2 (у\у,, V Н <'■"<'»)
(12)
2
1
№2(22) 2011
О,"(')) = 1 V Л. _ ^ О а »V _ ^ С Mi »V - О а» = 1 V v т(л_ 1 Zj У )\yj у )>у тл-\ Zj yj'
т\Ч 1 у,eo(iMi)) т\1' у,ео(;,та))
в случае известном эндогенно-экзогенной структуры вектора признаков у ■
\
85
'-у. еО(г ,т(г)) ,Н\Ч yt SO (г ,т(г))
Щ
UÜ
где коэффициенты сглаживания ht = h0(m(i)), т. е. вычисляются по формуле (10) с заменой ё п на т(/), i = 1,...,п. |
Алгоритм прогнозирования (оценки) класса состояния сложной системы. Как известно (Айвазян и др., 1989; Харин, 1992), оптимальное в смысле минимума риска байесовское решающее правило (БРП) классификации наблюдений из классов } с вероятностными характеристиками {л:а, ра(у), аЕ Б} имеетвид:
, ч [1, если С (у) < 0 , . [О, если и < 0,
^0Чу) = 1(ОД) + 1 = Г п,где1(и) = ]1' > . (13)
[2, если С(у) > 0 [1, если и > 0
где О(■) — байесовская дискриминантная функция, определяемая соотношениями:
в(у) = с2р2 (у) - С1Р1 (у), С1 = Щ (м^ - М}1), с2 = (1-^1 )(^21 - ), (14)
а Ж = ) (а,/3 Е Б) — заданная матрица потерь.
Для оценки класса состояния сложной системы в условиях параметрической неопределенности традиционно применяются подстановочные байесовские решающие правила (подстановочные БРП), использующие вместо неизвестных условных плотностей распределения {ра(у), «Е <$} их непараметрические оценки. Согла сно (13), подстановочные БРП с1 ^ (у), I = 1,2,3, использующие вышеописанные оценки {)}, I = 1,2,3, имеют вид:
= 1(&1}(У)) + 1, &1\У) = с2р20(у) - ¿^(у), (15)
где при вычислении {са} по формуле (14) используются оценки априорных вероятностей классов ла= па / п (а = 1,2).
Алгоритм прогнозирования эндогенных переменных. В качестве прогнозного значения вектора эндогенных переменных х Е^ (N > 1) при заданных значениях аЕ Б иг Е Z
s
Щ
с плотностью распределения ра(у) = ра(х, z) предлагается использовать максимальное значение оценки условной плотности распределения ра (х | z), т. е. оценку модыусловного распределения эндогенных переменных:
Р(У> (х, Z)
x = argmax ра{х | z ) = arg max '— , (16)
x " x p\z)
где p^ (x, z) —оценка совместной плотности распределения случайных векторов x, z вида (12), р (z) — непараметрическая оценка с фиксированным ядром частной плотности
\z!
№2(22) 2011
распределения р (z). Проблемы построения и применения оценок условной плотности распределения обсуждаются в (Hall et al., 2004).
В качестве альтернативного непараметрического алгоритма прогнозирования в случае одной эндогенной переменной x Е^1 (N = 1, р = M + 1) используется прогноз на основе ядерной оценки функции регрессии с некоторой функцией ядра K(u) (и Е Z) (Айвазян и др., 1985; Thomas, 1997). Для наиболее часто используемого на практике гауссовского ядра данная оценка определяется соотношениями:
Yx kÍ ^ ) , ,
- ^ \ h ) . ч ( u'u \ x = f (z) = -гЧ K(u) = expí—— ), u E Z . (17)
^(V ^ 1 2
§ Ключевой проблемой при использовании оценки (17), как известно (Айвазян и др., 1985), § является выбор параметра масштаба h, определяющего размер локальной окрестности, ^ по наблюдениям из которой оценивается функция регрессии в точке z E Z .В настоящей о работе рассматриваются два варианта значений этого параметра: 1) фиксированное зна-5 чение h0 для всей области; 2) локальные значения {h0(m(i))}, определяемые по формулам (10) и (11).
с u Ï
4. Результаты асимптотического анализа решающих правил
В качестве критериев оптимальности подстановочных решающих правил <3^ (у), / = 1,2,3,
1 (А
с учетом вида (2) зависимости компонент вектора у = Е^ЛГ+М, (х Е X = Ш^, г Е Z С )
5 7
® используются следующие функционалы риска (средних потерь):
о
§ • условный риск (условное математическое ожидание потерь) в фиксированной точ-о ке 7 Е Z:
5
0
1
Ф а£Я X
Г 5
rl0 (z) = E, {Ríl) (z,Y)} , ЯЩ> (z,Y) = "(«,d> (y% (x - f (z))dx ; (18)
a£S X
• условный e -риск в фиксированной точке z E Z :
r«(£, z ) = ET {яЦ)(е, z,Y)}(l = 1,2), R«(£, z, Y) = 2^a Í w(a, d('\y))p,(x - fa{z))dx,
aes T(e,z)
§ где T (e, z)c Z —ограниченнаяобласть,удовлетворяющаяусловию
|Гп(;)(£, 7)-гШЩ<8 , (19)
здесь величина е>0 задает точность приближения 7) к г^ (г). Согласно (18), ис-
пользование условного £ -риска обеспечивает возможность оценки условного риска клас-
86
I №
2(22) 2011
сификации с заданной точностью, определяемой величиной е (0 < е < 1). При е^ 0 точ- §
ность вычисления условного риска возрастает. В случае «антиединичной» матрицы потерь ¡5
Ж (когда = 1 — дар, где дщв — символ Кронекера) функционалы (17) и (18) имеют смысл &
условных вероятностей ошибок классификации. ^
В соответствии с описанной выше методологией сравнительного анализа непараметри- ё
ческих оценок плотности, рассматривается случай линейной зависимости компонент век- |
тора у ЕЖР : |
та (Я) = х, - Ва =£,, г = 1,...,п (й£ 5)
где Ва — неизвестная фиксированная N X М — матрица, удовлетворяющая условию функциональной неоднородности Р 2 = В2г) = 0, г Е Z .
Приведем результаты сравнительного анализа риска двух подстановочных решающих правил d^ (у) и d^ (у), использующих соответственно фиксированную матрицу ядра Н(1) ёЗ^ и вычисленную по всей выборке матрицу Н(2) Е^ на основе характеристики
Ьтп (£, г) = г)-г'2> (£, г) (г Е Z) , (20)
где ^(е,г), т(2) (е,г) —условные е-риски решающих правил d(l\y) и d(2^ (у) в точке г Е Z . Очевидно, чем больше Дг (е, г), тем больший выигрыш дает решающее правило
* (2)(^ )■
В (Малюгин, 20096) получены асимптотические разложения условного е-риска рассматриваемых решающих правил при одновременном использовании следующих трех асимптотик:
A) к(п) ^ 0, пк(п) ^ оо5 п (растущий объем обучающей выборки);
Б) о2 = тш{<7.. , где 2"1 = (о„) (усиливающаяся статистическая зависимость ком-
1=1,...,N 1
понент вектора признаков);
B) е^О (повышающаясяточностьприближения Гп1 ^(е,г) к Гп1 )).
Введем величину /3(п, о) = ок(п) и рассмотрим последовательности однотипных ситуаций, которые могут иметь место в асимптотиках А и Б. В зависимости от соотношения между величиной о, характеризующей степень зависимости признаков, и величиной к(п), зависящей от объема выборки, эти ситуации можно интерпретировать следующим образом: С1) большой объем выборки, если ¡3(п,о) ^ 0; С2) малый объем выборки, если ¡3(п, д) к (0 <!<»); СЗ) очень малый объем выборки, если /3(п, о) ^ °°.
В (Малюгин, 20096) показано, что преимущество решающего правила d^ (у) над правилом d^ (у) по точности, характеризуемое величиной Агп (е,г), для ситуаций С1, С2 и СЗ определяется соотношениями:
С1) Агп (е, г0 (нетпреимущества);
С2) Агп(е,г0 (естьнекотороепреимущество);
СЗ) Агп (е, г) (есть значительное преимущество).
Таким образом, подстановочное решающее правило d^ (у) в ситуациях С2 и СЗ, возникающих в случае малого объема выборки, проигрывает по точности решающему прави-
№2(22) 2011
лу d(2) (у), и этот проигрыш обусловлен увеличением смещения оценок плотности с фиксированным ядром. Аналогичным образом можно объяснить и более высокую точность прогнозов в виде моды условного распределения (16) по сравнению с прогнозами, полученными с помощью ядерной оценки функции регрессии (17) с постоянным параметром масштаба.
5. Результаты экспериментального исследования алгоритмов
Численные эксперименты преследуют две цели: 1) иллюстрация работоспособности и эффективности алгоритмов, основанных на непараметрической ядерной оценке многомерной плотности распределения наблюдений с адаптивным гауссовским ядром; 2) иллюстрация корректности результатов аналитических исследований указанных алгоритмов. В качестве альтернативы предлагаемым алгоритмам классификации и прогнозирования рассматриваются алгоритмы, использующие ядерные оценки плотности и функции регрессии § с фиксированным гауссовским ядром.
§ Прогнозирование (оценка) класса состояния сложной системы. В рамках описанной выше ^ модели зависимости признаков полагается: Ь- 2, N=1, М— 2; объемы обучающих выборок о классов п = п2 = п / 2; объем экзаменационной выборки равен п3; априорные вероятности 5 классов л1 =л2 = 0.5; у'а1 = (х'а1, 1, ; 2) Е^3 — составной вектор признаков для клас-
* са й£{1,2} , компоненты которого связаны статистической моделью зависимости вида | X,; = /а (га,1,1,^,2) + £*,, , гДе (^мд, ^,2) е ъ = [а,Ъ]Х[а,ь] И — взаимно независи-[5 мые случайные величины, имеющие соответственно равномерный в области Z = [а, Ь] X [а, Ь] § инормальный N1 (0, о2) законыраспределения.
| Полагается, что для фиксированных (г1, г2) Е Z условие функциональной неоднородности имеет вид: /2 (г1, г2 ) = / (г1, г2 ) + б, где ¿Е^1 —величина, характеризующая степень разделимости классов состояний: при 6^0 классы состояний системы становятся трудно различимыми.
| На тестовых примерах с различными функциями / (г1,г2), / (г1,г2) исследуется точ-
* ность следующих алгоритмов классификации наблюдений за системой с целью оценки (про-§ гнозирования) класса состояния системы:
0 • БРП (13), использующие условные плотности распределений вида (5) (алгоритм АО); £ • непараметрический классификатор d^ (у), использующий единичную матрицу гаус-1« совскогоядра Н(1) (алгоритмА1);
| • непараметрический классификатор d^ (у), использующий оценку матрицы гауссов-<3 ского ядра Н(2) (алгоритм А2);
¡3 • предлагаемый непараметрический классификатор d® (у), использующий локальные м выборочныеоценкиматрицыядра {Н(алгоритмАЗ).
В качестве характеристик точности классификации используются оценки безусловной
* вероятности ошибок по обучающей выборке
1 Р{1)= 1 (Р(0 + ), / = 0,1, 2,3, <1 2
| где р1), а = 1,2} — оценки условных вероятностей ошибок по обучающей выборке для
Ц классов и аналогично определяемые оценки безусловной вероятности ошибок по эк-
I заменационной выборке Р^ =— (р^ + Р21^), / = 0,1, 2,3.
88 у =
Теория и методология •
№2(22) 2011
Приведем результаты экспериментального исследования рассматриваемых алгоритмов |
для двух тестовых примеров (рис. 1): ¡§
§
1 вд
а) Л (21,22 ) = - (г2, + ), 6 = 1, а2 = 10"4, [а; Ь] = [-5; 5]; £
4 1
б) Л1 (г, г2 ) = 8!П(2Я21 ), <5 = -, а2 =10"2, [а;Ь] = [-1;1].
2 I
I
5: со
а) б)
Рис. 1. Графики функции х = Л1 (г1, г2) для тестовых примеров а) и б)
В таблицах 1 и 2 содержатся усредненные по 10 независимым прогонам оценки вероятностей ошибок альтернативных алгоритмов для тестовых примеров а) и б) соответственно.
Таблица 1. Оценки вероятностей ошибок для тестового примера а)
п пз Алгоритмы Р{,) (1 = 0,1,2,3) Р(0 (/ = 0,1,2,3)
200 400 АО 0.000 0.000
А1 0.268 0.230
А2 0.298 0.243
А3 0.040 0.080
400 700 АО 0.000 0.000
А1 0.134 0.144
А2 0.186 0.171
А3 0.010 0.030
600 1000 АО 0.000 0.000
А1 0.113 0.097
А2 0.158 0.136
А3 0.008 0.016
800 1300 АО 0.000 0.000
№2(22) 2011
Таблица 2. Оценки вероятностей ошибок для тестового примера б)
s
¡5
о о t
5
а.
0 t
5
ш
1
>s
0
1 л
4
о
5 ?
£
>S
0
1
>s
I
s
Si
I о S
IS
о s
0
1
0
1
s
>s
s
0 u
1
s &
§
с 1
n П3 Алгоритмы Р(1) (1 = 0,1,2,3) Рw (/ = 0,1,2,3)
400 500 АО 0.051 0.038
Л1 0.230 0.232
A2 0.195 0.168
Л3 0.054 0.084
600 800 АО 0.059 0.073
Л1 0.202 0.218
Л2 0.152 0.173
A3 0.028 0.085
800 1100 АО 0.064 0.069
Л1 0.178 0.178
Л2 0.136 0.132
Л3 0.021 0.046
Прогнозирование эндогенных переменных. Целью экспериментов является сравнительный анализ точности двух типов прогнозов: прогнозов в виде оценки моды условного распределения (16) (алгоритм В1) и прогнозов, полученных на основе оценки функции регрессии (17) с постоянным параметром масштаба (алгоритм В2). В качестве критерия точности прогнозов используется среднеквадратическая ошибка (root mean square error — RMSE):
RMSE = - J (x; - x; )2 .
К "3 ;=1
В таблице 3 содержатся усредненные по 10 независимым прогонам значения ошибки прогноза ЯМБЕ для альтернативных алгоритмов в условиях двух тестовых примеров:
в) Л (г ) = ехр{2}, а2 =10"2, [а; Ь] = [0;2];
г) Л(г) = *ш(пг), о2 =10"2, [а;Ь] = [0;2],
где в обоих случаях п3 = 200, к = п 7, у = 03. Таблица 3. Значения ошибки прогноза ЯМБЕ
n Алгоритмы Пример в) Пример г)
25 В1 0.7513 0.5716
В2 0.9549 1.4024
50 В1 0.2849 0.3486
В2 0.5629 0.7523
100 В1 0.2090 0.2330
В2 0.3211 0.4365
200 В1 0.1412 0.1433
В2 0.2175 0.1897
400 В1 0.1339 0.1361
В2 0.1159 0.1108
№2(22) 2011
6. Заключение
о
Si
л
Сравнительный анализ точности рассматриваемых алгоритмов в условиях существенно
зависимых признаков позволяет сделать следующие выводы: ^
1) алгоритм, реализующий непараметрический классификатор с адаптивным гауссовским ё ядром, имеет более высокую точность классификации по сравнению с непараметрически- | ми классификаторами, использующими фиксированное ядро, при этом выигрыш в точности |
CQ
классификации увеличивается с возрастанием степени статистической зависимости призна- § ков; с ростом объема обучающей выборки непараметрический классификатор с адаптивным ^ ядром демонстрирует свойство состоятельности (точность классификации приближается к точности БРП);
2) предлагаемый алгоритм прогнозирования на основе непараметрической оценки моды условной плотности допускает построение многомерных прогнозов (N >1) ив одномерном случае (N = 1) может иметь преимущество по точности прогнозирования перед непараметрической ядерной оценкой функции регрессии в условиях малой обучающей выборки;
3) результаты экспериментов согласуются с результатами аналитических исследований предлагаемых алгоритмов оценивания и классификации при растущем объеме обучающей выборки и усиливающейся статистической зависимости компонент вектора признаков.
В силу известного недостатка непараметрических ядерных оценок плотности (так называемого «проклятья размерности» (Silverman, 1986)), заключающегося в значительном росте требуемого объема выборки при увеличении размерности пространства признаков, их практическое применение для больших значений^ может быть невозможно. В то же время, в рамках рассматриваемой модели данных использование предлагаемых непараметрических ядерных оценок многомерных плотностей с адаптивным ядром позволяет в некоторой степени сократить требуемый объем данных.
Айвазян С. А., Енюков И. С., Мешалкин Л. Д. (1985). Прикладная статистика. Исследование зависимостей. М.: Финансы и статистика.
Айвазян С. А., Бухштабер В. М., Енюков И. С., Мешалкин Л. Д. (1989). Прикладная статистика. Классификация и снижениеразмерности. М.: Финансы и статистика.
Андерсон Т. (1963). Введение вмногомерный статистический анализ. М.: Физматгиз.
Епанечников В. А. (1969). Непараметрическая оценка многомерной плотности вероятностей, Теория вероятностей и ее применения, 14 (1), 156-161.
Малюгин В. И. (1985). Об оценивании плотности случайных векторов с существенно зависимыми компонентами. ВестникБГУ, Сер. 1, 2, 41-44.
Малюгин В. И., Харин Ю. С. (1986). Об оптимальности классификации случайных наблюдений, различающихся уравнениями регрессии. Автоматика и телемеханика, 7, 35-46.
Малюгин В. И. (2008а). Дискриминантный анализ многомерных зависимых регрессионных наблюдений в условиях структурной параметрической неоднородности моделей. Информатика, 3,
Список литературы
17-28.
№2(22) 2011
Малюгин В. И. (20086). Статистический анализ смесей распределений регрессионных наблюдений. Информатика, 4, 79-88.
Малюгин В. И. (2009а). Методы анализа эконометрических моделей со структурной неоднородностью. В кн.: Теория вероятностей, случайные процессы, математическая статистика и приложения. Минск. БГУ, 87-95.
Малюгин В. И. (20096). Асимптотический анализ риска непараметрической классификации в случае существенно зависимых признаков. Известия НАНБеларуси, Сер. 1.: Физ. Мат. Информ., 3, 10-23.
Фукунага К. (1979). Введение в статистическую теориюраспознавания образов. М.: Наука.
Хардле В. (1993). Прикладная непараметрическаярегрессия. М.: Мир.
Харин Ю. С. (1992). Робастность в статистическом распознавании образов. Минск: Университетское.
Camastra F., Vinciarelli А. (2002) Estimating the intrinsic dimension of data with a fractal-based method. IEEE Transaction on Pattern Analysis and Machine Intelligence, 24 (10), 1404-1407.
Granlund G. H., Knutsson H. (1995). Signal processing in computer vision. Kluwer Academic Publishers.
S
¡5
o
0 t J5
a Hall P., Racine J. S., Li Q. (2004). Cross-validation and the estimation of conditional densities. Journal x
5
u
1
>s
0
1 ■0 c;
o s
| eling», Minsk. Vol. 1,81 - 84.
■fr Racine J. S. (2008). Nonparametric econometrics: A primer. Foundations and Trends in Econometrics, >s
0
1
»s
I
¡1 Hall. <u I
o §
IS
o s
0
1
0 u
1
s
0
1 o
M
s
5
of American Statistical Association, 99 (468), 1015-1026.
Hardle W., Simar L. (2007). Applied multivariate statistical analysis. Springer. Hubler O., Frohn J. (2006). Modern econometric analysis: surveys on recent development. Springer. Malugin V. I., Vasilkov M. E. (2010). Nonparametric analysis of stochastic systems with nonlinear functional heterogeneity. Proceedings of the 9th International Conference «Computer Data Analysis and Mod-
3 (1), 1-88.
Silverman B. W. (1986). Density estimation for statistics and data analysis. London: Chapman and
Thomas P. R. (1997). Modern regression methods. John Wiley.
>s
5
u u
s
6
§
с u I
92
