Аппроксимация многомерных функций Текст научной статьи по специальности «Математика»

ISSN 0868-5886

НАУЧНОЕ ПРИБОРОСТРОЕНИЕ, 2010, том 20, № 2, c. 82-92

ТЕОРЕТИЧЕСКИЕ ИССЛЕДОВАНИЯ

УДК 681.519

© Е. Ю. Бутырский, И. А. Кувалдин, В. П. Чалкин

АППРОКСИМАЦИЯ МНОГОМЕРНЫХ ФУНКЦИЙ

Предлагается представление непрерывной функции нескольких переменных в виде взвешенной суммы одномерных функций, определенных на обобщенном базисе, сформированном как линейная суперпозиция аргументов исходной функции. Рассматриваемый подход адаптирован к структуре оптимального фильтра и является основой теории сплайн-фильтрации, развиваемой авторами, и может быть использован при решении задачи приема сигналов на фоне шумов и помех, описываемых нелинейными стохастическими дифференциальными уравнениями. В дальнейших публикациях планируется более подробно рассмотреть эти вопросы.

Кл. сл.: аппроксимация, многомерные функции, расширенный базис, сплайн-фильтрация, нейронные сети

ВВЕДЕНИЕ

В статье рассматривается подход, основанный на представлении непрерывной многомерной нелинейной функции в виде линейной суперпозиции одномерных функций, аргументами которых являются аргументы исходной функции или их линейная комбинация. Такое представление развивает идеи, лежащие в основе теории искусственных нейросетей, а также ряда теорем А.Н. Колмогорова и В.И. Арнольда, в соответствии с которыми любая многомерная непрерывная функция может быть представлена в виде сумм и произведений одномерных функций. Преимущество рассматриваемой аппроксимации состоит в возможности согласования представления со структурой фильтра Калмана—Бьюси, или фильтра второго порядка, т. к. позволяет легко перейти к независимой по каждой координате одномерной сплайн-аппроксимации (линейной или квадратичной). Получаемый при этом субоптимальный фильтр является фильтром с параметрами, значения которых меняются в зависимости от оценки состояния динамической системы.

АППРОКСИМАЦИЯ ФУНКЦИЙ МНОГИХ ПЕРЕМЕННЫХ И 13-Я ПРОБЛЕМА ГИЛЬБЕРТА

Проблема аппроксимации функции многих переменных имеет давнюю предысторию и даже входит в состав 23 проблем математики, поставленных в начале ХХ века Д. Гильбертом. С точки зрения практики, важность этой проблемы в настоящее время во многом определяется тем, что усложнение математических моделей, описывающих реальные явления, так или иначе, приводит к появлению в них сложных многоаргументных

функций, вычисление которых требует построения громоздких алгоритмов и значительных вычислительных затрат. С другой стороны, она имеет важное теоретическое значение, поэтому ей уделяли внимание многие великие математики. Но только в 50-х годах прошлого века проблема точного представления функций многих переменных нашла свое решение. Основной вклад внесли советские математики А.Н. Колмогоров и В.И. Арнольд.

В общей постановке задача точного представления функций многих переменных составляет существо 13-й проблемы Гильберта. Гильберт полагал, что точно представить функцию многих переменных в виде суперпозиции функций меньшего числа переменных невозможно.

В ряде своих работ А.Н. Колмогоров и В.И. Арнольд доказали неоднозначность решения проблемы Гильберта, а также получили теоремы, опровергающие тезис Гильберта [1, 2] для класса непрерывных функций. Такими теоремами являются:

• теорема о возможности представления непрерывных функций нескольких переменных суперпозициями непрерывных функций меньшего числа переменных;

• теорема о представлении любой непрерывной функции трех переменных в виде суммы функций не более двух переменных;

• теорема, в соответствии с которой любую непрерывную функцию п переменных можно получить с помощью операций сложения, умножения и суперпозиции непрерывных функций одного переменного.

Впоследствии эти результаты неоднократно уточнялись и развивались [3-8]. В частности, в работе [9] излагается метод построения аппрокси-

маций многомерных функций, основанный на линейных преобразованиях ее аффинных сечений. Метод позволяет приближать функцию многих переменных с помощью композиций функций одной переменной, имеющих простую геометрическую интерпретацию. В этом случае удается формализовать и использовать информацию о качественном поведении сечений многомерной функции. Наряду с полной формой представления функций многих переменных в работе предложен также ряд усеченных форм и, в частности представления многомерной функции или только в виде суммы одномерных функций, или их произведения. Общее количество функций, участвующих в представлении, определяется выражением N = п2 + п -1, где п — общее число переменных. Данный подход был положен в основу компьютерной программы, позволяющей решать задачи аппроксимации нелинейных многомерных зависимостей по результатам их неупорядоченных наблюдений в отдельных точках с учетом информации об их поведении вдоль отдельных переменных.

Рассмотрим теорему Колмогорова, которая завершает серию исследований для точного представления многомерных непрерывных функций.

Теорема Колмогорова. Каждая непрерывная функция п переменных, заданная на единичном кубе п-мерного пространства, представима в виде

f ( *

п ) = 1 К

9=1

I ( ( ХР )

,Р=1

(1)

могоровым представления имеют важное теоретическое значение и носят фундаментальный характер, функции, с помощью которых они реализуются, называют "функциями-монстрами", т. к., будучи непрерывными, они ни в одной точке не дифференцируемы, и их невозможно даже представить графически.

С другой стороны, известно, что любой многочлен от многих переменных может быть получен из одного произвольного нелинейного многочлена от одного переменного с помощью линейных операций и суперпозиции [7, 10, 11] .

Но кроме вопроса о точном представлении существует еще одна задача — об аппроксимации многомерных функций совокупностью одномерных. Несомненно, что для практических нужд эта задача является гораздо более важной и интересной, т. к. вычисление большинства функций производится приближенно даже при наличии "точных" формул.

Приближение функций многочленами и рациональными функциями имеет историю, еще более давнюю, чем проблема точного представления. Знаменитая теорема Вейерштрасса утверждает, что непрерывную функцию нескольких переменных f (х1, х2, ..., хп) на замкнутом ограниченном множестве Q можно равномерно приблизить последовательностью полиномов: для любого е > 0 существует такой многочлен Р (х1, х2, что

хп ) ,

где функции К9 (и) непрерывны, а функции рр (хр), кроме того, еще и стандартны, т. е. не зависят от выбора функции f.

Таким образом, в соответствии с теоремой Колмогорова все непрерывные функции многих переменных могут быть получены из непрерывных функций одного переменного с помощью линейных операций и суперпозиции.

В частности, каждая непрерывная функция двух переменных х, у может быть представлена в виде

■Г (х, у) = 1 К ((х) + ¥д (у)]. (2)

9 =1

До сих пор речь шла о точном представлении функций многих переменных с помощью функций одного переменного. Оказалось, что в классе непрерывных функций такое представление возможно, а в классе дифференцируемых и аналитических функций точного представления не существует. Несмотря на то что предложенные А.Н. Кол-

ЗД / ( ^ х2

2

г)-Р ( х

|< е.

Чтобы сформулировать обобщения и усиления теоремы Вейерштрасса, необходимо перейти к несколько более абстрактному языку. Рассмотрим компактное пространство X и алгебру С (X) непрерывных функций на X с вещественными значениями.

Обобщением теоремы о возможности равномерного приближения непрерывных функций многочленами является теорема Стоуна [7, 10, 11].

Теорема Стоуна. Пусть E с C(X) — замкнутая подалгебра в C (X), I е E и функции из E разделяют точки в X, т. е. для любых различных х, у е X существует такая функция g е E, что

g ( х ) = g ( у ). Тогда E = C ( X).

Теорема Стоуна обобщает теорему Вейерштрас-са по двум направлениям.

1. Рассматриваются функции на произвольном компакте, а не только функции многих действительных переменных.

х

х

х

п

2. Доказано утверждение, что даже для функций одного переменного (не говоря уже о многих), плотно не только множество многочленов от координатных функций, но вообще кольцо многочленов от любого набора функций, разделяющих точки.

Теорема Стоуна дает конструктивный метод построения таких обобщений. Для этого необходимо:

• взять произвольный набор функций, разделяющих точки;

• построить кольцо многочленов от них;

• получить плотное в С (X) множество функций.

Кроме аппроксимации функций многочленами и их обобщениями из колец функций, разделяющих точки, в последнее время все большее внимание уделяется приближению функций многих переменных с помощью линейных операций и суперпозиций функций одного переменного. Такое приближение осуществляется специальными формальными "устройствами" — нейронными сетями. Каждая сеть состоит из формальных нейронов. Нейрон получает на входе вектор сигналов х, вычисляет его скалярное произведение на вектор весов а и некоторую функцию одного переменного р(х, а). Результат рассылается на входы других

нейронов или передается на выход. Доказан ряд фундаментальных теорем [4, 7, 10, 11] об аппроксимации непрерывных функций многих переменных нейронными сетями с использованием практически произвольной непрерывной функции одного переменного. Таким образом, нейронные сети вычисляют суперпозиции простых функций одного переменного и их линейных комбинаций.

В теории аппроксимации и представлении многомерных функций нейросетями, большое значение играет обобщенная аппроксимационная теорема Стоуна, естественным образом охватывающая и классическую теорему Стоуна, и аппроксимацию функций многих переменных суперпозициями и линейными комбинациями функций одного переменного.

Чтобы получить требуемое обобщение, перейдем от рассмотрения колец функций к изучению их алгебр, замкнутых относительно некоторой нелинейной унарной операции.

Пусть Е с С (X) — линейное пространство, С (R) — пространство непрерывных функций на действительной оси R, f е С (R) — нелинейная функция, и для любого g е Е выполнено f (g )е Е. В этом случае будем говорить, что Е замкнуто относительно нелинейной унарной операции f .

Очевидный пример: множество функций п переменных, которые можно точно представить, используя заданную функцию одного переменного и линейные функции, является линейным пространством, замкнутым относительно нелинейной унарной операции f .

Замечание 1. Линейное пространство Е с С (X) замкнуто относительно нелинейной

операции f (х) = х2 тогда и только тогда, когда

Е является кольцом.

Действительно, имеет место равенство:

^=2

(f+g )2 - f2 - g2

поэтому для линейно-

го пространства Е с С (X) замкнутость относительно унарной операции f (х) = х2 равносильна

замкнутости относительно произведения функций.

Согласно приведенному замечанию, теорема Стоуна может быть переформулирована так.

Обобщенная теорема Стоуна. Пусть Е с С (X) — замкнутое линейное подпространство в С (X), I е Е , функции из Е разделяют точки в X и Е замкнуто относительно нелинейной унарной операции f е С (R), тогда Е = С (X) .

Таким образом, обобщение теоремы Стоуна состоит в замене f (х) = х2 на произвольную нелинейную непрерывную функцию.

Возвращаясь к вопросу о представлении функций многих переменных с помощью функций меньшего числа переменных, следует еще раз напомнить, что существуют два вопроса.

1. Можно ли получить точное представление функции многих переменных с помощью суперпозиции функций меньшего числа переменных?

2. Можно ли получить сколь угодно точную аппроксимацию функции многих переменных с помощью некоторых более простых функций и операций?

Ответ на первый вопрос дает теорема Колмогорова, в соответствии с которой эти функции должны быть непрерывными и недифференцируе-мыми, т. е. имеют довольно экзотический вид и их невозможно реализовать аппаратными или программными средствами.

При решении второго вопроса свобода в выборе функций одного переменного при том же ограничении (один набор функций одного переменного для приближенного представления всех функций многих переменных) очень велика. Для этого, можно использовать практически любую нелинейную функцию и достаточно всего одной.

Необходимо отметить, что известные методы

представления функций многих переменных в упомянутых выше работах [1-3, 5, 8, 10] в целом разработаны только в рамках решения задачи приближения без учета характера задач, в которых эти приближения могут быть использованы. В частности, в теории оценивания и фильтрации случайных процессов замкнутые решения существуют только для определенного класса функций (линейные, квадратичные). Здесь следует упомянуть значительные вычислительные затраты и необходимость решения этих задач в реальном масштабе времени. Поэтому в статье решается задача представления многомерной функции, которое носит однородную структуру, т. е. состоит из суперпозиции одномерных функций одинакового вида (степенного), которое допускает проведение покомпонентной независимой сплайн-аппроксимации и адаптировано к структуре оптимального фильтра первого или второго порядка.

АППРОКСИМАЦИЯ МНОГОМЕРНЫХ ФУНКЦИЙ НА РАСШИРЕННОМ БАЗИСЕ АРГУМЕНТОВ

Основные результаты исследований, проведенных в статье, содержатся в теоремах представления функций многих переменных в виде взвешенной суммы одномерных степенных функций одного порядка, определенных на расширенном базисе аргументов, каждый из которых является линейной суперпозицией исходных независимых переменных. Полученные результаты позволяют в дальнейшем перейти к сплайн-представлениям, которые могут быть использованы в теории оценивания при построении оптимальных и субоптимальных фильтров. Рассмотрим эти теоремы.

Теорема 1. Двумерная непрерывная по своим аргументам функция f (х,у) может быть с любой степенью точности представлена в виде следующего ряда:

f (х, у)« Рп (х, у ) = Qn (х, у ) =

т

= УК (а:х + Ь:У + dj )П,

(3)

где f (.) — непрерывная функция, заданная над полем R (f е R); ау, Ьу, dj — задаваемые целые коэффициенты (ау, Ьу, dj е N); Kj — определяемые коэффициенты, Kj е R; х, у — переменные, х, у е R; Рп (х, у) — полином п -й степени.

Доказательство. Нетрудно показать, что общее число слагаемых аппроксимирующего дву-

мерного ряда может быть вычислено по следующей формуле

т =

(п +1)( п + 2)

2 :

где п — наивысшая степень аппроксимирующего ряда.

В рекуррентном виде это выражение можно записать как

^ = + п + 1,

где Sn_1 — число членов степенного ряда (п - 1)-й степени.

Для непосредственного доказательства теоремы воспользуемся методом неопределенных коэффициентов. Возведем в степень п выражение в круглых скобках, а затем сравним коэффициенты при равных степенях аргументов х и у для полиномов Р и О .

п 2-^п

Для полинома Рп (х, у) имеем выражение

рп (х, у )=уу .

j=0 i=0

(4)

После возведения в п -ю степень выражения в круглых скобках (3) имеем следующее соотношение:

(ajx + ЬjУ + dj )п

п!

= у -

г+к?9=пИк!(п _i _к)!

(кЛ

(х1ук ) =

=у

г+к + д \ п J

а)Ьк^п__к (хгук ).

(5)

Умножим (5) соответственно на Kj . Затем сравним коэффициенты при равных степенях аргументов х и у выражений (4) и (3).

Так как общее число неизвестных коэффициентов Kj должно быть равно числу известных коэффициентов Су и равно т, то удобно провести переиндексацию коэффициентов с у.

Положим Су ^ Су (у = 1, т) . Обозначим

■к (г, к Л

также С',к = .

I п J

Тогда имеют место следующие соотношения:

т

с =У ^ = к^п+^ dn+...+ад,

с2 =1 -1 = КСМ-1 +

+ К2C°,lЬ2dn"-2 +... + КС^Ь^т-1,

2 п 22 т п т т *

т

сз = У К.^0 а^1 = КС^а^"- +

+ КС",0 а2 d2n-2 +... + КС0 аЛ"-1,

т п т т

с, = У К р,кауЬку~к = К1С,ка{ЬЛ1п-г-к +

+ К2Спк ai2Ьn,dn,-i-к +... + КтС',:ка1ЬЫ1-,-к,

т п т т т

м =

d1n

с°„1ЬАп-1

сп0 аАп-1 сф^х-2

d2n

Сп0ДЬ2 d2n-1

С;0 а2 d"-1

а1b1d1n-2

-1 =У .=К1Й1п + К&+...+КтЬт,

ст = У Кап = к,ап + Ка +... + К а".

т ^^ .. 22 т т

Таким образом, мы имеем систему т линейных уравнений с т неизвестными Кт . Эта система имеет единственное решение и устанавливает соответствие между представлениями (4) и (3). Последнее не только доказывает теорему, но и дает конструктивный алгоритм пересчета коэффициентов при использовании представления (3).

Рассмотрим подробнее алгоритм вычисления коэффициентов. Для этого воспользуемся вектор-но-матричным представлением. Имеем МК = С, где

d3"

а^С-2

dn т

С0ДЬ dи-1

п т т

С1,0а dи-1

п т т

сф^х-2

C,,ka1,b1kd1n-,-k C,,kalbkdnn-,-k C,,ka3b3kd3n-,-k ........ C,,ka,bkdп-,-к

п 111 п222 п 3 3 3 п т т т

ат

т

Ьп

(6)

К = ( К,, К2

Тогда К = М-1С .

■ Кт )Т, С = ( С,, С2,..., Ст )\

т =

(п +1)( п + 2)

Необходимо отметить, что значения элементов матрицы М не зависят от вида аппроксимируемой функции f (х, у) и вычисляются заранее исходя из заданных значений параметров а., Ь., dj.

Учитывая специфику решаемой задачи аппроксимации, введем следующие определения.

Коэффициенты а. и Ь., принадлежащие ряду

(3), назовем двойственными по отношению к коэффициентам с., задающим степенной ряд (5).

Соответственно ряды (3) и (5) также называются двойственными.

Степенью свободы полиномиального ряда назовем число независимых коэффициентов, варьированием которых обеспечивается аппроксимация исходной функции.

Между двойственными рядами устанавливается взаимнооднозначное соответствие, если коэффициенты одного ряда можно однозначно выразить через коэффициенты другого. Взаимнооднозначное соответствие имеет место, если число степеней свободы рядов одинаково.

Задача аппроксимации исходной функции рядом (3) может быть сформулирована также следующим образом. Имеется исходный биноминальный ряд Рп (х, у) (5), заданный своими коэффициентами с. и произведениями {х гу3 ], аппроксимирующий исходную функцию f (х, у) . Необходимо определить двойственный ряд Qn (х, У) (1), заданный коэффициентами К. и а.., Ь.

У ' V

с

а

а

а

ь

Ь

ь

2

Формально это можно записать следующим образом:

^ : Рп (х, у)^ Оп (х, у) , в: {С}^{Л, B, K},

где С = {су | — множество коэффициентов с у; Л = {агу |, В = {Ьу | — множества задаваемых целых коэффициентов а у, Ьу е N соответственно (внутренние коэффициенты); К = {Kj. } — множество определяемых коэффициентов (внешние коэффициенты представления).

Преобразование ^(.) осуществляет преобразование исходного биноминального ряда Рп (х, у) в двойственный Оп (х, у) . При условии равенства

степеней свободы у обоих рядов имеет место обратное преобразование

Оп ( х, у Н Рп ( х, у ) .

Преобразование в означает отображение множества коэффициентов С исходного ряда Рп ( х, у) на множество внешних коэффициентов К двойственного ряда Оп (х, у) при условии задания внутренних коэффициентов Л, В .

Внутренние коэффициенты осуществляют аффинное преобразование А (.) аргументов:

А(ау,Ьу): (х,у)^ аух + Ьуу и формируют новую

переменную Zy = аух + Ьуу .

Внешние коэффициенты мультипликативно преобразуют п-ю степень переменной Zy, т. е.

L (Kij): (zij ) ^ Кг] (Zy ) . Размерность вектора

внешних коэффициентов К ряда Оп (х, у) должна быть равна размерности вектора коэффициентов С полиномиального ряда Рп (х, у) .

Обозначим аппроксимирующий ряд степени п _ 1 через Оп_1 (х, у), тогда ряд Оп (х, у) можно выразить через Оп_1 (х, у) следующим образом:

Оп (х, у) = Оп_1 (х, у) + у KI■ (а1гх + а2,у)п, (7)

i

где Ki — коэффициент, Ki е N (N — множество целых чисел).

Необходимо отметить, что для описания представления (7) можно предложить другую формулу, а именно:

Оп (х у) = Оп_1 (х у) + апхп + Ьпуп +

п

+ У Kг (х + Ч,у )п .

(8)

В формуле (8) число независимых коэффициентов при различных степенях аргументов и их всевозможных произведений (при условии, что сумма показателей равна п) соответствует (п +1).

Рассмотрим обобщение теоремы на п-мерный случай.

Положим, что задана многомерная непрерывная функция f (х) , х =

(х , х2, ...,

). Задача состоит в ее аппроксимации другой функцией, которая представляет собой взвешенную сумму одномерных функций, аргументы которых представляют аргументы функции f (х1, х2, ..., хг) или их линейные комбинации. Имеет место теорема.

Теорема 2. г-мерная непрерывная по своим аргументам функция f (х) может быть с любой

степенью точности представлена в виде следующего ряда:

f (х) * Рп (х) = Оп (х) = у ^ I у Иух, + d

(9)

где f (.) — непрерывная функция, заданная над полем Rг (f е R); hj., dj — задаваемые целые коэффициенты (^у, dj е N ); Kj — коэффициенты, Kj е R; х = (х1, х2, ..., хг) — переменные, (п + г _ 1)( п + г )

х. е R ; т = -

Обозначим dj = ^+1 у.

1 = хг+1; тогда формулу

(9) можно записать в виде

т

f (х)* рп (х) = Оп (х) = у KJ |у НухЛ . (10)

Доказательство. Для любых отличных от нуля действительных чисел х1, х2,..., хг и любого натурального п имеет место соотношение

(х + х2 +... + хг )п =

где

= у

к1 + к + ...+кг =п к1,..., кг+

(к к Л

к1,..., Кг+1

^ хк2 Гк< 1 2 * * * г

(11)

п!

ный коэффициент.

к1 !• к2!... • кг

— полиномиаль-

п

2

п

п

Соотношение (10) в силу наличия свободного слагаемого dj = hr+1 у позволяет получить всевозможные произведения

у с^ х^...^ , Уу е[0, п], (12)

к +к2 +..+кг = у

и поэтому может также быть использовано в качестве представления многомерных функций.

Для определения взаимосвязи между коэффициентами двойственных рядов можно воспользоваться формулой полинома для каждого слагаемого, входящего в формулу (10):

у А

ух I =

у

к +к +...+кг+1 =п

(к1,...,кг+1 !(Кх )к Х п IIп1ух1> х

х( К2 ух2 Г ...( Кгухг+1 )к

у

к+к +...+кг+1=п

к. .Л К1 у ^

Х( К2 у Т ..{Ку Т х1к х2к2...хг-

В (к1, к2, ..., кг+1 ) =

=у ^ у

у к1+к2 +...+кг+1 =п

к1,..., кг

(^у )к

Х( К2 у )к2...( Кг+1, у )к

м = <

'"г+1

п

(К, )к'...( К,- )к

сать векторно-матричное уравнение МК = С ^ К = М^С,

где

К к1,..., к

м = <

(^ )к1...(\ )к

(16)

(13)

Общее число выражений, подобных (13), будет равно т, т. к. индекс у меняется от 1 до т . Просуммируем их. Тогда коэффициенты при произведениях х1кх2к ...хг+1кг+1 будут определяться формулой

К = (K2, ..., ^)Т, С = (С1, С2, ,,,, Ст)Т ,

(п + г _ 1)(п + г)

т = --—-- .

2

Решение уравнения (15) является доказательством теоремы и определяет возможный алгоритм

вычисления коэффициентов К = (K2, ..., Km)Т . Введем следующее обозначение:

г

zi = у Кух. + d-..

у ¿—I 'у ' у

г

С учетом последних обозначений представление (10) можно представить в следующем виде:

f (^ ..., хп )*

т

* Рп (х„ ..., хп ) = Оп (Z2, ..., Zm ) = у у , (17)

у

где Zj — компоненты обобщенного вектора

г =( ^ ^ ..., т,т )Т.

Как частный случай аппроксимацию двумерной функции взвешенной суммой одномерных функций можно представить в следующем виде:

/ (х, у) * Рп (х, у) = Оп (х, у) = у у

(18)

(14)

Замечание 2. Полученные представления многомерной функции стали возможны, потому что был расширен вектор состояния х , который включает теперь в себя не только непосредственно компоненты х, но и их линейные комбинации с заданными целочисленными коэффициентами

(к".,п кг Ку )Ч К )кп

Матрица М состоит из элементов

,к,, \к

По аналогии с двумерным случаем можно запи-

где zj = а ух + Ьуу + dy — компоненты обобщенного вектора г = (z1, z2, ..., zm)Т .

т

Если далее обозначить (ру (zj ) = у z'^ , то в ре-

у

зультате получим

т

1 (^ х2 , ..., хг )* О (Г1, х2, ..., хг ) = у KjPj (^ ) .

i

Выражение (18) является приближением исходной многомерной непрерывной функции I (х) взвешенной суммой одномерных функций, заданных на обобщенном базисе.

Замечание 3. Для построения двойственного ряда, необязательно находить правило по которому производится пересчет между коэффициен-

п

п

к

X

п

тами двойственных рядов. Достаточно показать, " , , "

что множество коэффициентов исходного и двой- где р (х, ) = У а,рх1, V. () = У К.2р . ственного рядов можно преобразовывать друг в р р

друга, сохраняя при этом постоянное (или не Если ввести расширенный вектор состояния

меньшее) число степеней свободы ряда. х = (х,, х2, ..., хг, хг+1, ..., хт-г) , а также положить

Теорема 3. Многомерная непрерывная по сво- р = ^ р 2 = V

им аргументам фушцш f (xl, х2, ..., х) может хг+2 = г2, ..., хт-г = гт-г, то формулу (21) в рас-

быть с любой степенью точности представлена в ширенном базисе переменных х можно записать в виде следующего ряда следующем виде:

г п

Qn (х ) = С + УУ архр +УУ Ку [У сгрхг I = f (х, х2, ..., хг)« Q (х ) = С + Ур (х() . (24)

, р V р V , )

п т (г Лр

= С + У УК [Усх, I. (19)

Теорема может быть обобщена на случай, когда вместо операции возведения в степень использу-р 1 4 1 у ется какая-либо другая функция.

Доказательство. Рекуррентная формула, связывающая разложение п-го порядка с разложени- ОПРЕДЕЛЕНИЕ КОЭФФИЦИЕНТОВ ем (п -1) -го порядка, имеет вид В ПРЕДСТАВЛЕНИИ МНОГОМЕРНОЙ

ФУНКЦИИ

Qn ( х ) =

п Рассмотрим метод вычисления коэффициентов

= с + Qn-1 (х) + У атхЧ + У Ку I У стхг I . (20) Ку , который не требует предварительн°г° раз-го' у V ' ) жения многомерной функции в полиномиальный

Далее, выражая Qn-1 через Q 2 и т. д., нетруд- ряд и использов^ния метода неопределенных коэффициентов. Сущность предлагаемого подхода

но показать, что приближение У(х1, х2, ..., хг) состоит в решении оптимизационной задачи по

многомерной функции двойственным рядом мож- критерию минимума среднего квадрата ошибки.

но представить как Задача определения коэффициентов, в конечном

счете, сводится к решению системы линейных

уравнений.

Ошибка представления У (х, у) рядом

У (х)« Qn (х ) =

I х |« ^ (х |

г п т-г п ( г У

= С + У "Уа,р'х11 + УУ У К.1 ^с,рх, I . (21)

, р у р V , )

т

У Ку (а.х + Ь.у + dj ) определяется выражением

1

Если в выражении (21) переобозначить коэффициенты, то последнее соотношение представ- Е = ляется в следующей форме:

пт

У (х)« Qn (х ) = С + УУ Ку.\У срхг I . (22) X г _ 1

р 1

:Я У(x,у)-Уку(а1х+ь,у+dl)

дх ¿у. (25)

В последнем выражении необходимо определить Таким образом, теорема доказана. К., при котором ошибка аппроксимации будет

минимальной. Далее имеем

Введя обозначение zj = У с .х, , можно записать ' -К = 2Ц У (х, у) - У К. (а.х + Ь.у +

8Е

: . ;х, у )-

8К] X 71_ з

\ п

г п т-г п

У (х)« Q (х) = С + УУ архр +УУ КД = х (а.х + Ьу + dJ) дх ду.

, р ] р

г т-г 1-г

= с + У (х ) + У (2 ) , , Приравнивая последнее выражение нулю, полу-

,УРД хг ) 3 (23) чим

3

р

2

п

р

X

11У (^ У ) (а,Х + Ь,У + dг У дх дУ =

X 7

т

= 11 (агх + Ь у + dl)" У Ку (аух + Ь}у + dj )" дх ду.

]

Обозначим

А = 11f (x, У ) (аХ + ЬгУ + dг У дх дУ =

X 7

= | f (X) 2пдх, (26)

ХхУ

7 у = 11(а,х + ьу + diу (а}х + Ь}у + dj )" дхду =

X 7

= I дх, (27)

X х7

2. = ах + Ьу + d., г. = ах + Ь у + d., х = (х, у).

, г г ' у у ^ }•> V ' /

Тогда система уравнений для определения вектора коэффициентов К = (К1, К2, ..., Кт)Т будет иметь следующий вид:

У 7 К =А

или в векторно-матричной форме: ZK = А ^ К = Z-1А ,

где

(28)

(29)

Z =

7 7

^11 12

77

21 22

7

т =

77

т1 т2

(п +1)( п + 2)

7

А =

4

Ат

К =

К1

К

К

8Е_

дК,

2И

т п

f (Х1, хп )-У КIУ у,. +

х| У °ухг + ^ I дх1...дхп.

Обозначим

А =

I...| У(^ хп)1Усрх, + dJ I ¿х1...ахп =

Х1 Хп V г )

| У (х) г ах, (31)

7У =

= | ... I |У Сухг + dJ I |У Сухг + dг J п = = | 2,п2; ах, (32)

X

п п

2 = У сх + d., 2. =У С.х. + d., х = (х, ..., X ) .

г у г г ' У У г У ' V 1' ' п /

/ /

Система уравнений для определения вектора коэффициентов К = (К1, К2, ..., Кт)Т может быть представлена следующим образом:

У 7 укУ = А

или в векторно-матричной форме: ZK = А ^ К = Z-1А

где

(33)

(34)

Обобщим полученные выражения для опреде- 7ц 7 21 7 12 7 22 .. 71т 2т А

ления оптимальных коэффициентов К у на многомерный случай. Положим, что задана многомерная Z = , А =

функция У(х) , х = (х1, х2, ..., хг) . 7 тт

7т1 7 2 т2 Ат

Е =

.. I

Х1 Хп

хдх1...дхп.

т п

у ..., хп )-У КIУ сх +

К=

(30)

К1

К

К

т=

(п + г -1)(п + г)

п

х

1 -"-п

п

п

п

п

2

2

п

X

2

НАПРАВЛЕНИЯ ИСПОЛЬЗОВАНИЯ ПОЛУЧЕННЫХ РЕЗУЛЬТАТОВ

Результаты, полученные выше, в первую очередь могут быть полезны в организации процесса многоканальной передачи информации и компенсации возникающих при этом сбоев. Перспективно их применение и для передачи голографиче-ской информации в режиме реального времени.

Одним из строгих математических результатов в области аппроксимации функций является доказательство возможности аппроксимации произвольной непрерывной функции нейронной сетью с одним скрытым слоем с заданной точностью.

Полученные выше выражения формально соответствуют оптимальной форме выражения функций многих переменных через суперпозицию функций одного переменного, задолго до нейронных сетей предложенной А.Н. Колмогоровым [3]. Выбор нелинейных функций в приведенном разложении произволен, и вплоть до недавнего времени вопрос об оптимальном нейросетевом базисе оставался открытым. В работе [5] для практически важного класса функций (р раз непрерывно дифференцируемых на отрезке) было показано, что асимптотически (при малых уклонениях аппроксимации от функции) число требуемых базисных функций в нейросетевом разложении минимально, если эти функции являются компактными волнами (специального вида), т. е. вейвлетами.

В настоящее время бурно развивается направление, связанное с совместным использованием преимуществ нейронных сетей (высокая параллельность вычислений, замена алгоритмического программирования обучением на примерах, простота аппаратного ускорения вычислений) и компактно-волновых преобразований — вейвлетов (высокая информативность, слабая чувствительность к шуму, возможность глубокого сжатия информации) [5, 6, 11].

Применительно к рассматриваемой задаче аппроксимации функций многих переменных, встроенных в уравнение состояния динамической системы и в уравнение наблюдения, конфигурация сети определяется условием согласования одномерных функций, определенных на обобщенном базисе, со структурой оптимального фильтра. Это связано с тем, что только в рамках линейной фильтрации Калмана, можно получить замкнутые и практически реализуемые алгоритмы оценивания.

ВЫВОДЫ

Многомерная аппроксимация, предложенная в данном исследовании, является первым этапом в решении задачи оценивания состояния динамиче-

ских систем и случайных процессов методом, основанным на покомпонентной сплайн-аппроксимации.

Задача субоптимальной сплайн-фильтрации должна решаться в три этапа:

• представление исходной функции многих переменных в виде взвешенной суммы одномерных функций, заданных на обобщенном базисе;

• аппроксимация полученной совокупности функций одной переменной одномерными линейными или квадратичными сплайнами;

• построение оптимального (субоптимального) фильтра, основанного на сплайн-аппроксимации.

Преимуществом полученных выше представлений многомерных функций одномерными является то, что при определении весовых коэффициентов К = (К,, К2, ..., Кт)Т , минимизирующих

квадрат ошибки аппроксимации, можно воспользоваться результатами теории линейной алгебры и перейти от эвристических к теоретически обоснованным и апробированным алгоритмам.

СПИСОК ЛИТЕРАТУРЫ

1. Колмогоров А.Н. О представлении непрерывных функций нескольких переменных в виде суперпозиции непрерывных функций одного переменного и сложения // ДАН СССР. 1957. Т. 114, № 5. С. 953-956.

2. Арнольд В.И. О представлении функций нескольких переменных в виде суперпозиции функций меньшего числа переменных // Математическое просвещение. 1958. № 3. С. 41-61.

3. Голубков А.Ю. Построение внешних и внутренних функций представления непрерывных функций многих переменных суперпозицией непрерывных функций одного переменного // Фундаментальная и прикладная математика. МГУ, 2002. Т. 8, № 1. С. 27-38.

4. Круглов В.В., Дли М.И., Голунов Р.Ю. Нечеткая логика и искусственные нейронные сети. М.: Физмат-лит, 2001. 224 с.

5. Мордашев И.М. Аппроксимация функций нескольких переменных суммой меньшего числа переменных // ДАН СССР. 1968. Т. 183, № 4. С. 778-779.

6. Поспелов В.В. О приближении функций нескольких переменных произведениями функций одного переменного. М.: Институт прикладной математики АН СССР. Препринт № 32, 1978. 72 с.

7. Терехов В.А., Ефимов Д.В., Тюкин И.Ю., Антонов В.Н. Нейросетевые системы управления. СПб.: Изд-во СПбГУ, 1999. 265 с.

8. Шура-Бура М.Р. Аппроксимация функций многих переменных функциями, каждая из которых зависит от одного переменного // Вычислительная математика. 1957. Вып. 27. С. 3-19.

9. Александрова И.М., Проурзин В.А. Метод аффинных преобразований в задаче равномерной аппроксимации функций многих переменных // Вопросы

механики и процессов управления. СПбГУ, 1995. Вып. 18, Математические вопросы анализа негладких моделей. С. 19-30.

10. Горбань А.Н. Обобщенная аппроксимационная теорема и вычислительные возможности нейронных сетей // Сибирский журнал вычислительной техники. 1998. Т. 1, № 1. С. 12-24.

11. Терехов В.А. Вейвлеты и нейронные сети // Лекции для школы-семинара "Современные проблемы ней-роинформатики". М.: МИФИ, 2001.

Санкт-Петербургское отделение Института химфизики им. Н.Н. Семенова РАН (Бутырский Е.Ю., Чалкин В.П.)

Санкт-Петербургский государственный университет сервиса и экономики (Кувалдин И.А.)

Контакты: Чалкин Владимир Петрович, [email protected]

Материал поступил в редакцию 8.12.2009.

MULTIDIMENSIONAL FUNCTIONS' APPROXIMATION

Eu. Yu. Butyrsky1, I. A. Kuvaldin2, V. P. Chalkin1

1St. Petersburg Branch of Institute for Problems of Chemical Physics RAS 2St. Petersburg State University for Service and Economics

It is proposed to represent a continuous function of several variables as a weighted sum of univariate functions, defined on a generalized basis, formed as a linear superposition of arguments of the assumed function. The approach under consideration is adapted to an optimum detecting filter structure and is used as a basis for a spline-filtering theory, developed by the authors. It can be used to solve a problem of signals reception on the background of noises and clutters, described by nonlinear stochastic differential equations. This scope of the problems will be covered in details in the following papers.

Keywords: approximation, multidimensional functions, extended basis, spline-filtering, neural network