Сравнительное моделирование на основе многочленов Колмогорова-Габора в задачах полиномиального хаоса и регрессии

Облакова Татьяна Васильевна; Фам Куок Вьет

УДК 519.2

БОТ: 10.18698/2309-3684-2023-4-93108

Сравнительное моделирование на основе многочленов Колмогорова-Габора в задачах полиномиального хаоса и регрессии

Рассмотрено применение обобщенного разложения полиномиального хаоса (ПХ) и модели на основе полиномов Колмогорова-Габора в задачах регрессии. При выборе разложения ПХ использовалась схема Винера-Аски, задающая соответствие между законом распределения признаков и ортогональным полиномиальным базисом. Для вычисления коэффициентов разложения применялись неинтрузивные методы: наименьших квадратов, эластичная сеть, а также индуктивный эволюционный алгоритм Ивахненко. В качестве эталонной функции полиномиальной нейронной сети использованы полиномы Колмогорова-Габора. Ошибки модели и скорость работы вычислялись на тестовой выборке. Проведено сравнение моделей на линейной транспортной задаче в условиях неопределенности: коэффициент диффузии и снос моделировались равномерно распределенными случайными величинами. Показано, что при небольшом интервале изменения значений случайных величин обе модели дают хорошую эффективность, но модель ПХ демонстрирует меньший разброс

ошибок и быстрее по времени. Для уравнения распада со случайными коэффициентами, распределенными по гауссовскому закону, изучено влияние корреляции этих коэффициентов на скорость сходимости. Продемонстрировано, что при зависимых коэффициентах наилучшие показатели наблюдаются у моделей ПХ более высокого порядка. На основе сравнительного моделирования установлено, что применение ПХ однозначно предпочтительнее в случаях: малой размерности пространства входных признаков, известном законе распределения входных данных, при коррелированности признаков. Также показано, что применение ПХ при большой размерности пространства входных признаков неэффективно из-за быстрого увеличения числа членов в разложении, приводящего к резкому росту времени на обработку задачи. В этом случае однозначно предпочтительнее оказалась регрессионная модель на основе полиномов Колмогорова-Габора в сочетании с МГУА.

Ключевые слова: полиномиальный хаос, полиномиальная нейронная сеть, метод группового учета аргументов, полиномы Колмогорова-Габора, линейные транспортные задачи, уравнение распада

Введение. Полиномиальный хаос — метод представления случайной величины в виде разложения по ортогональному базису [1]. Винер впервые определил «однородный хаос» как оболочку полиномиальных функционалов Эрмита гауссовского процесса [2], при этом полиномиальный хаос рассматривался как элемент этого множества. Согласно теореме Камерона-Мартина [3] ряды Фурье-Эрмита, построенные по достаточно произвольному функционалу, сходятся в , что дает возможность представить стохастический процесс с помощью ортогональных полиномов Эрмита. Почти сразу

после этого были предприняты попытки применить полиномиальный хаос для моделирования неопределенности в физических приложениях. Так Ганем и Спанос использовали разложение хаоса Эрмита в методе конечных элементов для моделирования неопределенности, возникающей в различных задачах механики твердого тела [4-6]. Уже в этом веке в работе [7] Сю и Карниадакис применили полиномиальный хаос для моделирования неопределенности в задачах гидродинамики. Те же авторы использовали обобщенный полиномиальный хаос Аски, распространяющий идею разложения случайной величины по ортогональному базису на негауссовы меры [7].

При дальнейшем расширении области приложений обобщенного полиномиального хаоса естественным образом возникает вопрос о сравнении этого метода с уже существующими, изучение его преимуществ и недостатков. Так в обобщенной линейной регрессионной модели в качестве базисных функций широко применяются полиномы Колмогорова-Габора [8-16], являющиеся по сути тензорными произведениями степеней входных переменных. Темой настоящей работы является сравнительный анализ этих двух полиномиальных моделей применительно к некоторым прикладным задачам. В частности, рассмотрена транспортная задача и уравнение распада [17].

Постановка задачи сравнительного моделирования.

Рассмотрим общую задачу регрессии, схематично изображенную на рис. 1. В традиционной постановке задачи [18, 19] отклик модели У(г) считается случайным в силу наличия аддитивной ошибки -1, искажающей «правильную» зависимость отклика от значений входных переменных Х(') = (X1('), Х('),..., Х('') через базисные функции

Ч1 (X(г)),...,Чя (X(г)) :

т

У(') Ч (Х(0)). (1)

к=1

Альтернативная постановка задачи трактует отклик модели как случайную величину, принадлежащую определённому пространству (например, пространству стохастических величин с конечной дисперсией), и затем представленную в виде разложения по некоторому базису:

ад

У = Е Ч,, (2)

з=0

где Ч^ — множество случайных переменных, образующих базис; а. е М — коэффициенты разложения случайного отклика У в этом базисе.

Input variable

Output variable

Computational Model

M

Рис. 1. Обобщенная схема задачи регрессии

В частности, особое внимание уделено базисам, составленным из ортонормированных полиномов случайных величин. В этом случае, ряд (2) называется разложением полиномиального хаоса. При этом подходе ошибка уже не является аддитивным членом как в соотношении (1), а возникает в силу необходимости ограничиться конечным числом членом разложения (2). Этот подход предполагает учет характера распределения случайных входных данных путем выбора подходящего базиса.

Разложение полиномиального хаоса. Пусть Г2 — пространство элементарных событий, пусть в : со е —» Ж. — случайная величина, 0 — пространство случайных величин. Пусть — бесконечное,

но исчисляемое множество независимых нормированных гауссовских случайных величин.

Разложение ПХ случайной величины 8(ю) принимает вид:

в(а>) =^ekЧk (%(®)),

(3)

k=0

где вк — детерминированные коэффициенты; ^ — случайные полиномы, ортогональные в пространстве с весом /(£) [20],

<Ч г, Ч , > = \ч t (%)Ч , (%)/ (%)d% = sv <Ч г, Ч j >

(4)

пусть р обозначает порядок разложения ПХ. Конечномерное разложения ПХ случайной величины конечного порядка определяется формулой

k=0

где базисный размер Р связан с й и р соотношением

(Р + й)!

P +1 = ■

p !d!

(5)

(6)

В табл. 1 приведены наиболее распространенные классы ортогональных полиномов из схемы Аски [21], соответствующие обобщениям полиномиального хаоса для основных законов распределения.

Таблица 1

Соответствие типов полиномиальных хаосов Винера-Аски и законов распределения

Вид распределения случайных величин Плотность Ортогональные полиномы Ортогональный базис }

Нормальное 1 4 —. е 2 Эрмита Иек (х) Иек (х) к!

Равномерное 7[-1;1]( Х) 2 Лежандра Рк (х) Рк (х) V1/ ( 2к +1)

Гамма +(х) Лагера К (х) а / Г(к + а +1) Ьк (хИ к!

Бета (1 - хГ (1 + х У 1 х) В(а)В(Р) [-1;1]( ) Якоби ^ Р ^(х) ^а ,р,к

Биномиальное (1) рк (1 - р'"-к Кравчук К к(х р, п) (-р)к ^П) К (х, р, п)

Пуассон Не-'- х! Шарлье С' п ас ( х,')с '(х) \Рс (п,Л) п

Обозначим через (ф} одномерные ортогональные полиномы из схемы Аски и предполагая, что входные случайные величины независимы, построим многомерный базис обобщенного полиномиального хаоса } с помощью тензорных произведений соответствующих одномерных полиномов:

1 1

) = ПФ;(4), К *р■ (7)

к=1 к=1

Определение коэффициентов при моделирования полиномиального хаоса. Для определения коэффициентов ПХ выделяют два класса методов.

1. Интрузивные представлены методом Галеркина. При его реализации генерируется система детерминированных уравнений, в которой коэффициенты разложения полиномиального хаоса являются неизвестными и находятся проецированием на случайное пространство, натянутое на полиномиальный базис. Полученная таким образом система решается с помощью подходящих численных методов [22, 23].

2. Неинтрузивные (метод наименьших квадратов (МНК), эластичная сеть, и т.п.) требуют реализации только детерминированного кода для разных значений ввода.

• Метод наименьших квадратов (МНК). Пусть в = (Д,...,Д)Т — вектор искомых коэффициентов ПХ в усеченном разложении выходной переменной у; приближение в для коэффициентов в находится по формуле:

ß = argmin£|y(i) -£ßk4k(5(0)| , n > P +1.

(8)

k=0

Однако, МНК при коррелированных данных не всегда дает хороший результат. Более этого, даже в случае некоррелированных данных, часто возникает эффект переобучения на детерминированных входных данных [24].

• Эластичная сеть (Elastic net) представляет собой модифицированный метод Лассо (Least absolute shrinkage and selection operator) [8, 18, 19]. Регрессионная модель Лассо предусматривает штрафной параметр Л в целевой функции для улучшения обусловленности:

ß = arg min ß

^ £ [y()-£ (^(г))]ß1

k=0

(9)

ß" 1=IKI.

j=1

Недостатком модели Лассо является невозможность обработки мульти-коллинеарных данных, поэтому Zou и Hanstie [25] для устранения этого недостатка предложили эластичную сеть:

ß = arg min ß

^ £ [ У(i) -I ßk ^k (5(i)) ] + Л " ß "l +^2 " ßl

k=0

ß " i = £ I a j I,

(10)

j=1

ß " 2 = £ I a j I .

j=1

Эластичная сеть сжимает коэффициент регрессии дважды и приводит к увеличению смещения оценки. Как видно из соотношения (10), в случае ^ = 0 модель становится регрессионной

моделью Лассо (9), а в случае \ = 0 — гребневой.

Метод группового учета аргументов. Метод группового учета аргументов (МГУА), представленный на рис. 2, также известный как

2

ß

<

2

m

полиномиальная нейронная сеть, представляет собой самоорганизующийся и индуктивный эволюционный алгоритм [8]. Этот эвристический метод моделирования был предложен советским ученым Ивахненко [9]. Самоорганизованная форма минимизирует необходимость в предыдущих знаниях. Модели не нужно указывать какие-либо начальные предположения, такие как количество нейронов и скрытых слоев, что снижают субъективность и сложность моделирования.

Рис. 2. Сетевая архитектура метода группового учета аргументов

Входные данные сначала делятся на обучающий набор и набор тестирования. Данные образца обучения используются для оценки коэффициентов полинома Колмогорова-Габора (К-Г). Набор тестирования поставляется в сеть МГУА для проверки ошибок. Затем характеристические переменные обучающего набора попарно рекомбинируются. После рекомбинации каждая пара характеристических переменных является группой и обучается как нейрон сети. Выход каждого нейрона оценивается и проверяется по внешнему критерию. Далее устраняются нейроны, которые были показали себя худшими, в то время как нейроны с хорошей производительностью сохраняются и используются в качестве следующего слоя. Затем весь процесс реструктуризации, обучения, тестирования и отбора снова выполняется на следующем уровне. Сеть МГУА, как и все нейросети, работает до тех пор, пока ошибка прогноза нейронов перестает уменьшаться [21, 26].

Связь между входом и выходом каждого нейрона может быть представлена полиномом К-Г

m m m m m m

Уп = S a'Xm + SS ^Vjn + SSS аг]ЛпХ]пХЫ + - • (11)

i=1 i=1 j=1 i=1 j=1 k=1

Обозначим со — значение внешнего критерия. Чем меньше ш, тем лучше нейрон и лучше эффект подгонки полинома К-Г. Более

бедные нейроны отвергаются, а «хорошие» нейроны сохраняются и становятся входом следующего слоя. Между тем, минимальный аШп

этого слоя записан и сохранен. Когда атШ этого уровня больше не уменьшается по сравнению с предыдущим уровнем, это указывает на то, что ошибка прогнозирования сети стабилизировалась; сеть

перестает расширяться и выводит результат предыдущего уровня

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

р

£ (Уп - Уп )2

®= ^-, (12)

£ (Уп )2

п=1

где Р — количество наборов тестирования.

Линейная транспортная задача в условиях неопределенности. Мы проиллюстрируем использование разложения ПХ и МГУА в моделировании выходных данных

линейной транспортной задачи в условиях неопределенности.

Пусть (П,^7,^) — подходящее вероятностное пространство с множеством элементарных событий и вероятностной мерой V, определенной на <г -алгебре Т. Пусть г](р), сое О. —

случайные величины, определенные на этом пространстве. Рассмотрим следующую смешанную краевую задачу для уравнения в частных производных:

+у(Т] ) - ^ {1

дг дх дх ^ ' дх /

и (0, г,<,г) = Е0(г<,ф, ди(х,г,<,л) = г

дх х=1

и (х, 0, <, г) = и0 (х, <, Г),

где (х, г) е (0; 1) х [0, Т], скорость у(г) и диффузия /(х, <) > / > 0

представляют собой случайные поля с конечной дисперсией, уравнение (13) имеет место V -почти-наверное в О.. В частности, рассмотрим случай, когда /(<) является постоянной в пространстве. В работе [17] приведено решение этой задачи с пространственно-независимыми для начальной функции

и(х,<,г) = ^^ехр/ (х-(х0 + У(Г)Г)21

^/ус 1 4/(<)т ]' (14)

р0 > 0, х0 е [0;1], с> 0. И это решение имеет следующий вид:

фМ,п) = , р expl-(x-(x>+ Г+ T)fj. (15)

+ т) Р1 W)(t + т) j ( )

Для моделирования выберем следующие значения параметров: р0 = 0,75; x0 = 0,25; т = 0,1; T = 1. Также считаем, что 4 ~ Я[0,05;0,15], u(4) = 4 и r ~ Я[0,95;1,05], v = r ■ Полиномиальное выражение для решения уравнения (13) имеет вид:

p

u(x, t,4,r) = £ u, (x, t)W k (£,ri). (16)

k=1

Реализация данного подхода будет включать в себя: равномерную сетку A = <0 = т0, т,..., т = 1> с шагом h = (тг-т0)/1, l = 100 для времени t и 5 = <0 = x0,x,...,xm = 1> с шагом h. = (xm - X )/ , = 100 для координаты x.

В качестве примера рассмотрим модели: МГУА на основе эластичной сети с квадратичной эталонной функцией; модель полино- миального хаоса степени 2 и 6. Будем сравнивать эффективность моделей, вычисляя ошибки для тестового набора и время работы на однопоточной программе.

Модели реализованы в программе, написанной на языке Python, которая запускается на компьютере со следующей конфигурацией: процессор Intel(R) Core i5-9600KF; оперативная память RAM 16Gb; видеокарта NVIDIA GeForce RTX 2060.

Ниже приведены результаты работы программы на 100 различных случайных наборах, каждый из которых состоит из 1000 входных данных, разделенных на обучающий и тестовый в соотношении 8:2.

Как видно на рис. 3 и 4 при небольших вариациях интервала значений случайных величин обе модели МГУА и ПХ возвращают результаты с высокой эффективностью. Однако, модели ПХ демонстрируют меньший разброс ошибок вдоль (0; 1) х [0, T]. То же относится и ко времени выполнения.

Моделирование уравнения распада со случайными коэффициентами. Рассмотрим теперь скалярное однородное дифференциальное уравнение

y '(t; а , ß) = -а (y (t; а, ß) - ß), 0 < t < 1, y(0) = 0 (17)

с двумя случайными переменными (а, ß) ~ Л/"(ц, 2) , где вектор средних ц и ковариационная матрица 2 :

, 2 =

(18)

Пусть коэффициент корреляции р е {0; 0,5; 0,9}, оа=о р = 0,25 .

10-5

0,0

0,2

0,4

0,6

0,8

1,0

0,0

2,5 2,0 1,5 1,0 0,5

1,0 0,8 0,6 0, 4 0,2

I

Рис. 3. График ошибок при моделировании решения линейной транспортной задачи в условиях неопределенности: а — ошибка модели ПХ степени 6; б — ошибка модели ПХ степени 2; в — ошибка модели МГУА

х

в

10-

0,34 0,32 0,30 0,28 0,26 0,24 0,22 0,20 1,0

Шшёг- 0,8

х 0, 4 0, 6 0, 2 х °,8 1,0 0,0

щ

/

0,0,

0,6

0,8

1,0

0, 0, 2 0,0

7,5

7,0 6,5 6,0 5,5 5,0 1,0 0,8 0,6 4

Г

2

х

б

а

ыВв

1Ш

0 4

х ' 0,6

0 0,6 0,4 . 0,2 0,8 1,0 0,0 ' 1

1,6 1,4 1,2 1,0 0,8 0,6

1,0 8

Рис. 4. График времени работы при моделировании решения линейной транспортной задачи в условиях неопределенности: а — время выполнения модели ПХ степени 6; б — время выполнения модели ПХ степени 2; в — время выполнения модели МГУА

Мы хотим исследовать влияние корреляции между случайными переменными на скорость сходимости моделей ПХ разного порядка и квадратичной модели МГУА. Мы используем эластичную сеть для вычисления коэффициентов ПХ вместо МНК.

Ниже на рис. 5, 6, 7 приведены результаты работы программы на 50 различных случайных наборах, каждый из которых состоит из 1000 входных данных, разделенных на обучающий и тестовый в соотношении 8:2.

Ошибка

0,00012

0,00010 0,00008 0,00006 0,00004 0,00002 0,00000

ПХ степени 2 ПХ степени 6 МГУА

10 20 30 40

Порядковый номер набора

50

Рис. 5. График ошибок при моделировании решения уравнения распада р = 0

в

0

Ошибка

0,00016

0,00014 0,00012 0,00010 0,00008 0,00006 0,00004 0,00002 0,00000

ПХ степени 2 ПХ степени 6 МГУА

0

10

20

30

40

50

Порядковый номер набора Рис. 6. График ошибок при моделировании решения уравнения распада р = 0,5

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

Ошибка

0,00010

0,00008

0,00006

0,00004

0,00002

0,00000

ПХ степени 2 ПХ степени 6 МГУА

0

50

10 20 30 40

Порядковый номер набора

Рис. 7. График ошибок при моделировании решения уравнения распада р = 0,9

Как видно на проведенных рис. 5, 6 и 7 ошибки всех моделей имеют в среднем порядок: 0(105).

Кроме того, при высокой корреляции данных модель ПХ степени 6 оказалась более эффективной и стабильной, тогда как при отсутствии корреляции это преимущество принадлежит модели МГУА.

Результаты моделирования. Суммируя результаты моделирования в рассмотренных задачах, приходим к следующим выводам.

Применение полиномиального хаоса (ПХ) однозначно предпочтительнее в случаях:

• малой размерности пространства входных признаков;

• известном законе распределения входных данных;

• коррелированности признаков.

При этом метод вычисления коэффициентов играет второстепенную роль.

Применение ПХ при большой размерности пространства входных признаков неэффективно из-за быстрого увеличения числа членов в разложении (5), приводящего к резкому росту времени на обработку задачи. В этом случае однозначно предпочтительнее регрессионная модель на основе полиномов Колмогорова-Габора в сочетании с методом группового учета аргументов (МГУА).

ЛИТЕРАТУРА

[1] Xiu D., Karniadakis G. The Wiener-Askey Polynomial Chaos for Stochastic Differential Equations. SIAM Journal on Scientific Computing, 2002, vol. 24, iss. 2, pp. 619-644. DOI: 10.1137/S1064827501387826

[2] Wiener N. The Homogeneous Chaos. American Journal of Mathematics, 1938, vol. 60, pp. 897-936.

[3] Cameron R.H., Martin W.T. The Orthogonal Development of Non-Linear Functionals in Series of Fourier-Hermite Functionals. Annals of Mathematics. Second Series, 1947, vol. 48, no. 2, pp. 385-392.

[4] Ghanem R., Spanos P. Stochastic Finite Elements: A Spectral Approach. New-York, Springer-Verlag, 1991, 214 p.

[5] Ghanem R. Ingredients for a General Purpose Stochastic Finite Element Formulation. Computer Methods in Applied Mechanics and Engineering, 1999, vol. 168, no. 19, pp. 19-34.

[6] Ghanem R. Stochastic Finite Elements with Multiple Random Non-Gaussian Properties. Journal of Engineering Mechanics, 1999, vol. 125, no. 1, pp. 26-40.

[7] Xiu D., Karniadakis G. Modeling uncertainty in flow simulations via generalized polynomial chaos. Journal of Computational Physics, 2003, vol. 187, pp. 137-167. DOI: 10.1016/S0021-9991(03)00092-5

[8] Liu W., Dou Z., Wang W., Liu Y., Zou H., Zhang B., Hou S. Short-Term Load Forecasting Based on Elastic Net Improved GMDH and Difference Degree Weighting Optimization. Applied Sciences, 2018, vol. 8, iss. 9, art. no. 1603. DOI: 10.3390/app8091603

[9] Ivakhnenko A.G. Polynomial Theory of Complex Systems. IEEE Transactions on Systems, Man, and Cybernetics, 1971, vol. SMC-1, no. 4, pp. 364-378.

[10] Ivakhnenko A.G., Ivakhnenko G.A. The Review of Problems Solvable by Algorithms of the Group Method of Data Handling (GMDH). Pattern Recognition and Image Analysis, 1995, vol. 5, no. 4, pp. 527-535.

[11] Onwubolu G.C. GMDH-Methodology and Implementation in MATLAB. London, Imperial College Press, 2016, 284 p.

[12] Gu J., Chu L.L., Zhang Y.J, Shi W.G., Application of GMDH and variable co-integration theory in power load forecasting. Power System Protection and Control, 2010, vol. 38, no. 22, pp. 80-85.

[13] Ahmadi M.H., Ahmadi M.A. Mehrpooya M., Rosen M.A. Using GMDH Neural Networks to Model the Power and Torque of a Stirling Engine. Sustainability, 2015, vol. 7, iss. 2, pp. 2243-2255. DOI: 10.3390/su7022243.

[14] Yang L.T., Yang H.G., Liu H.T. GMDH-Based Semi-Supervised Feature Selection for Electricity Load Classification Forecasting. Sustainability, 2018, vol. 10, iss. 1, pp. 217. DOI: 10.3390/su10010217

[15] Najafzadeh M., Saberi-Movhed F., Sarkamaryan S. NF-GMDH-Based self-organized systems to predict bridge pier scour depth under debris flow effects. Marine Georesources & Geotechnology, 2018, vol. 36, iss. 5, pp. 589-602.

[16] Zhang M.Z., He C.Z., Panos L.A. A D-GMDH model for time series forecasting. Expert Systems with Applications, 2012, vol. 39, iss. 5, pp. 57115716.

[17] Petterson M.P., Iaccarino G., Nordstrom J. Polynomial Chaos Methods for Hyperbolic Partial Differential Equations: Numerical Techniques for Fluid Dynamics Problems in the Presence of Uncertainties. Springer International Publishing Switzerland, 2015, 379 p.

[18] Стрижов В.В., Крымова Е.А. Методы выбора регрессионных моделей. Москва, Вычислительный центр РАН, 2010, 60 с.

[19] Стрижов В.В. Порождение и выбор моделей в задачах регрессии и классификации. Дисс. д-ра физ.-мат. наук, Москва, 2014, 299 с.

[20] Crestaux T., Maitre O.L., Martinez J.M. Polynomial chaos expansion for sensitivity analysis. Reliability Engineering & System Safety, 2009, vol. 94, iss. 7, pp.1161-1172.

[21] Askey R., Wilson J. Some Basic Hypergeometric Orthogonal Polynomials that Generalize Jacobi Polynomials. Memoirs of the American Mathematical Society, 1985, vol. 54, 55 p.

[22] Попкова А.П. Линейные регрессионные модели на основе полиномиального хаоса и их применение. Выпускная квалификационная работа бакалавра, Москва, 2022, 159 с.

[23] Русских С.В., Шклярчук Ф.Н., Применение одношагового метода Галеркина для решения системы обыкновенных дифференциальных уравнений с начальными условиями, Математическое моделирование и численные методы, 2022, № 3, с. 18-32.

[24] Базилевский М. П. Аналитические зависимости между коэффициентами детерминации и соотношением дисперсий ошибок исследуемых признаков в модели регрессии Деминга. Математическое моделирование и численные методы, 2016, № 2, c. 104-116.

[25] Zou H., Hastie T. Regularization and Variable Selection via the Elastic Net. Journal of the Royal Statistical Society. Series B (Statistical Methodology), 2005, vol. 67, no. 2, pp. 301-320.

[26] Кадиев А.Д., Чибисова А.В. Нейросетевые методы решения задачи кредитного скоринга. Математическое моделирование и численные методы, 2022, № 4, с. 81-92.

Статья поступила в редакцию 26.06.2023

Ссылку на эту статью просим оформлять следующим образом: Облакова Т.В., Фам Куок Вьет. Сравнительное моделирование на основе многочленов Колмогорова-Габора в задачах полиномиального хаоса и регрессии.

Математическое моделирование и численные методы, 2023, № 4, с. 93-108.

Облакова Татьяна Васильевна — канд. физ.-мат. наук, доцент кафедры «Вычислительная математика и математическая физика» МГТУ им. Н.Э. Баумана. e-mail: [email protected]

Фам Куок Вьет — студент кафедры «Вычислительная математика и математическая физика» МГТУ им. Н.Э. Баумана. e-mail: [email protected]

T.B. 06naKoea, 0aM KyoK Bbem

Polynomial chaos and regression based on Kolmogorov-Gabor polynomials: comparative modeling

The application of the generalized expansion ofpolynomial chaos (PC) and models based on Kolmogorov-Gabor polynomials in regression problems is considered. When choosing PC expansion, the Wiener-Askey scheme was used, which sets the correspondence between the feature distribution law and the orthogonal polynomial basis. To calculate the expansion coefficients, non-intrusive methods were used: least squares, elastic network, as well as Ivakhnenko's inductive evolutionary algorithm. Kolmogorov-Gabor polynomials are used as a reference function of a polynomial neural network. Model errors and performance were calculated on a test set. Models were compared on a linear transport problem under uncertainty: the diffusion coefficient and drift were modeled by uniformly distributed random variables. It is shown that with a small interval of variation in the values of random variables, both models give good efficiency, but the PC model demonstrates a smaller spread of errors and is faster in time. For the de-cay equation with random coefficients distributed according to the Gaussian law, the influence of the correlation of these coefficients on the rate of convergence is studied. It is shown that with dependent coefficients, the best performance is observed in higher-order PC models. On the basis of comparative modeling, it has been established that the use of PC is unambiguously preferable in the following cases: a small dimension of the space of input features, a known law of distribution of input data, and correlated features. It is also shown that the use of PC with a large dimension of the space of input features is inefficient due to the rapid increase in the number of terms in the expansion, leading to a sharp increase in the time to process the task. In this case, the regression model based on the Kolmogorov-Gabor polynomials in combination with the GMDH turned out to be clearly preferable.

Keywords: polynomial chaos, polynomial neural network, group method of data handling, Kolmogorov-Gabor polynomials, linear transport problems, decay equation

REFERENCES