Свойства суперпозиций функций для численных методов символьной регрессии Текст научной статьи по специальности «Математика»

Cloud of Science. 2016. T. 3. № 2 http://cloudofscience.ru ISSN 2409-031X

Свойства суперпозиций функций для численных методов символьной регрессии

А. И. Дивеев

Федеральный исследовательский центр "Информатика и управление" Российской академии наук

119333, Москва, ул. Вавилова, 44, e-mail: [email protected]

Аннотация. Рассмотрены свойства суперпозиций функций. Суперпозиции или композиции функций используются в методах символьной регрессии, которые применяются при создании вычислительных методов поиска структур математических выражений. Приведены примеры решения задач общего синтеза управления для нелинейного объекта второго порядка. Метод символьной регрессии позволил найти такие функции управления, которые обеспечили свойства аттрактора двум разным терминальным многообразиям.

Ключевые слова: суперпозиции функций, методы символьной регрессии, синтез оптимального управления, аттрактор.

1. Введение

Последние достижения в области алгоритмизации привели к созданию методов символьной регрессии, которые позволяют строить вычислительные методы для поиска структур и параметров математических выражений. Необходимость искать решения в форме математических выражений возникает в большом количестве актуальных задач: поиск обратной функции, аппроксимация экспериментальных данных, поиск закономерности, прогнозирование, идентификация, синтез оптимального управления и др.

Суть методов символьной регрессии состоит в том, что искомая функция кодируется удобным для вычислительной машины способом так, чтобы компьютер без трансляции мог вычислить значение закодированного математического выражения. Затем с помощью эволюционного алгоритма осуществляется поиск решения на множестве кодов функций.

Все существующие методы символьной регрессии: генетическое программирование [1], аналитическое программирование [2], грамматическая эволюция [3] и метод сетевого оператора [4-8] кодируют математические выражения в виде суперпозиций или композиций функций из некоторого множества элементарных функций. Свойства этих суперпозиций функций определяются множеством элементарных функций.

Несмотря на широкое использование численных методов символьной регрессии, свойства суперпозиций функций мало исследованы. Остается открытым вопрос: какой минимальный набор элементарных функций необходимо использовать, чтобы получить определенные свойства суперпозиции этих функций. В статье сформулированы некоторые свойства суперпозиций функций и рассматриваются свойства, которыми могут обладать суперпозиции функций, построенные на основе определенных множеств элементарных функций.

2. Суперпозиции функций

Рассмотрим множество функций с не более, чем М аргументами.

р = {./ц ОХ • • • > Ли О)' Лд , , г2 ),...

• • ■ ' /м ,1 ' ' " " ' 2М X ' " " /м,Пм > " ' ' > 2М )} ' Для построения математического выражения из композиций функций из (2.1) необходимо еще иметь множество аргументов или нульместных функций, т. е. функций без аргументов. В качестве аргументов математического выражения используем параметры или переменные

(2.2)

Определим правила записи суперпозиций. Для функций с одним аргументом последовательное вложение записываем в форме последовательной записи элементов из множества (1) и последним элементом из множества (2)

.(./' :(«)•••) ./•', %■ °-Лл а- (2.3)

к

где ае Б0.

Для функций с большим количеством аргументов используем последовательную запись в порядке их префиксного представления в математическом выражении. Считаем, что элементы записи после элемента из множества нульместных функций относятся к следующему аргументу функции т. д. Например,

ЛЛ(Л,Д-Лд (а) . +1(...СЛ,+; (р )...) =

Ы (2.4)

= Лл ° л.,2 ° • • -Лл °а ° ЛА+1 ° • • -Лл+; ° Р>

где а, р е Б0..

Рассмотрим множество суперпозиций функций из множества функций Б:

леЦ,..,йи},т = Ц4 (25)

Определение 1. Множество функций (2.1) обладает свойством достижимости, если для любого заданного не равного нулю вещественного числа а и заданной

малой положительной величины е > 0, всегда можно найти суперпозицию из множества (2.1), (2.2) конечной длины такую, что выполняется неравенство

(26)

где А еЯ^о, / = 1,...,/, реР0.

Утверждение, что множество функций обладает каким-то свойством, означает, что как минимум одна функция из множества обладает этим свойством. Для доказательства утверждений необходимо построить из заданного множества функций одну суперпозицию, которая обладает указанным свойством. Теорема 1. Множество функций

Р - (,/„« - г,иг) - */1Л,« - 2/(г) (2.7)

./2,1 (*2) - + *2, /2,2 (*2) - *1*2},Р0 - Ч * 0 обладает свойством достижимости.

Доказательство. Если числа а и д, ад < 0, то используем функцию / 4(г) и

для уравнивания знаков ос^ 4 (д) > 0, поэтому влияние разных знаков чисел несущественно. В дальнейшем рассматриваем только числа с одинаковыми знаками, ад > 0.

Заметим, что

./■;»• • ■«./■;«Р = 2-А" д, ./:, о... о Лз«Р = 2м д (2.8)

/г « ./': « • • ■ « ./■; « Ч о О ... О О д = (2 ' + 2 ' )д. (2.9)

к м

->а" . ом -

./'•• /, ••• /, V /, ••• /, Ч (2- • 2 )д. (2.10)

а" а/

Вычислим отношение

5 - а/ Ч

и переведем полученный результат в двоичный код

(5 )2=сь...с1г^..Лиг, где с.,й?; е {0,1}, /' = 1,../., 7=1,.. .,М , с точностью до величины е

2-м <е.

Определим композиции функций по правилам

А =/2д °(саЛз ••• /V) ••• ./'• °(сзЛз /;) ./'• °с2./и °с1./ц> (2-11)

А

и

и

Ь-1

A, = f2l О dx fl2 о ... о f2l „ (dM fl2 о...о/j), (2 Л 2)

M

и

(213)

Согласно (2.8)-(2.10) получаем, что

' L-l M Л

f2loAloqoA2oq= q+^.,2"' <7 = 5<7- (2Л4)

v ,=1 ./=1 У

Из (2.14) получаем

I «-/у °4 °P°4 (215)

Теорема доказана.

Определение 2. Множество функций (2.1) обладает свойством гладкости, если для любого заданного полинома порядка n с вещественными коэффициентами л-" + ан !л'" 1... + с/,л- + с/,,, и заданной малой положительной величины е>0, всегда можно найти суперпозицию из множества (2.3) конечной длины такую, что выполняется неравенство

| х" + ап_ J*"4... + ахх + ап - / . о4°-ЦоЗС 1< £- (2.16)

где Д gFUKP}, 7=1,...,/, р = const, Р>0. Теорема 2. Множество функций

F = ¡Л,М = z, = z/2, A,(z) = 2z, Aj(z) = -z (2д7)

f2,1 (Z1 , Z2 ) = Z1 + Z2 , /2,2 (Z1, Z2 ) = Z1Z2 F0 = 4 4 * 0

обладает свойством гладкости.

Доказательство. Согласно теореме 1 множество функций (2.17) обладает свойством достижимости, поэтому любой не равный нулю вещественный коэффициент a,, i = 0,1,..., п — 1, может быть получен с любой точностью с помощью композиции функций этого множества

<tk=fuiaBKa-0BH>0<b (2.18)

где Bki eFU{tf}, i = \...,lk.

Составим композиции для степени и произведения

xk=/22 °x°...f22 °x°x, k = \,2,...,n, (2.19)

k-\

ak,xk =f22oak,oxk\ k = l,2,...,n-l (2.20) и для суммы элементов полинома

^ах' = f2l ° ахх о f2l о а2х2 °... ° а„, ° х"1

• я-1 я-1

(2.21) (2.22)

х" + «о + &х' = /=д ° х" ° /=д °

7=1 7=1

Теорема доказана.

Определение 3. Множество функций (2.1) обладает свойством кусочно-непрерывности, если для любой кусочно-непрерывной функции ^(х) е КС, заданной на интервале [х0, хп), которая имеет точки разрыва х1,..., хп_ 15 на интервалах между точками разрыва представима в виде полинома

;(х) = 2Х,х\ хе[х,х+1), / = 0,...,77-1

(2.23)

(2.24)

и заданной малой величины е > 0, существует конечная композиция функций из (2.1), для которой выполняется неравенство

I r{x) - fhJi о 4 о ... о А, о х |< 8, V/ G {0, .. , п - 1},

где

гп(х), если xe[x0,xj), г(х) = <:

гпЛ(х), если хе[хяЧ,хя),

4eFU{x,ß}, 7 = 1,...,/, ß = const, ß>0. Теорема 3. Множество функций

F = f (z) = z, fia (z) = z / 2, fU3 (z) = 2z, flA (z) = -z, fl 5 (z) = &(z),

f2,l (zi , z2 ) = zi + z2 , f2,2 (zi , z2 ) = zi z2 }, F0 = {<4 X}, 4 * 0, где &(z) — функция Хэвисайда

(2.25)

fi, если z > 0,

»(z) = r ,

0 - иначе

(2.26)

обладает свойством кусочно-непрерывности.

Доказательство. Согласно теореме 1 множество функций (2.25) обладает свойством достижимости, поэтому все вещественные значения точек разрыва х0,..., х. |, могут быть представлены композициями функций из множества (2.25)

где Ви еРи{д}, 7 = 1,...,4, А" = 0,..., 77 — 1.

(2.27)

i=i

k =0

Представим функции rk (x) полиномами hk (x) с точностью s/n, на интервалах

[xk, xk+i)

\rk(x)-hk(x)\<s/n,, xeK,xM), к = 0,1,..п-1. (2.28)

Согласно теореме 2 множество (2.25) обладает свойством гладкости, поэтому представим полиномы hk (х), к = 0,1,..., п — 1, в виде композиций функций

K(x) = fh,h*Ckio...oCkmioX, (2.29)

где C.ki еFU {.v, q}, i = 1, • ■ •, Щ, к = 0,..п Определим функцию

n—1

h(x) = £( (»(x — x0) — »( x — xk+i) )»( x — Xk )hk (x). (2.30)

k=1

Функция (2.30) обладает свойством

,, ч fhk(x) если xe[xk,xk+Д

h( x)=L

[0 — иначе.

Действительно для x e [xk,xk+1) согласно (2.26) имеем »(x — x0 ) = 1, »(x — xk+1) = 0, »(x — xk ) = 1, поэтому h(x) = (1 — 0)1hk (x) = \ (x). Для x < xk получаем »(x — x0 ) = 1, »(x — xk+j) = 0, »(x — xk ) = 0, и h(x) = (1 — 0)0h (x) = 0. Для x > xk+l получаем »(x — x0) = 1, »(x — xk+1) = 1, »(x — xk ) = 1, поэтому h(x) = (1 — 1)1hk (x) = 0. Представим функцию (2.27) с помощью композиций

v v.: > ./ • °/2д 0X0Ла °xf (2-31)

(3(x - x0) - Э(х - xk+l ))3(x - xk )hk (x)=Dk,

Dk = /2,2 ° /2,1 ° л? ° /2,1 ° x ° flA ° x0 0 flA ° fl,5 ° /2,1 ° x ° flA ° Xk+1 ° 3

0 /2,2 0 ./1,5 0 /2,1 0 X 0 ./1,4 0 Xk ° К < x>- * 1.....» 1-

= /2Д оД о/2д оД о...о /2 д о Д;_2 о 1)п , . (2.33)

Теорема доказана.

Очевидно, что, если суперпозиции функций из множеств F и F0 обладают каким-либо свойством, то суперпозиции функций из F и F0 также обладают этим свойством, если F с F и F0 с F0.

3. Решение задачи общего синтеза управления методом символьной регрессии

В качестве примера рассмотрим решение задачи общего синтеза управления одним из методов символьной регрессии, методом сетевого оператора. Набор эле-

ментарных функций, который использует метод сетевого оператора для рассматриваемых примеров, приведен в работах [4-8]. Рассмотрим систему уравнений

(3.1)

(3.2)

где

-1 < и < 1, I = 1,2.

(3.3)

Задано терминальное многообразие

х2 - 2^ = 0. (3.4)

Необходимо найти управление в виде

и = Л (х, X), I = 1,2 (3.5)

с учетом ограничений (3.3), чтобы на пространстве решений уравнений (3.1), (3.2) многообразие (3.4) стало аттрактором.

Метод сетевого оператора получил следующее решение

[ведСыД если |ы,.|>1 .

,'=1,2,

и, - иначе

(3.6)

где

«1 = -<7Л + ) 1п(| с/1х1 I +1) -с/2х2 + 8§п(х2)(ехр | х21 -1), (3.7)

Щ = г\ I +1), (3.8)

^=2.425354, д2 =1.000305.

Решение системы (3.1), (3.2) с управлением (3.7), (3.8) из четырех начальных условий

х01 = [-1,1 -1,1]т, х02 = [1 - 1,1]т, х03 = [-1,1 1]т, х04 = [1 1]г (3.9) приведены на рис. 1.

Рис. 1. Решение системы (3.1), (3.2) с управлением (3.7), (3.8)

Как видим из решения свойство аттрактора терминальное многообразие (3.4) приобретает в окрестности начала координат.

Зададим для системы (3.1), (3.2) другое терминальное многообразие

х,2 + х2 - 0.25 = 0. (3.10)

Метод сетевого оператора получил решение (3.6) со следующими значениями управления:

_ с\р( с/2 -А)- с\р( с/2),, 0 . , оо9

ы, = &

1 + ехр(-Л)

ехр(^2)-ехр(^2

(К2£3) + 8£9), (3.11)

+ йх -ц3 + ц(2В3) + 8В9, (3.12)

1 + ехр(-^)

где у = 2.221802, д2 = 0.370178, &(г) функция Хэвисайда (2.26).

А = $ Х2) + 1 - ^^ Х2) + 1П| Х2|, (3.13) 1 + exp(g2x2)

^_cexp(q2)-е^д -А) ^ щ 1 + exp(- А)

1 X. (

С = 1 - eXP(-F)^(-^1X1 + (УЛ)3)^(| х + (?1 ^)3|-1), (315)

Р = 1- «^Д- <УХ>;> exp (|м|-1), (3.16)

1 + exp(ql X - (ад) )

), если 1 2 |> 1, И (3.17)

[2 - иначе.

Решение системы (3.1), (3.2) с управлением (3.11), (3.12) для тех же начальных значений (3.9) приведено на рис. 2.

Как видим из решений, терминальное многообразие (3.10) приобрело свойства аттрактора.

Для исследования свойств аттрактора терминального многообразия для исходной системы (3.1), (3.2) с полученным управлением (3.11), (3.12) рассмотрим частные решения системы с другими начальными значениями

На рис. 3а приведены решения системы с начальными значениями х05 = [-1.1 0]т, х06 = [1 0]т, х07 = [0 - 1.1]т, х08 = [0 1]т. На рис. 36 приведены решения системы (3.1), (3.2) с начальными условиями х09 = [-0.25 -0.25]т, х010 = [0.25 —0.25]т, х011 = [-0.25 0.25]т, х012 = [0.25 0.25]т.

Рисунок 2. Решение системы (3.1), (3.3) с управлением (3.11), (3.12)

а)

б)

Рисунок 4. Решение системы

Как видим из рисунков, частные решения замкнутой системы приближаются к терминальному многообразию (3.10) как из начальных условий вне области, ограниченной терминальным многообразием, так и из внутренней части области, ограниченной многообразием. Отметим, что приближение к терминальному многообразию внутри области осуществляется значительно медленнее, чем из точек вне области, ограниченной многообразием.

Для обеих задач общего синтеза в качестве начальных условий рассматривались шестнадцать точек в узлах сетки в квадрате —1,1 — x — 1, —1,1 — X — 1, заданной с шагом 0,7.

4. Заключение

Приведены некоторые свойства суперпозиций функций, которые используются в численных методах поиска структур и параметров функций, методами символьной регрессии. Даны определения свойств достижимости, гладкости и кусочно-непрерывности суперпозиций функций. Доказаны теоремы о множествах элементарных функций, которые обладают определенными свойствами суперпозиций функций.

Одним из методов символьной регрессии решены задачи общего синтеза для нелинейной системы второго порядка, полученные методом сетевого оператора математические выражения, для функций управления являются достаточно сложными, но обеспечивают свойства аттрактора заданным терминальным многообразиям.

Литература

[1] Koza J. R. Genetic Programming: On the Programming of Computers by Means of Natural Selection. — Cambridge : MIT Press, 1992. 819 p.

[2] O'Neill M., Ryan C. Grammatical Evolution. Evolutionary Automatic Programming in an Arbitrary Language. — Kluwer Academic Publishers, 2002.

[3] Zelinka I. Analytic programming by Means of Soma Algorithm // Proc. 8th International Conference on Soft Computing Mendel'02. — Brno, Czech Republic, 2002, p. 93-101.

[4] Дивеев А .И. Метод сетевого оператора. — М. : ВЦ РАН, 2010. 178 с.

[5] Дивеев А. И., Софронова Е. А. Метод сетевого оператора и его применение в задачах управления. — М. : РУДН, 2012. 182 с.

[6] Дивеев А. И. Численный метод сетевого оператора для синтеза системы управления с неопределенными начальными значениями // Известия РАН. Теория и системы управления. 2012. № 2. С. 63-78.

[7] Diveev A. I., Sofronova E. A. Numerical method of network operator for multi-objective synthesis of optimal control system // Proceedings of 7th International Conference on Control and Automation (ICCA'09) (Christchurch, NZ, December 9-11 2009). — Christchurch, 2009. P. 701-708.

[8] Diveev A. I., Sofronova E. A. The Network Operator Method for Search of the Most Suitable Mathematical Equation // Ch. in the Book: Bio-Inspired Computational Algorithms and Their Applications / Ed. by Shangce Gao. — Croatia : Intech Printed, 2012. P. 19-42.

Авторы:

Асхат Ибрагимович Дивеев — доктор технических наук, профессор, зав. сектором проблем кибернетики, отдел Нелинейного анализа и проблем безопасности, Федеральный исследовательский центр «Информатика и управление» РАН; заведующий кафедрой Кибернетики и мехатроники, Российский университет дружбы народов

Properties of Superpositions of Functions for Numerical Methods of Symbolic Regression

A. I. Diveev

Federal Research Center "Computer Science and Control" of Russian Academy of Sciences 44 Vavilova str., 119333 Moscow, Russia

e-mail: [email protected]

Abstract. Superposition or the composition functions used in symbolic regression methods that are used in the creation of computational methods to search for the structures of mathematical expressions. An example of solutions of general management tasks for the synthesis of non-linear second-order object is presented. It is shown here that the symbolic regression method allowed finding such control functions that ensure the properties of the attractor of two different varieties of the terminal.

Key words: superposition of functions, symbolic regression methods, synthesis of optimal control, attractor.

References

[1] Koza J. R. (1992) Genetic Programming: On the Programming of Computers by Means of Natural Selection. MIT Press.

[2] O'Neill M., Ryan C. (2002) Grammatical Evolution. Evolutionary Automatic Programming in an Arbitrary Language. Kluwer Academic Publishers.

[3] Zelinka I. (2002) Analytic programming by Means of Soma Algorithm, In Proc. 8th International Conference on Soft Computing Mendel'02. Brno, Czech Republic, pp. 93-101.

[4] Diveev A .I. (2010) Metod setevogo operatora. Moscow, RAS. [In Rus]

[5] Diveev A. I., Sofronova E. A. (2012) Metod setevogo operatora i ego primenenie v zadachah upravlenija. Peoples' Friendsh. Univ. Rus. [In Rus]

[6] Diveev A.I. (2012) Journal of Computer and Systems Sciences International, 51(2):228-243.

[7] Diveev A. I., Sofronova E. A. (2009) Numerical method of network operator for multi-objective synthesis of optimal control system, In Proc. 7th International Conference on Control and Automation (ICCA'09) Christchurch. New Zealand. 2009, pp. 701--708.

[8] Diveev A. I., Sofronova E. A. (2012) The Network Operator Method for Search of the Most Suitable Mathematical Equation, Ch. in the Book: Bio-Inspired Computational Algorithms and Their Applications. Croatia, Intech Printed, pp. 19-42.