Genetic approach to training neural networks: application to a forecast of stock market volatility Текст научной статьи по специальности «Медицинские технологии»

где - “пороговая” целевая функция текущей популяции Р(0.

9. Полученная популяция РО+1) становится исходной, и цикл повторяется с п.5 все время, пока 0+1 )<п (т.е. пока не будет получена популяция Р(п)).

10. Полученные в результате селекции популяции Р(п) решения будут являться наилучшими.

Заключение

На сходимость решения оказывают влияние значения вероятностей ОК и ОМ. Размер популяции I принят фиксировании. Примененный алгоритм является простым генетическим алгоритмом (ПГА). Произвести его более подробное исследование возможно при помощи системы исследования генетических алгоритмов (СИГА) [2].

Литература

1. В.М.Курейчик. Математическое обеспечение конструкторского и технологического проектирования с применением САПР. М.: Радио и связь, 1990

2. Известия ТРТУ, N0 3 Материалы всероссийской научно-технической конференции с участием зарубежных представителей “Интеллектуальные САПР - 95” Таганрог, 1996.

Y/tK 658.512

S. Dergatchev

GENETIC APPROACH TO TRAINING NEURAL NETWORKS: APPLICATION TO A FORECAST OF STOCK MARKET VOLATILITY

Abstract: This paper describes the ANN method of derivatives pricing and reports on experiments to evolve suitable parameterizations of given ANN architecture. In the literature, when interest rate, the mean rate of return and the volatility of the underlying asset follow general stochastic processes, the exact solution is usually not available. In particular, we shall illustrate how genetic algorithms, as numerical approach, can be potentially helpful in dealing with derivatives. Genetic algorithms have been applied to training of ANN. The best evolved network found by basic genetic algorithms are compared with least squares regression of actual values. We have demonstrating the utility of evolutionary optimization in a concrete application.

Introduction.

Artificial neural networks have the ability to approximate arbitrarily well a large class of functions' ANN’s, therefore, have at large potential to capture complex nonlinear relationships between a group of variables, which simple linear models are unable to capture. A typical training method for the ANN modeling is some manner of supervised learning on a training sample, of which lhe familiar backpropagation is an exaple. It is almost certain, however, that in many optimization Problems for which ANN’s are considered to be appropriate architectures for search over mappings, state space will exhibit many local optima, rendering gradient-descent methods such as backpropagation unreliable. In response to this problem of local optima, techniques of evolutionary optimization such as genetic algorithms have been applied to the training of ANN’s. Genetic algorithms, another biologically inspired evolutionary proccss, provide an adaptive, robust, parallel, and randomized searching technique in which a population of solution evolves over a sequence of generations to a globally optimal solution2 Based on fitness function, good solutions are selected for reproduction using two genetic recombination operators: crossover and mutation. In neurogenetic systems, the two components may interact in many ways to overcome a neural network limitation.

Материалы Всероссийской конференции

“Интеллектуальные САПР-97”

Problem Formulation

Given a set n samples {y(t|), yteX-.yOn)} in a time sequence, ti, t2, ...,t„., the task is to predict the sample y(tn+i) at some future time t„+i. Prediction has a significant impact on decision -making in business and science. We chose to test ANN’s with these applications because the trading rules are heavily influenced by the type of human decision making that cannot be expressed appropriately with conventional logic.

The Approach

Bond prices and currency exchange rates change continuously due to market shocks ranging from governmental economic performance announcements to new report of international crises. Interest rates, a major trading determinant, are closely tied to domestic economic factors. Statistical data released periodically by a any government - such as the budget deficit, consumer price index, gross national product, factory orders index, number of job created, and unemployment rate-reflect the economy’s performance. This strongly affects money market supply and demand , which causes interest rates to rise and fall. Individual sets of economic statistics are usually released on different days, and the market will react to the information released on a particular day.

We will be describe an experiment which evolves single hidden-layer perceptrons to forecast of stock price volatility. In general, a standard L-layer feed-forward network (we adopt the convention that the input nodes are not counted as a layer) consists of an input stage.(L-l) hidden layers, and an output layer of units successively connected(fully or locally) in a feed-forward fashion with no connections between units in the same layer and no feedback connections between layers. The most popular class of multilayer feed-forward networks is multilayer perceptrons in which each computational unit employs cither the thresholding function or the sigmoid function. The development of the genetic learning algorithm for determing weights in a multilayer perceptron has made these networks the most popular among researches of neural networks. We denote Wjj(l) as the weight on the connection between the ith unit in layeT (/-1) to jth unit in layer /. Let {(x(1\

d<l>),(x(2),d<2)).(x(p), d(p))} be a set of p training patterns (input-output pairs), where \(i)sRln) is the

input vector in the /i-dimensional pattern apace, and d(>€ [0, l]m, an m-dimensional hypercube. The squared-error fitness function most frequently used in the ANN literature is defined as

^ 1=1

Experimental results

We tested the bond trading system with 60 cases of bond price movements and associated environmental factors and the currency option trading system with 33 cases of currency exchange rate fluctuations with historical trade data from The Wall Street Journal3

Table 1.

Comparison of the ANN method with least squares regression (LSR)

Bond trading__________ Currency option trading

Sitlglt! statistics Multiple statistics Total Single statistics Multiple statistics Total

Number ofcases 45 15 60 27 6 33

LSR:

Number successful 42 9 51 22 3 25

Percent successful 93 60 85 81 50 76

ANN:

Number successful 39 10 49 23 4 27

Percent successful 87 67 82 85 67 82

References

1. J.Hertz, A.Krogh, and R.G.Palmer, Introduction to the Theory of Neural Computation, Addison-Wesley,Reading,Mass., 1991.

2. David E. Goldberg, Genetic Algorithms in Search, Optimization and Machine Learning. Addison-Wesley Publishing Company, Inc., 1989.

3. The Wall Street Jornal, Jan. 1987-Dec. 1990.

УДК 658.512

Курейчик B.B.

Перспективные архитектуры генетического поиска

В последнее время появились новые «нестандартные» архитектуры генетического поиска, позволяющие в большинстве случаев решать проблему предварительной сходимости алгоритмов. Это методы миграции и искусственной селекции [11, метагенетической параметрической оптимизации [2], стохастически-итерационные генетические и поисковые [3], □ прерывистого равновесия □ [4], объединения генетического поиска и моделирования отжига [5].в [1] в отличие от обыкновенных ГА выполняется макроэволюция, т.е. создается не одна популяция, а некоторое множество популяций. Генетический поиск здесь осуществляется путем объединения родителей из различных популяций. В отличие от [1-5] предлагается модифицированная архитектура генетического поиска с миграцией и искусственной селекцией (Рис. 1 ,).3десь блоки 1 - 3 представляют собой простой или модифицированный ГА. Отметим, что в каждом блоке выполняется своя искусственная селекция. В первом блоке селекция на основе рулетки. Во втором блоке используется селекция на основе заданной шкалы. В третьем блоке - элитная селекция. В блок миграции каждый раз отправляется лучший представитель из популяции. Связь между блоками 1 - 3 осуществляется путем последовательной цепочки 1 - 2, 2 * 3.Отметим, что можно организовать различное количество связей между блоками, такого ™па, как по принципу полного графа, по принципу звезды и т.д. Такая схема селекции в случае наличия большого количества вычислительных ресурсов может быть доведена до N блоков. Причем N-1 блоков могут параллельно осуществлять эволюционную адаптацию и через блоки миграции обмениваться лучшими представителями решений. Последний блок собирает лучшие решения, может окончить результат работы или продолжить генетическую оптимизацию. Такая схема оптимизации в отличие от существующих позволяет во многих