CC BY
34
НЕЙРОШФОРМАТИКА ТА ШТЕЛЕКТУАЛЬН! СИСТЕМИ
НЕЙРСННФОРМАТИКА ТА ШТЕЛЕКТУАЛЬШ СИСТЕМИ
НЕЙРОИНФОРМАТИКА И ИНТЕЛЛЕКТУАЛЬНЫЕ СИСТЕМЫ
NEUROINFORMATICS AND INTELLIGENT SYSTEMS
UDK 004.93
Yevgeniy Bodyanskiy, Vitaliy Kolodyazhniy, Irina Pliss, Olena Vynokurova
LEARNING WAVELET NEURON BASED ON THE RASP-FUNCTION
In the paper, an optimal online learning algorithm of a wavelet neuron based on the RASP wavelet is proposed. The algorithm provides not only the tuning of synaptic weights in real time, but also the tuning of dilation and translation factors of daughter wavelets. The algorithm has both the tracking and smoothing properties, so the wavelet neuron trained with this algorithm can be efficiently used both individually and as a part of artificial neural networks for prediction of various nonlinear time series.
INTRODUCTION
Artificial neural networks have been widely used in recent years to solve a wide range of problems related to signal processing because they provide high quality of approximation, prediction, filtering, etc. of substantially stochastic and chaotic si nals under a riori and current uncertainty. Along with neural networks, the wavelet approach has been developed which is a very effective technique for local representation of signals in both time and frequency domains [9, 19, 23]. These two approaches are employed in the wavelet neural networks, which combine the flexibility and learning abilities of neural networks with compact description of various signals inherent to wavelets [1, 2, 7, 8, 26, 27]. It is interesting to note Jiai. die wavele^ neural networks, like the radial basis function networks (RBFNs), are based on the concept of polynomial kernel approximation [10] and, similarly to RBFNs [21], are universal approximators [13, 16, 20].
The need of real-time processing led to the development of adaptive wavelet neural networks [5, 6, 14, 15, 22, 25], whose efficiency is determined by the rate of convergence of their learning algorithms. The most widely used learning a'gorit"m is t' e gradient descent wit" empirica' y с osen learning rate. Naturally, the slow convergence of the
conventional gradient-based algorithms and architectural complexity of most wavelet networks can complicate the processing of non-stationary signals with rapidly changing parameters.
/ WAVELET NEURON AND ITS LEARNING
ALGORITHM
Let us consider the structure of the wavelet neuron, shown in fig. 1. In contrast to a standard n-input artificial neuron, the wavelet neuron has wavelet synapses WS,, i= 1, 2,..., n, whose adjustable parameters are not only weights Wj-, but also the dilation and translation factors
of daughter wavelets (p¡AxAle)) .
ji i
Figure 1 - Wavelet neuron
118
ISSN 1607-3274 "Радюелектрошка. 1нформатика. Управлшня" Jsfe 1, 2004
When a vector signal x(k)=(x^(k),x2(k), ...,xn(k))1
(where k =0, 1, 2,... wis discrete time) is fed to the input of the wavelet neuron, the output of that neuron is determined by both the tunable weights and wavelet functions
y(k)= £./;.(*(*))= £ ^wJk^Mk)). (i5> i = 1 i = \j = 1
As mother wavelets for neural networks, the family of RAtional functions with Second-order Poles (RASP wavelets) is very convenient. RASP wavelets stem from the residual theorem of complex variables [12, 17]. This family of wavelets are real-valued, odd functions with zero mean. One of the most interesting RASP wavelets is
sx-(k) cos(x-(k)) CPMk)) = A ■
Jl ' xf(k) + 1
shown in figure 2 in three-dimensional space.
are also wavelets.
Let us use the standard quadratic error function as the learning criterion for the wavelet neuron
E(k) = ±(d(k)-y(k))2 = X-e\k) =
f z. \ 2
n h, z
d(k)~ x £ ^mw)
i =1.7=1
(21)
where d(k) is the target value. The derivatives of the error function with respect to the tuned parameters of the wavelet
(16)
■st,,(^)cos(t,,(A)) ^ =-e{k)%i{xi{k))=-e{k) \j[{k) + "x
dE(k) VJi
, (22)
(23)
Figure 2 - Activation function - RASP wavelet
dE{k) ,,, ,,J<P W)
($(*)+ I)2
f^f=-e(k)Wj!(k) J' ^ =e(k)(wji(k))s(xi(k)-cjl(k))x ji ji
{fiik)+ l)2
Using the gradient-based procedure to minimize (8), we obtain the learning algorithm for the wavelet neuron
The daughter wavelet of the function (2) is
ST..(£)cos(T,.(£)) <!>/,■(*,■(*)) = -21-21-
where
t),-(*)
xj^k) + 1
X[(k) - Cjj(k)
aJt(k)
(17)
(18)
is the normalized parameter equal to 2.7435, and Cjj(k), Ojj(k) are the parameters that determine the location of the center (translation) and the width (dilation) of the wavelet. The derivatives of the function (3) with respect to the translation and dilation parameters dtp
dCj,
and
3o7.1
(#(*)+! Y
-siXiW-Cjttyx
($(*) + l)2
sxn{k) cos(x.(£)) wji(k+ 1) = Wji{k) + yr{k)e{k)^-*-
7'v
i/W+1
(cos(T/,.W)(T2(A:)-D+t/,.(A:)sin(T/,.(^)(T2W+1
(x?-(*) + I)2
(25)
^ _(cos (x/; (£)) (x;2. (/:) - i) +x/; (£)s in (x/;.(k))( xjt (k)+\)) (xji(k) + l)2
where T|w(&),r|c(A:),r|CT(&) are the scalar parameters that determine the length of the step in the parameter space.
Introducing (A.xl) vectors cp^x^ft)) = ((p^;(x;(A:)), ,cp2,.(x,.(A:)),... ,<phji(Xi(k)))T, Wl{k)={wx fk),Wll(k)„. ,whil(k)f,
cfk)^)^,. ..,chjl(k))T, a~}(k)=(a^j (k)v~2\(k),...,
...,a-^(k))T and x,.(£) = {Tu(k)s2i(k),...,Th.(k))T, we
can obtain the gradient-based learning algorithm for the i-th wavelet synapse
HEËPOIHOOPMATMKA TA IHTEJIEKTYAJIbHI CHCTEMM
(26)
Wi(k+ 1) = W,.(*) +rT^M*)^*)), c^k+i) = c^ + rfikyWw^sajyik)® (cos(t,.(*))(t,?(*)-£) +Tl(k)sm(Tl(k))(T?(k)+E)) (x2 (k)+E)2
3j\k+ \)=ar\k)-r]G(k)e(k)wi(k)s(xi(k)-ci(k)) ® (cos (x ,■(£)) (x2 (k)-E) +xi(k) sin (x;(£))(x2 (ft) +E) (zf(k)+E)2
where x}(k) = a~\k)®cr\k)®{x{k)-ci{k))®{xi{k)-ci{k)) , symbol " ®" stands for direct product (element-wise multiplication), E = (1,1,. ..,1)^ is a vector (/i(-X 1) of ones.
The rate of convergence of the learning algorithms can be increased via the use of the second-order procedures, such as the Levenberg-Marquardt algorithm widely used to train neural networks [24]. Denoting
<Pf (*,-(*)) = w^sufik)®
(cos (x ,(£)) ® (u 2 (&)-£■)+x (k)® sin ((x -(£)) ® (x 2 (k)+£))) ®---'-'---'-
cpf{Xi{k)) = w^six^k) - Ci{k)) ® (27)
(cos (ij(k) )®(c? (k)-E)+Tj(k)®sin ((x;( k))®(c? (k)+E)))
X (T?(k)+Ef '
we can write a learning procedure based on the LevenbergMarquardt algorithm for the i-th wavelet synapse
• #+1) =ci(k)+{^{xi{k))yf(xi(k)) +ac[irie(k)<pci(xl(k)), (28)
where aw,ac,aCT are regularizing additional terms, 7(- is the unity matrix hi x hi.
Using the matrix inversion lemma and performing a sequence of obvious transformations [3-6], we can re-write the algorithm (15) in the following simple form, which does not require matrix inversions and is well-suited for real-time operation
„ . e(k)<f>t(Xl(k)) <?(£)(p,(x,(/:))
aw +
Ih-wih
a w(k)
e(k)q>f(x(k)) e(k)q>f(x(kj) Cj(k+ D =Ci{k)+ ' ' =Ci{k)+-l—l—, (29)
aL +
||<P?(*,(*))||:
a (k+1) = ct,1 (k)+ n| ' = (*)+
ac(k)
e(k)q>°(Xl(k)) aG(k)
For smoothing properties, we can introduce the following exponentially-weighted modification of the algorithm (16)
af{k+\) = aafW + W^iXiik))!2, a f(k + 1) = aaf(k) + ||(pf(^№)||2, (30)
af{k+\) = aaf(k) + ||(p?(x/ft))||2,
where is a forgetting factor.
It can be readily seen that when a=l the algorithm (16), (17) has the properties of stochastic approximation, similar to those of the adaptive identification algorithm of Goodwin-Ramadge-Caines [11]. When a=0, the algorithm (16), (17) is similar to the well-known Widrow-Hoff procedure.
The use of the modified second order algorithms, proposed in this paper, does not complicate the implementation of the tuning procedures for the wavelet synapses significantly, providing at the same time a higher rate of convergence.
2 EXPERIMENTAL RESULTS
The efficiency of the wavelet neural neuron and proposed learning algorithms were tested in the problem of chaotic time series prediction. The chaotic signal was generated by the well-known Mackey-Glass time delay differential equation
= 0,2x(f-T) _Qlx(0
\+xw{t-i)
(31)
with initial conditions x(0) = 1,2 and delay X = 30.
The training data set contained 50000 values for t = 118, ...,50117, and the checking data set contained 500 values for t = 50118, ..., 50617 . The wavelet neuron had 9 synapses, corresponding to the 9 inputs (x(t - 8), x(t-7), ...,x(t - \), x(t), n= 9), and 5 wavelets in each synapse 5, i= 1...9). The neuron was
trained using the algorithm (17) with a = 0, 99 .
The normalized root mean squared error measure (NRMSE) was used to estimate the forecast accuracy on the checking data. Fig. 2 shows the results of forecasting of the data from the checking set after 50000 iterations of online learning.
NRMSEchk=0.079594
5.015 5.02 5.025 5.03 5.035 5.04 5.045 5.05 5.055 5.06
Figure 3 - Forecast of the checking set from the Mackey-Glass time series by the wavelet neuron with 5 wavelet synapses after 50000 iterations of online learning
120
ISSN 1607-3274 "PaaioejieKTpoHiKa. Inc|)opMaTHKa. ynpaBJiinHH" № 1, 2004
The results of the wavelet neuron were compared with those obtained using an RBF network and a multiplayer perceptron (MLP). The RBF network had 9 basis functions (hidden layer units). The parameters of the basis functions (centers and radii) were trained online using the gradient descent (GD), whereas the output layer parameters were tuned with the recursive least squares method (RLSE). The MLP had 2 hidden layers (with 9 and 3 neurons with the hyperpolic tangent activation functions respectively), and a linear output layer. The weights of the MLP were trained in batch mode using the resilient propagation learning rule (RPROP), which is known to be one of the most effective gradient-descent-based learning procedures. For the MLP, both the training and checking sets contained 500 data points, and the training was performed for 100 epochs.
The summary of the experiment is given in Table 1.
Table 1 - Performance of the networks in the forecasting of the chaotic process
The wavelet neural network had the smallest number of parameters among all the compared networks, though it provided the best forecast.
CONCLUSIONS
A new optimal learning algorithm for a wavelet neuron was proposed, which can be used to tune all the parameters of the neuron and has both the tracking and filtering properties. The implementation of the algorithm is quite simple. The use of the wavelet neuron and proposed learning algorithms was demonstrated in the problem of chaotic time series prediction.
REFERENCES
1. Aussem A., Campbell J., Murtagh F. Wavelet-based feature extraction and decomposition strategies for financial forecasting // J. Comput. Intell. Finance, March 1998, - P.5-12.
2. Aussem A., Murtagh F. Combining neural networks forecasts on wavelet transformed time series // Connection Science. - 1997. - 9. - P. 113-121.
3. Bodyanskiy Ye., Kolodyazhniy V., Stephan A. An adaptive learning algorithm for a neuro-fuzzy network / In "Computational Intelligence. Theory and Applications." Ed. by B. Reusch. - Berlin - Heidelberg - New York: Springer, 2001. -P. 68-75.
4. Bodyanskiy Ye., Vorobyov S., Stephan A. Detection of NARMA Sequence Order Using Recurrent Artificial Neural Networks // Proc. European Control Conference ECC'99. -Karlsruhe, Germany, 1999.
5. Бодянский E.B., Винокурова E.A. Обучение искусственных всплеск-нейронных сетей при обработке нестацио-
нарных стохастических сигналов // Радиоэлектроника и информатика, №1 (22), 2003, Харьков, XTVP3. - С.85-89.
6. Бодянский Е.В., Винокурова Е.А., Плисс И.П. Адаптивный алгоритм обучения полиномиального вэйвлет-нейрона // Автоматика 2003: Материалы 10-й международной конференции по автоматическому управлению, г. Севастополь, 15-19 сентября 2003 г.: в 3-х т., -Севастополь: Изд-во СевНТУ, 2003. - Т.З. - С.32-34.
7. Casarent D.P., Smokelin J.S. Neural net design of macro Gabor wavelet filters for distortion-invariant object detection in clutter // Optical Engineering - 1994. - 33. - P. 2264-2270.
8. Chang P.R., Yeh B.-F. Nonlinear communication channel equalization using wavelet neural networks // IEEE Tran. on Neural Networks. - 1995. - 6. - P. 923-934.
9. Daubechies I. The wavelet transform, time-frequency localization and signal analysis // IEEE Trans, on Information Theory. - 1990. - 36. - P. 961-1005.
10. Dzyadyk V.K. Introduction to the theory of uniform approximation of functions by polynomials. - Moscow: Nauka, 1977. (in Russian)
11. Goodwin G.C., Ramadge P.J., Caines P.E. A globally convergent adaptive predictor // Automatice. - 1981. - 17. - P. 135-140.
12. Imhoff S.A., Roeum D.Y., Rosiek M.R. New Classes of Frame Wavelets for Applications, / In "Wavelet Applications
11." Ed. by H. H. Szu. - Proc. SPIE - The International Society for Optical Engineering. - Vol. 2491. - 1995. - P. 923-934.
13. Jiao L., Pan J., Fang Ya. Multiwavelet neural network and its approximation properties // IEEE Trans, on Neural Networks. - 2001. - 12. - P. 1060-1066.
14. Jouny I., Kanapathipillai M. Neural network adaptive wavelet classification of radar targets // Proc.1994 Int. Geosci-ence and Remote Sensing Symp. -1994,- P. 1889-1891.
15. Kadambe S., Srinivasan P. Applications of adaptive wavelets for speech // Optical Engineering. - 1994. - 33. - P. 2204-2211.
16. Kobayashi K., Torioka T.A wavelet neural network for function approximation and network optimization / In "Intelligent Engineering Systems Through Artificial Neural Networks." Ed. by C.H. Dagli, B.R. Fernandez, J. Ghosh, R.T.S. Kumara. - Vol. 4. - 1994. - P. 505-510.
17. Lekutai G., van Landingham H.F. Self-tuning control of nonlinear systems using neural network adaptive frame wavelets // Proc. IEEE Int. Conf. on Systems, Man and Cybernetics. - Piscataway, N.J. - Vol. 2. - 1997. 1017-1022
18. Mackey, M.C., Glass, L. Oscillation and chaos in physiological control systems // Science. -1977. - 197. - P. 287-289.
19. Mallat S.G. A theory for multiresolution signal decomposition: The wavelet representation // IEEE Trans, on Pattern Anal. Machine Intell. - 1989. - 11. - P. 674-693.
20. Marar J.F., Filho E.C. B.C., Vasconcelos G.C., Function approximation by polynomial wavelet generated from powers of sigmoids / In "Wavelet Applications III." Ed. by H. H. Szu. - Proc. SPIE - The International Society for Optical Engineering. - Vol. 2762. - 1996. - P. 365-374.
21. Park J., Sandberg I.W. Universal approximation using radial-basis-function networks // Neural Computation. - 1991. -3. - P. 246-257.
22. Resnikoff H.L. Wavelets and adaptive signal processing / In "Adaptive Signal Processing." Ed. by S. Haykin. - Proc.SPIE-Int. Soc.Optical Engineering. -Vol. 155. -1991. -P. 370-382.
23. Rioul 0., Vetterli M. Wavelets and signal processing // IEEE Signal Processing Mag. - 1991. - 8. - P. 14-38
24. Shepherd, A.J. Second-Order Methods for Neural Networks. - London: Springer-Verlag, 1997.
25. Szu H.H., Telfer B.A., Kadambe S. Neural network adaptive wavelets for signal representatin and classification // Optical Engineering. - 1992. - 31. - № 9. - P. 1907 - 1916.
26. Zhang Q., Benveniste A. Wavelet networks // IEEE Trans. on Neural Networks. - 1992. - 3. - P. 889-898.
27. Zhang B.L., Coggins R., Jabri M.A., Dersch D., Flower B. Multiresolution forecasting for futures trading using wavelet decomposition // IEEE Trans, on Neural Networks. - 2001. -
12. - P. 765-774.
Надшшла 26.03.04
В статье предложен новый оптимальный по быстродействию алгоритм обучения вэйвлет-нейрона, обеспечивающий настройку в реальном времени не только синоптических весов, но и параметров растяжения и сдвига дочерних вэйвлетов. Алгоритм обладает как следящими, так и сглаживающими свойствами, что позволяет эффективно использовать вэйвлет-нейроны как самостоятельно, так и в составе искусственных нейронных сетей для решения задач прогнозирования нелинейных временных рядов произвольной природы.
Network / Training Procedure Parameters Iterations NRMSEchk
1 WNN / Proposed 54 50000 0.0796
RBFN / GD+RLSE 100 50000 0.0814
MLP / RPROP 124 100 epochs, 500 samples each 0.1088
НЕЙРОШФОРМАТИКА ТА ШТЕЛЕКТУАЛЬН! СИСТЕМИ
В стат1 запропоновано новый оптимальный за швидко-Згею алгоритм павчапня вейвлет-нейрона, що забезпечуе настроювання в реальному час1 не тыьки синаптичних кoeфiцieнmiв, але й параметр1в розтягання та зсув{в дочгр-шх вейвлет1в. Алгоритм мае як сл{дкуюч1, так г згладжу-
юч1 властивост1, що дозволяе ефективно використовувати вейвлет-нейрони як самостшно, так г в склад{ штучних нейронних мереж для ршення задач прогнозування нелтш-них часових ряд1в довтьног природи.
УДК 681.3
А.И. Дипчанский, У.И Лесовик, Зидат Хабис
СИНТЕЗ ЗАДАННОЙ НЕЙРОННОЙ СЕТИ В ПРОГРАММИРУЕМУЮ ЛОГИКУ
Описывается методология проектирования нейронных сетей (НС) для прогнозирования. С помощью пакета Ыеиго-Рго V 0.25 проведено обучение НС. Алгоритм функционирования НС описан на языке УНИЬ с учетом оптимальных параметров НС. Разработана модель НС, проверена правильность функционирования на тестовых примерах. При помощи пакета 5упрИ(уРго 7.0 от ЗупрНсИу® произведен сынтез устройства с орыентацыей на микросхему семейства \'{г1ех П ХС2У6000. Приведены структуры НС, аппаратурные затраты сведены в таблицу.
АКТУАЛЬНОСТЬ ПРОБЛЕМЫ
И ПОСТАНОВКА ЗАДАЧИ
Аппаратная реализация нейронных сетей (НС) обеспечивает максимально возможное быстродействие при решении специфических нейросетевых задач, таких как диагностика, распознавание образов, управление, прогнозирование и т.д. Такие НС позволяют реализовать преимущества свойственного им параллелизма и работают на несколько порядков быстрее по сравнению с их программной симуляцией. Особенно это актуально для задач реального времени, связанных, например, с ориентацией объектов в пространстве (манипулятор робото-технического комплекса, беспилотный транспорт и т.п.).
Использование современных перепрограммируемых пользователем базовых матричных кристаллов (РРОА) для реализации НС можно считать альтернативой по отношению к только программным или только аппаратным вариантам имплементации. Современные РРОА имеют значительный объем ресурсов - до 10 млн. системных вентилей на кристалл, высокую производительность с рабочими системными частотами до 420 МГц и возможностью реконфигурации кристалла непосредственно на рабочем месте [1].
Применение современной широкой номенклатуры РРОА, а также средств их автоматизированного проектирования и отладки, позволят объединить достоинства программного и аппаратного способов реализации НС. При этом могут быть решены вопросы, связанные с проблемой уменьшения стоимости и сроков разработки, а также снижения аппаратных затрат при схемной реализации НС и дальнейшей ее модификации.
Поскольку в данной статье основное внимание уделяется методическим вопросам синтеза НС в программи-
руемую логику, авторами допускаются следующие упрощения: структура НС заранее задана, оптимизирована и обучена по алгоритму обратного распространения известны количество нейронных элементов с весовыми коэффициентами каждого из нейронов, необходимых для правильной работы НС.
В качестве примера для реализации рассмотрим НС, приведенную в [2], где описана целевая задача медицинской диагностики, моделирование и оптимизация структуры заданной НС. Несмотря на то, что статистическая медицинская диагностика не относится к задачам реального времени, методика синтеза НС, описанная ниже, применима для любой произвольно заданной структуры НС.
Статья содержит пример реализации НС и описание этапов ее разработки от функционального описания модели до оценки временных и аппаратурных характеристик. Приведена оценка оптимальности использования модели НС, полученной после описания используемого нейроалгоритма, в коде VHDL.
АППАРАТНЫЙ СИНТЕЗ ЗАДАННОЙ НС
В ВИДЕ ПЛМ
Для реализации НС в аппаратурном виде полученная структурная модель НС была представлена в кодах языка VHDL. Полученная на языке VHDL модель содержит функциональную модель НС и составленный "тест-бенч" с необходимыми тестами для проверки функционирования до синтеза, после синтеза и после размещения логики на чипе. Следующим этапом модель была синтезирована в цифровую логику для последующей имплементации на таких цифровых устройствах как FPGA.
VHDL (VHSIC Hardware Description Language, IEEE Standard 1076-1993)[3] является языком описания аппаратных средств общего назначения, используется для описания и моделирования функционирования широкого ряда цифровых систем и позволяет, с принятием подходящего из стилей кодирования, синтез кода в цифровую логику [4]. Язык позволяет проектировщику использовать одинаковое описание модели при создании и симуляции предварительной концепции проекта и, если
