Две модели нейронных сетей для одношагового прогноза нестационарных временных рядов Текст научной статьи по специальности «Математика»

ISSN 0321-3005 ИЗВЕСТИЯ ВУЗОВ. СЕВЕРО-КАВКАЗСКИИ РЕГИОН._ЕСТЕСТВЕННЫЕ НАУКИ. 2018. № 4

ISSN 0321-3005 IZVESTIYA VUZOV. SEVERO-KAVKAZSKII REGION. NATURAL SCIENCE. 2018. No. 4

ФИЗИКО-МАТЕМАТИЧЕСКИЕ НАУКИ PHYSICAL AND MATHEMATICAL SCIENCES

УДК 519.2 DOI 10.23683/0321-3005-2018-4-4-11

ДВЕ МОДЕЛИ НЕЙРОННЫХ СЕТЕЙ ДЛЯ ОДНОШАГОВОГО ПРОГНОЗА НЕСТАЦИОНАРНЫХ ВРЕМЕННЫХ РЯДОВ*

© 2018 г. Г.И. Белявский1, Т.Н. Кондратьева2

1Южный федеральный университет, Ростов-на-Дону, Россия, 2Донской государственный технический университет, Ростов-на-Дону, Россия

TWO MODELS OF NEURAL NETWORKS FOR A ONE-STEP FORECAST OF NONSTATIONARY TIME SERIES

G.I. Beliavsky1, T.N. Kondrateva2

1Southern Federal University, Rostov-on-Don, Russia, 2Don State Technical University, Rostov-on-Don, Russia

Белявский Григорий Исаакович - доктор технических наук, Grigorii I. Beliavsky - Doctor of Te^nical Sciences, Profes-профессор, кафедра высшей математики и исследования sor, Department of High Mathematics and Operations Re-операций, Институт математики, механики и компью- search, Vorovich Institute of Mathematics, Mechanics and терных наук имени И.И. Воровича, Южный федеральный Computer Science, Southern Federal University, Mil-университет, ул. Мильчакова, 8а, г. Ростов-на-Дону, chakova St., 8a, Rostov-on-Don, 344090, Russia, e-mail: 344090, Россия, e-mail: gbelyavski@sfedu.ru gbelyavski@sfedu.ru

Кондратьева Татьяна Николаевна - кандидат техниче- Tatiana N. Kondrateva - Candidate of Te^nical Sciences, ских наук, доцент, кафедра прикладной информатики и Associate Professor, Department of the Applied Informatics вычислительной техники, Донской государственный тех- and Computer Engineering, Don State Technical University, нический университет, пл. Гагарина, 1, г. Ростов-на-Дону, Gagarina Sq., 1, Rostov-on-Don, 344000, Russia 344000, Россия

Рассматриваются две различные модели временных рядов, предназначенных для одношагового прогноза в нестационарном случае. Для каждой из них исследуется нейросетевая реализация, предлагаются и обосновываются специальные алгоритмы обучения, учитывающие специфику моделей. На реальных данных демонстрируются возможности нейронных сетей. Первая модель относится к типу моделей с долгой памятью и использует свойства автомодельных процессов. Для ее реализации применяется персептрон с одним внутренним слоем с расширяющейся архитектурой. На каждой итерации обучения добавляется один нейрон внутреннего слоя и производится вычисление весов. Процесс продолжается до выполнения условия стабилизации. Вторая модель использует процессы со сменой режимов. Нейронная сеть, реализующая эту модель, состоит из слоя рекуррентных нейронных сетей, объединенных с помощью селектора. Каждая рекуррентная нейронная сеть обучается самостоятельно, а селектор - в режиме онлайн-обучения.

Ключевые слова: долгая память, показатель Харста, самообучение, обучение в реальном времени.

The paper considers two different models of time series intendedfor a one-step forecast in the nonstationary case. For each of the models, their neural network implementation is considered; special learning algorithms are proposed and justified. Algorithms take into account the specifics of the models. On real data, the possibilities of neural networks are demonstrated. The

*Исследование поддержано РФФИ, научный проект № 17-01-00888a.

ISSN 0321-3005 IZVESTIYA VUZOV. SEVERO-KAVKAZSKII REGION.

NATURAL SCIENCE.

2018. No. 4

first model is a model with a long memory and uses the properties of self-similar processes. To implement it, a perceptron with one inner layer with an expanding architecture is used. At each iteration of training, one neuron of the inner layer is added and the new weights are calculated. The process continues until the stabilization conditions are met. The second model uses processes with regime change. The neural network implementing this model consists of a layer of recurrent neural networks combined with a selector. Each recurrent neural network is trained independently, and the selector is trained in online mode.

Keywords: long memory, Harst's index, self-learning, online learning.

Введение

Рассматривается сложная задача прогнозирования нестационарного временного ряда. При вычислении прогноза необходимо решить три задачи: выбор и анализ модели, идентификация её параметров, проверка модели на адекватность. Каждая из этих задач является сложной проблемой в нестационарном случае. На наш взгляд, наиболее подходящими моделями являются самоподобные процессы двух типов: с долгой памятью и со сменой режимов. Каждому из этих процессов уделяется внимание в нашем исследовании.

Основная задача заключается в построении обоснованных вычислительных алгоритмов прогноза и их нейросетевой реализации, предоставляющей дополнительные возможности при нелинейном оценивании.

Структура работы такова. Рассматриваются самоподобные процессы с долгой памятью. Основная проблема заключается в том, что для этих процессов ковариационная функция стремится к нулю со степенной скоростью. При этом возможна ситуация, когда ковариационная функция несуммируемая. Поэтому при вычислении прогноза требуется учитывать длинное прошлое.

Изучаются процессы со сменой режима. Сменой режима управляет случайный параметр, который является ненаблюдаемым. Поэтому и возникает дополнительная сложность при вычислении прогноза, поскольку неизвестно значение параметра, управляющего сменой режима. В некотором смысле задача прогноза для процесса со сменой режима похожа на задачу обнаружения разладки случайного процесса.

Демонстрируются возможности предложенных нейросетевых алгоритмов на сложном примере прогнозирования поведения акции энергетической компании.

В заключении подводятся итоги исследования и намечаются перспективы.

На протяжении всей работы мы будем считать, что процесс X адаптирован по отношению к стандартному стохастическому базису (О, (рп )и>0, Р, р. Использованы обозначения: О - пространство последовательностей; {рп )и>0 - расширяющийся по-

ток сигма-алгебр, пополненных событиями с нулевой вероятностью; F = F) ' P - вероятность

n>0

на сигма-алгебре F.

Нестационарность и долгая память

Любой прогноз строится на базе математической модели случайного процесса. Построить модель нестационарного случайного процесса в полном смысле этого слова на основе классических моделей, таких как AR, ARMA и другие, невозможно просто из-за того, что это - модели стационарных случайных процессов. Более того, ковариационные функции для этих моделей R = Ex0xn стремятся к нулю с экспоненциальной скоростью. Во многих работах, например [1], в качестве моделей нестационарных процессов предлагается использовать процессы с долгой памятью (long memory), для которых ковариационная функция иногда абсолютно несум-мируемая. Эти процессы, оставаясь стационарными, являются пограничными при переходе от стационарных к нестационарным.

Примером процесса с долгой памятью может служить фрактальный белый шум AX, которым обычно называют гауссовский процесс с корреляционной функцией

rh (п) = °2рн (п\рн (n) =

W ,|2H „I |2H I ,|2н\

= -|n +1| - 2\n\ + \n-1 )

(1)

при допущении, что 02Н = 0 . Корреляция рн (п)

эквивалентна Н(2Н -\)п\- ] при п ^ <х> . Параметр Н называется показателем Харста. Для того чтобы функция Ян (п) была неотрицательно определена, необходимо и достаточно, чтобы 0 < Н < 1. При Н > 1/2 получаем процесс с несуммируемой ковариацией. Процесс с показателем Харста Н > 1/2 был впервые изучен и использован Бенуа Мандельбротом [2]. Наилучший в среднеквадратичном смысле прогноз при известном параметре Н выглядит следующим образом:

Ахп+1 = ТаПАх,

j=о

j n-j

(2)

ISSN 0321-3005 IZVESTIYA VUZOV. SEVERO-KAVKAZSKII REGION.

Коэффициенты в (2) зависят от n и являются ре- y =

j

шением расширяющемся системы линеиных уравнений:

NATURAL SCIENCE.

2018. No. 4

ä"n+l =pH {k +1)-

(4)

k-1

- z pH{k - j K" + Zph {k - j h

j=k+1

j=0

f j -), т.е.

т.е. имеют один вход и один выход.

Рн(к +1) = Та]Рн(к - I), к = 0,..., п . (3)

I=о

Матрица коэффициентов системы (3) является теплицевой положительно определенной. Поэтому для решения системы (3) при любом фиксированном п может использоваться метод итераций Гаусса - Зейделя. Рассмотрим растянутый во времени метод итераций со следующей процедурой вычисления коэффициентов в формуле (2):

к = 0,..., п +1.

То есть на каждой итерации добавляется один коэффициент и производится вычисление новых значений коэффициентов (одна итерация Гаусса - Зейделя). Приведем без доказательства два утверждения.

Утверждение 1. Если показатель Харста H < 1/2, то для всех конечных к существует предел lim аП = а*.

Первое утверждение следует из сходимости ряда ^Ph (n).

Утверждение 2. Для всех конечных к существует предел lim а*П = а* .

Второе утверждение следует из первого и сходимости итерационного метода Гаусса - Зейделя для симметричных положительно определенных матриц.

Таким образом, на основе формул (2) и (4) может быть предложен реализуемый алгоритм прогноза для процесса с долгой памятью типа фрактального броуновского движения. Алгоритм состоит из двух повторяющихся элементов:

1. Оценка коэффициентов по формуле (4).

2. Одношаговый прогноз по формуле (2).

Замечание 1. Данный алгоритм может применяться как для прогнозирования фрактального броуновского движения, поскольку процесс его приращений - это фрактальный белый шум, так и для автомодельного процесса, поскольку процесс его приращений - стационарный в широком смысле с ковариационной функцией вида (4) [3]. Для автомодельных процессов данный прогноз является оптимальным среди линейных прогнозов.

Рассмотренный алгоритм может быть реализован персептроном с одним внутренним слоем. Нейроны внутреннего слоя имеют вид

- (к Л

Выходной нейрон x = ф Zb^j .

0=0 )

Алгоритм обучения нейронной сети состоит из двух стадий.

На каждой итерации первой стадии алгоритма обучения добавляется один нейрон внутреннего слоя и пересчитываются веса a по формулам (4). Обучение продолжается до момента стабилизации (утверждения 1 и 2). Тем самым определяются число нейронов внутреннего слоя и их веса. Обучающая выборка используется для того, чтобы оценить параметр Харста H [4].

На второй стадии алгоритма обучения вычисляются веса b .

Ниже будет рассмотрен другой класс моделей процессов - процессы со сменой режимов.

Процессы со сменой режимов. Онлайн-обучение

Процессы со сменой режимов Xa - это процессы, поведение которых определяется параметрическим семейством моделей или параметрическим семейством вероятностных мер. Развитие процесса со сменой режимов происходит на стохастическом

базисе (Р,(Ft),F,(Pa)aM) . Здесь вместо единственной вероятностной меры рассматривается семейство вероятностных мер. Наиболее известной моделью этого типа является модель Хестона, широко применяемая в финансовой математике для описания флуктуаций цен рисковых активов [5]:

dSt = St (udt + cTja~t(dWl + pdWt 2)),

dat = к (в -at)dt + fiJadWt 2. (5)

В (5) W1 и W2 - независимые броуновские движения. Дискретный аналог (5) в форме Эйлера выглядит следующим образом:

St = St _i (l + Mt + &yjat At (s l + P? )),

at = at_! + к (в - at_x )At + fi^ja^Atsf. (6)

В (6) s1 и s2 - независимые белые шумы. Модель Хестона является частным случаем семейства моделей стохастической волатильности, к которым, в частности, относится модель ARCH. В модели ARCH волатильность является предсказуемой по отношению к процессу Х. В работе [6] рассматривалась нейронная сеть, базирующаяся на вейвлет-ядре, в которой использовался нелинейный аналог модели AR/ARCH:

xt = Щ a0 + Zaixt-i I + И b0 + Zbtxt

i=1

bixt-i

i=1

ISSN 0321-3005 IZVESTIYA VUZOV. SEVERO-KAVKAZSKII REGION.

NATURAL SCIENCE.

2018. No. 4

Эти модели, хотя и обладают определенной ограниченностью по отношению к моделям, в которых волатильность не является предсказуемым процессом, имеют неоспоримое преимущество при решении задач прогноза. Для непредсказуемой волатиль-ности возникает дополнительная трудная задача вычисления её прогноза, поскольку волатильность является ненаблюдаемым процессом.

Решение проблемы непредсказуемой волатиль-ности может быть в следующем. Будем считать, что параметрическая последовательность а = (ап )и>1

является последовательностью случайных величин со значениями из конечного множества М . В момент времени t будем использовать для прогноза закон распределения вероятностей р( (а( = т]) ,

] = 1,2,..., М . На его основе сначала вычисляются

—а,

условные прогнозы х1 для всех возможных значений а(, а затем - безусловный прогноз по формуле

\ы\

xt = Z xt Pt (а = mj)

(7)

j=i

zj =-

Z Pt (xt-ix -J mk )zk

(9)

k=1

при условии, что решение системы zk > 0. В свою очередь, система уравнений (9) является необходимым и достаточным условием максимума лога-

M

рифма правдоподобия (1п £ pt ,..., xt-1/ mk )

k=1

Ml

на симплексе £ гк = 1, гк > 0 .

к=1

В начале прогноза в качестве начальных значений можно использовать равномерное распределе-

"01 \ 1 ние вероятностей р° (а = т )=^| , при вычислении по формуле (8) - р( —Да = mj ). Подробней с алгоритмом самообучения можно познакомиться в работе [7] .

Пример. В качестве модели рассмотрим ЛЯ (1): X = а0 + аxí_1 + ов{. Не нарушая общности, будем считать, что а0 = 0. Параметр Ц е М = (т,.., т ),

где т - точки равномерного разбиения интервала:

— 1 < т < .. < т < 1. Для этой модели оценки (7), (8) приобретают следующий вид:

Pt (а = mj ) =

(10)

exp

f —Z (Х -mjxi-1ЛPst-1 (а = mj)

^ 2G i=t—I+1 )

или при помощи случайного селектора, который выбирает прогноз из условных прогнозов, используя распределение вероятностей р .

Для вычисления по формуле (7) необходимо всякий раз пересчитывать р (а = т-). Для этого применима процедура, хорошо зарекомендовавшая себя в кластерном анализе (самообучении):

ZexpI —

i=1

J_ 2g1

Z(x— mixi—1)21pst—1 (а = m)

i=t—i+1 1

л \ р{(xt—I,..., xt—1/т)р]—1(а=т)

(а=т )=м-^-,

£ р ^ xt—1/тк )р—1(а= тк)

к=1

j = 1,...,М1. (8)

Справедливо

Утверждение 3. Для любых начальных данных последовательность, вычисляемая по формуле (8), сходится к решению системы уравнений

АЬ—Ixt—1/т}

С оценками типа (10) тесно связано онлайн-обу-чение. Его технология - одна из востребованных в настоящее время. Онлайн-обучению посвящены многочисленные монографии и статьи, например [8-10]. Приведем краткий анализ технологии, которая в дальнейшем будет использована. Имеется текущий момент времени t — 1 . Требуется найти оценку Xt значения x. При этом, как и раньше, могут быть использованы значения х для 5 < t — 1. Следующим элементом алгоритма прогнозирования является функция I у) , измеряющая качество прогноза, - функция потерь, где x е X - множеству значений случайного процесса; у е У - множеству значений оценок. Множества X и У могут совпадать. Примерами таких функций могут быть

у) = ^ — у) или Iу) = ^ — у|, если рассматривается прогноз одномерного случайного процесса. Алгоритм прогноза сначала вычисляет условные оценки, которые могут иметь, например, следующий вид:

^ = а^тт , а)/^). (11)

а

Среднее в (11) - Еа (.) - вычисляется по мере Ра . Затем при помощи функции потерь алгоритм вычис-

ьМ—1 )= £1 ^, xга),

ляет качество оценок

на ос-

i=1

нове которого определяется текущее распределение

а

m

ISSN 0321-3005 IZVESTIYA VUZOV. SEVERO-KAVKAZSKII REGION.

NATURAL SCIENCE.

2018. No. 4

вычис-

вероятностей р( (а = mj) . Далее алгоритм

ляет безусловную оценку, используя формулу (7) или селектор.

Вероятности р( (а = mj ) пересчитываются. Важным понятием при пересчете вероятностей является «сожаление»: Я^ )=)— топ ^(к^). Алгоритм прогноза считается приемлемым, если среднее сожаление 10 при t ^да . Стандартный алгоритм экспоненциального взвешивания, см., например, [8], обладает этим свойством. Алгоритм вычисляет прогноз следующим образом. Для каждого а вычисляются

(xÍ ) = еХР (— НЬа (xÍ )) * "а ^ ^К1 — ы(Ъ, у^ )) №

и веса Ра(х1 )='

Z wß(x[) '

(12)

ßeM

l(xt—U Xt—1 )—^ Z la(xt—1' xt—1) . Далее

aeM

(t—Л wa(x{—1) «e Mf вычисляются веса »„ Ix, )=-4 / '

t z wß(x-1)

ßeM,

xt = Z Pß(x1—1 )x,ß .

нейронных сетей, вычисляющих оценки xt , и селектора. Далее через x обозначается входной поток; че-

—а "

рез x - выходные потоки рекуррентных нейронных сетей; через X - выходной поток селектора. Функционирование рекуррентных нейронных сетей описывается семейством разностных уравнений:

Xtа= /а{*>«А + £ "а^—! ) , « = 1,2,...М . (13)

В (13) м>а^ - веса; /а - функции активации; x и X - входные потоки селектора. Селектор вычис-

ляет веса pa(x-

(x—),

Z Pa(x1—1)

множество Mt и взвешенный

Начальные значения весов полагаем равными единице. То есть первый прогноз вычисляется с равными весами. Предполагается, что 1 — hl(xt, y« t) > 0 . Если положить h = 1/2 , то сожаление )< 2ln| M\ . Несмотря на то что экспоненциальное взвешивание является одним из наиболее употребительных методов онлайн-обучения, оно обладает одним существенным недостатком. Сожаление отражает стремление алгоритма несильно отличаться от наилучшего апостериорного прогноза

min L« (x^) . Весьма сомнительное свойство для

прогноза нестационарных рядов. Из-за этого данный алгоритм прогноза нуждается в коррекции. Прежде всего, необходимо более тесно связать вычисление весов с последними потерями. Сделать это можно различными способами, например формированием множества

Mt—! = «eM

:« (xt—1' xt—1) <1 (xt—1' xt—1)}' где

для всех

пр°гн°з xt = £ Pa(xí

аеМ1

Обучение нейронной сети с селектором производится в два этапа. На первом каждая рекуррентная нейронная сеть обучается независимо от других с целью настройки весов , затем в режиме

онлайн обучается селектор. Подробней - см. работу [11].

Реальный эксперимент

Прогноз осуществлялся при помощи нейронной сети, приведенной выше. При прогнозе нерегулярного случайного процесса следует учитывать две составляющие случайного процесса - тренд и вола-тильность. Тренд может сохраняться в течение длительного времени, а волатильность может изменяться часто под воздействием дискретного вмешательства случая. Поэтому при прогнозировании следует учитывать это обстоятельство и конструировать алгоритм, в котором будут использованы разные техники прогнозирования тренда и вола-тильности.

Для вычисления тренда использована оконная медиана. Медиана является робастной статистикой и поэтому устойчива по отношению к дискретному вмешательству случая.

В результате работы алгоритма на основе базового процесса z вычисляются два процесса:

mt

— Med (z

t—1—k,

1) и x, =(zt — m,)2.

и прогноз xt = £ р^ (x]

РеМ—1

Состав множества М изменяется с течением времени. Это позволяет учесть нестационарность процесса.

Нейронная сеть, реализующая прогнозирование в режиме онлайн-обучения, состоит из рекуррентных

Процесс т - тренд, входной процесс x - вола-тильность. Прогноз волатильности вычислялся в результате использования нейронной сети, описанной ранее. В алгоритме прогноза оценки вычисляются по формулам

xt — CÜCj

1+(i—a)xa—1, m о=,..., ^

т.е. в рекуррентных нейронных сетях веса:

z

ISSN 0321-3005 IZVESTIYA VUZOV. SEVERO-KAVKAZSKII REGION.

NATURAL SCIENCE.

2018. No. 4

w.

а,0

= 1 - h, wal =h, функции активации fa -

тождественные.

Ниже приводятся результаты прогноза поведения стоимости акции «Газпрома» с периодом 1 ч. На рис. 1 - вычисление тренда с медианным окном, равным 5. 0,008

Пунктирная линия изображает логарифмический возврат акции, сплошная - тренд. Масштаб временной шкалы равен 1 ч. Можно сделать вывод, что тренд дает смутное представление о поведении акции. На рис. 2 приведена медианная оценка волатильности с тем же медианным окном.

-0,006

0,008

0,007

0,006

0,004

Рис. 1. Медиана и логарифмический возврат / Fig. 1. Median and log return

1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 33 35 37 39 41 43 45 47 49 51 53 55 57 59 61 63 65 67 69 71 73 75 77 79 81 83 85 87 89 91 93 95

Рис. 2. Медианная оценка / Fig. 2. Median score

0,006

0,004

0,002

0

0,009

0,005

0,003

0,002

0,001

ISSN 0321-3005 ИЗВЕСТИЯ ВУЗОВ. СЕВЕРО-КАВКАЗСКИМ РЕГИОН. ISSN 0321-3005 IZVESTIYA VUZOV. SEVERO-KAVKAZSKII REGION.

NATURAL SCIENCE.

2018. No. 4

Медианную оценку волатильности трудно назвать приемлемой.

Из рис. 3 следует, что предлагаемый способ оценки можно считать приемлемым. Следует отметить, что реакция алгоритма на дискретное вмеша-

тельство случая (большие пики) происходит с незначительным запаздыванием (1-2 отсчета). Онлайн-алгоритм значительно превосходит медианный алгоритм, который считается хорошим методом оценки.

0,00007

0,00006

0,00005

0,00004

0,00003

0,00002

0,00001

1 5 9 13 17 21 25 29 33 37 41 45 49 53 57 61 65 69 73 77 81 85 89 93 97

Рис. 3. Онлайн-алгоритм / Fig. 3. Online algorithm

Заключение

В работе были решены поставленные во введении задачи и получены результаты, связанные с разработкой нейросетевых алгоритмов одношагового прогнозирования нестационарных процессов.

Первая нейронная сеть представляет собой пер-септрон с одним внутренним слоем с расширяющейся архитектурой. Математическая основа этой нейронной сети - самоподобные процессы с долгой памятью типа фрактального броуновского движения. Внутренний слой персептрона может содержать большое число нейронов, число которых заранее неизвестно. Поэтому его обучение - сложная задача, относящаяся к глубокому обучению (deep learning). Трудность преодолена за счет специаль-

ного итерационного алгоритма решения расширяющейся системы линейных алгебраических уравнений. Установлена сходимость этого алгоритма.

Моделью второй нейронной сети послужил процесс со сменой режимов. Вторая нейронная сеть - гибридная. Она включает в себя устройство под названием селектор и семейство рекуррентных нейронных сетей. Каждая рекуррентная нейронная сеть обучается самостоятельно и независимо от других. Для обучения селектора возможно использование алгоритма самообучения или алгоритма типа онлайн learning. Важной особенностью алгоритмов является зависимость параметрического множества от времени, что делает оценки нестационарными.

Приведен пример реального прогноза, в котором получены обнадеживающие результаты.

0

ISSN 0321-3005 ИЗВЕСТИЯ ВУЗОВ. СЕВЕРО-КАВКАЗСКИМ РЕГИОН._ЕСТЕСТВЕННЫЕ НАУКИ. 2018. № 4

ISSN 0321-3005 IZVESTIYA VUZOV. SEVERO-KAVKAZSKII REGION. NATURAL SCIENCE. 2018. No. 4

Литература

1. Samorodnitsky G. Long memory and self-similar processes // Annales la faculte des sciences de Toulous Mathematiques. 2006. Vol. 15, № 1. P. 107-126.

2. Mandelbrot B., Ness J., van. Fractional Brownian motions, fractional noises and applications // SIAM Review. 1968. Vol. 10. P. 422-437.

3. Samorodnitsky G., Taqqu M. Stable Non-Gaussian Random Processes. N.Y.: Chapman and Hall, 1994. 632 p.

4. Ширяев А. Основы стохастической финансовой математики. М.: Фазис, 1998. Т. 1. 512 c.

5. Heston S.L. A dosed-form solution for options with stochastic volatility with applications to bond and currency options // Review of Financial Studies. 1993. Vol. 6. P. 327-344.

6. Belyavskiy G., Misyura V., Puchkov E. Prediction intervals for time series using neural networks based on wavelet-core // Far East J. of Mathematical Sciences. 2016. Vol. 100, № 3. P. 413-425.

7. Шлезингер M. Взаимосвязь обучения и самообучения в распознавании образов // Кибернетика. 1968. № 2. С. 81-88.

8. Cesa-Bianchi N., Lugosi G. Prediction, Learning, and Games. Cambridge University Press, 2006. 394 р.

9. Cesa-Bianchi N., Freund Y., Haussler D., Helmbold D., Shapire R., Warmuth M. How to Use Expert Advice // J. of the ACM. 1997. Vol. 44, № 3. Р. 427485.

10. Abernethy J., Agarwal A., Bartlett P., Rakhlin A. A stochastic view of optimal regret through minimax duality // Proceedings of the 22nd Annual Conference on Learning Theory. 2009. Р. 234-246.

11. Belyavskiy G., Puchkov E. Separate training of hybrid neural network // International J. of Pure and Applied Mathematics. 2017. Vol. 115, № 4. Р. 883-893.

References

1. Samorodnitsky G. Long memory and self-similar processes. Annales la faculte des sciences de Toulous Mathematiques. 2006, vol. 15, No 1, pp. 107-126.

2. Mandelbrot B., Ness J. van. Fractional Brownian motions, fractional noises and applications. SIAM Review. 1968, vol. 10, pp. 422-437.

3. Samorodnitsky G., Taqqu M. Stable Non-Gaussian Random Processes. New York: Chapman and Hall, 1994, 632 p.

4. Shiryaev A. Osnovy stokhasticheskoi finansovoi matematiki [The basics of stochastic financial mathematics]. Moscow: Fazis, 1998, vol. 1, 512 p.

5. Heston S.L. A closed-form solution for options with stochastic volatility with applications to bond and currency options. Review of Financial Studies. 1993, vol. 6, pp. 327-344.

6. Belyavskiy G., Misyura V., Puchkov E. Prediction intervals for time series using neural networks based on wavelet-core. Far East J. of Mathematical Sciences. 2016, vol. 100, No. 3, pp. 413-425.

7. Shlezinger M. Vzaimosvyaz' obucheniya i sa-moobucheniya v raspoznavanii obrazov [The relationship of learning and self-learning in pattern recognition]. Kiber-netika. 1968, No. 2, pp. 81-88.

8. Cesa-Bianchi N., Lugosi G. Prediction, Learning, and Games. Cambridge University Press, 2006, 394 p.

9. Cesa-Bianchi N., Freund Y., Haussler D., Helmbold D., Shapire R., Warmuth M. How to Use Expert Advice. J. of the ACM. 1997, vol. 44, No. 3, pp. 427-485.

10. Abernethy J., Agarwal A., Bartlett P., Rakhlin A. A stochastic view of optimal regret through minimax duality. Proceedings of the 22nd Annual Conference on Learning Theory. 2009, pp. 234-246.

11. Belyavskiy G., Puchkov E. Separate training of hybrid neural network. International J. of Pure and Applied Mathematics. 2017, vol. 115, No. 4, pp. 883-893.

Поступила в редакцию /Received_30 августа 2018 г. /August 30, 2018