Анализ процедуры использования нейронных сетей на примере прогнозирования финансовых временных рядов Текст научной статьи по специальности «Компьютерные и информационные науки»

Посилання на статтю_

Буслаев А.Г. Анализ процедуры использования нейронных сетей на примере прогнозирования финансовых временных рядов/А.Г. Буслаев, А.В. Тишейкина// Управлшня проектами та розвиток виробництва: Зб.наук.пр. - Луганськ: вид-во СНУ iм. В.Даля, 2007 - №3(23). С. 126-135._

УДК 65.012

А.Г. Буслаев, А.В. Тишейкина

АНАЛИЗ ПРОЦЕДУРЫ ИСПОЛЬЗОВАНИЯ НЕЙРОННЫХ СЕТЕЙ НА ПРИМЕРЕ ПРОГНОЗИРОВАНИЯ ФИНАНСОВЫХ ВРЕМЕННЫХ РЯДОВ

Произведен сравнительный анализ и обоснован выбор метода нейросетевого прогнозирования для основных показателей развития на примере исходных данных экономики Одесского региона. Рис. 10, табл. 2, ист. 4.

Ключевые слова: прогнозирование, временной ряд, валовая добавленная стоимость, экстраполяция, моделирование, нейронная сеть.

О.Г. Буслаев, О.В. Тишейкша

АНАЛ1З ПРОЦЕДУРИ ВИКОРИСТАННЯ НЕЙРОННИХ МЕРЕЖ НА ПРИКЛАД1 ПРОГНОЗУВАННЯ Ф1НАНСОВИХ ЧАСОВИХ РЯД1В

Проведено порiвняльний аналiз та обфунтовано BM6ip методу нейросггьового прогнозування для основних показнигав розвитку на прикгад вихщних даних економки Одеського репону.Рис. 10, табл. 2, дж. 4.

A.G. Buslayev, A.V. Tisheikina

THE NEURONET APPLICATION ON THE EXAMPLE OF FINANCIAL TIME SETS FORECASTING

The comparison analyzes is done and the choice of neuronet forecasting method for basic development indexes on the example of Odessa region economics is grounded.

Постановка проблемы. Ежедневно приходится встречаться с ситуациями настолько сложными, что не всегда есть возможность использовать аналитические способы для их решения с удовлетворяющей требованиям надежностью и достоверностью. Например, лучший способ инвестирования денег в разнообразные корпоративные портфели, предсказание последующих ежеквартальных продаж компании, поведение потребителей при изменении маркетинговой политики на рынке, исследование стратегии поощрительных товаров и др. Проблем много ... Но какой из имеющихся методов лучше всего применить для их оптимального решения?

Прогнозам, основанным на применении методов экстраполяции, например, присущ ряд неустранимых недостатков, заключающихся в том, что единственная центральная единица обработки последовательно диктует каждое последующее "Управлшня проектами та розвиток виробництва", 2007, № 3(23) 1

действие. Много лет линейное моделирование было основным инструментом и для него хорошо были разработаны стратегии оптимизации, но в тех случаях, когда линейное приближение не давало приемлемых результатов, линейное моделирование было неприменимо. Этих и других недостатков в обработке и анализе исходных данных лишены нейронные сети.

Анализ последних исследований. В данной работе представлены исходные данные для прогнозирования позитивной динамики Одесской области на основании анализа показателей последних лет экономического развития Южного региона Украины. Исходные данные, содержащиеся в табл.1, показывают годичные изменения экономических показателей развития Одесской области, эти статистические данные использованы для прогноза на 2007 год с использованием такого инструмента прогнозирования, как нейронные сети.

Таблица 1

Показатели валовой добавленной стоимости Одесского региона

ГОДЫ 1996 1997 1998 1999 2000 2001 2002 2003 2004 2005 2006

Валовая добавленная стоимость (млн грн в фактических ценах) 3533 3997 4190 5381 7072 9525 8807 10691 17029 20762 25187

Валовая добавленная стоимость (млн грн в сравнительных ценах) 3533 3475 3122 3369 3514 4465 4170 4687 6649 7349 7989

Показатели валовой добавленной стоимости в сравнительных ценах получены в результате корректировки показателя в фактических ценах с учетом коэффициента инфляции соответствующего периода.

Что же такое нейронные сети (НС)? Какова их надежность и достоверность как инструмента прогнозирования? Ответы на эти вопросы мы рассмотрим в данных исследованиях, промоделированных на примере исходных данных применительно к Южному региону Украины.

НС выполняют вычисления более разнообразными способами, чем обычные компьютеры по причине того, что они состоят из большого количества очень простых элементов обработки, которые индивидуально имеют дело с частями большой проблемы. Каждый элемент НС просто умножает данные входа на набор весов и нелинейно преобразует результат в ценный продукт. Пользователь имеет дело с входными и выходными данными и только должен знать условия применения НС и ограничения, а работа сети для него остается «черным ящиком».

В последние годы наблюдается взрыв интереса к нейронным сетям, которые успешно применяются для решения проблем во многих разнообразных областях системы знаний науки и техники. Например, таких как экономика, финансы, медицина, производство, управление, геология, физика и др. Столь широкий спектр практического применения, получение оптимальных и достоверных результатов, определяется следующими ключевыми факторами, такими как: нейронные сети способны моделировать чрезвычайно сложные нелинейные функции, а также держат под контролем «проклятие размерности», которое искажает результаты моделирования нелинейных функций при большом количестве переменных.

Ядром нейронного вычисления является понятие распределенного, адаптивного и нелинейного вычисления. Известно, что НС может иметь несколько слоев. Одной из наиболее распространенных сетей, дающих хорошие 2 "Управлшня проектами та розвиток виробництва", 2007, № 3(23)

результаты вычислений, является многослойный персептрон (Multilayer perceptrons (MLPs)).

Нейросети используют разные виды обучения. При обучении на примерах («обучение с учителем») пользователь собирает данные, затем использует алгоритмы обучения, которые автоматически изучают структуру исходных данных. Конечно, пользователь должен иметь эвристические знания о том, как выбрать исходные данные и подготовить их к работе, как выбрать соответствующую нейронную сеть и как интерпретировать результаты, но уровень используемых знаний для применения нейронной сети намного ниже, чем нужен для обучения использования традиционным статистическим методам. Обученный пользователь быстрее производит расчеты, если использует нейронную сеть.

Пока еще нейронные сети могут моделировать только низший уровень биологического развития нервных систем и не могут заменить интеллектуальную деятельность человека. Со временем это направление развития нейробиологического моделирования может привести к созданию интеллектуальных компьютеров. Уже в настоящее время программные продукты ST Neural Networks, Neural Solutions, пакет Neural Network Toolboxes (NNTool) программы MatLab, Deeplnsight, NeuroShell Classifier, NeuroShell Predictor и многие другие становятся необходимым инструментом прикладной статистики [1].

Названные нейроэмуляторы можно успешно применять для предсказания временных рядов. Область предсказания тесно связана с доходностью и может рассматриваться как один из видов бизнеса. Предсказание финансовых рядов -необходимый элемент любой инвестиционной деятельности, он лежит в основе деятельности всей индустрии инвестиций - всех бирж и внебиржевых систем торговли ценными бумагами. К примеру, по данным (Шарп, 1999), дневной оборот на мировом валютном рынке FOREX превышает $1000 млрд [1]. Основная часть сделок носит спекулятивный характер и поэтому плохо поддается прогнозу. Однако существуют общие тенденции, неподвластные единичным личностям, поэтому возможен краткосрочный прогноз. Такой подход и вызвал привлечение технологии нейронных сетей.

Схематически нейронную сеть можно изобразить следующим образом (рис.1).

Рис. 1. Общая схема нейронной сети

Из рисунка видно, что на вход поступают исходные данные, которые после их обработки становятся продуктом.

Нейросетевой анализ обладает рядом достоинств. Он не предполагает никаких ограничений на характер вводимой информации. В отличие от технического анализа, основывающегося на общих рекомендациях, нейросети используют индивидуальный анализ и строят оптимальную стратегию в зависимости от конкретных данных.

"Управлшня проектами та розвиток виробництва", 2007, № 3(23)

3

Одним из недостатков нейросетевого моделирования является то, что исходных данных может оказаться слишком мало или их будет недостаточно для достоверного обучения сети.

Задачи, цели и этапы системы прогнозирования финансовых временных рядов. При решении задач и проблем временных рядов цель состоит в том, чтобы упредить, предсказать априори ценность переменной, которая изменяется во времени, используя предыдущие ценности этой и/или других переменных.

Типично предсказуемая переменная непрерывна, поэтому предсказание временных рядов - это обычная специализированная экстраполяция. Последующее (последующие) значение ряда можно предсказать в зависимости от любого числа предыдущих (отдельного) шагов. Если следующее предсказываемое значение найдено, то дальнейшее предсказание может использовать предыдущие. Очевидно, что при этом надежность предвидения понижается.

Нейронные сети могут предсказывать и номинальные переменные.

Основные результаты исследований. Уже много лет успешно к различному предсказанию и исследованию данных, добытых из деловых и окружающих промышленных сред, применяется программа NeuroSolutions -очень графический инструмент развития нейронной сети, который позволяет легко создать модель нейронной сети для имеющихся данных. Это программное обеспечение объединяет модульный интерфейс проекта с продвинутыми процедурами изучения, предоставляя мощный и гибкий инструмент для проектирования нейронной сети, которая дает лучшее решение определенной проблемы. С 1995 года NeuroSolutions играет инструментальную роль в создании этой надежной технологии, легко доступной для тысяч пользователей PC на всем земном шаре. Программа Neural Solutions обладает большой визуализацией работы нейронной сети, фрагмент которой изображен на рис. 2.

Еще одним всесторонним, современным, мощным и чрезвычайно быстрым инструментом применения нейронных сетей является программа STATISTICA со встроенным пакетом анализа данных Neural Networks. Эта программа, объединенная с пре- и пост-обработкой, с прогнозом временных рядов, содержит уникальный автоматический проектировщик лучшей архитектуры сетей, применяет современные градиентные методы обучения сети, поддерживает комбинации сетей практически неограниченных размеров (намного большими, чем, что когда-либо было бы практично или разумно), позволяет обучать отдельные отобранные сегменты сети, всесторонняя графическая и статистическая обработка данных, простой интуитивный интерфейс. NS Neural Networks позволяет использовать также генетические методы обработки данных.

Этот пакет поддерживает работу самых главных классов нейронных сетей: многослойного персептрона (MLP), радиальных базисных функции (RBF), вероятностных нейронных сетей (PNN or GRNN), обобщенных нейронных сетей (MLP four layer), линейное моделирование (Linear). 4 "Управлшня проектами та розвиток виробництва", 2007, № 3(23)

jt-—

- -¿J^^t I MOM К. _ I MOM

Рис. 2. Графическое изображение нейронной сети

Для дальнейших расчетов в данных исследованиях мы будем использовать эту программу. В процедурном отношении можно отметить следующее. В ST Neural Networks любой тип сети может применяться для предсказания временного ряда (однако тип сети должен соответствовать решаемой проблеме). Предварительно пользователем устанавливается шаг сети и параметры. Шаг указывает, сколько предыдущих значений должно использоваться при предсказании, а предварительный параметр - как далеко вперед должно быть сделано предсказание. Также должно быть установлено количество эпох для тренировки сети.

Мы будем работать с одной переменной, представляющей собой валовую добавленную стоимость (млн грн в сравнительных ценах). Исходные данные для расчетов представлены в табл. 1. График динамики этих показателей изображен на рис. 3.

3000

X h X

| 8000 X ш

03 Q_ CJ

7000

X

е-

x

Ц 6000 -й

I— 03

о X

О iX'

Ш. =г

Е 5000

I—

о

UZ 03 X

® 4000 ■=; ш 03 LQ О

;-ооо

05 ГС

О

ГС

Dp

2000

1996 1997 1996 1999 2000 2001 2002 2003 2004 2005 2006 2007

Рис. 3. Динамика показателя валовой добавленной стоимости (в фактических ценах),

млн грн

Предскажем значение валовой добавленной стоимости на 2007 год. Первым шагом при любом нейроанализе является предобработка данных, которая облегчает выявление нетривиальных закономерностей и улучшает качество предсказания. Мы проанализируем имеющиеся данные, а затем их можно изменять таким образом, чтобы увеличить информационность примеров для повышения эффективности обучения.

При анализе данных имеющиеся примеры разбиваются на три группы: обучающую, валидационную и тестовую, определяя тем самым концепцию обучения. Первая группа данных используется для обучения, вторая для выбора оптимальной архитектуры сети, третья не используется в обучении и служит для контроля качества прогноза обученной нейронной сети. Конфигурирование сети для анализа временных рядов задает способ предобработки, то есть

"Управлшня проектами та розвиток виробництва", 2007, № 3(23)

5

определяет количество даннях, используемых для анализа, количество данных используемых для обучения, корректировки весов и тестирования сети.

В современной литературе имеются алгоритмы улучшения прогноза за счет использования в нейросетях обратных связей.

Введем в программу данные, соответствующие валовой добавленной стоимости (в сравнительных ценах) (рис. 4).

Год Вал доб. с

02 1997 3475

03 L99S 3122

04 1999 3369

05 2C0Ü 3514

ОБ 2001 5993

07 2002 5597

0S 2003 6290

Og 2004 6923

Щ 2005 9Ö63

)-■■ 2006 12759

12 $

Рис. 4. Ввод данных

Требуется составить прогноз на 2007 год.

Настроим параметры работы программы. Сначала выбираем тип обработки данных «предсказание временного ряда». Затем устанавливаем период. Так как наши данные не имеют периода, выберем 1. Разбиваем имеющуюся выборку данных на обучающую и корригирующую выборки соответственно по 5 и 5 элементов в каждой. Из-за недостаточности выборки, для улучшения качества последующего предсказания, на тестирование не отводим ни одного элемента (тестирование проведем на использованной выборке).

Выбираем сети, которые будут подвергнуты анализу на лучший результат оптимизации, после этого выбираем количество слоев в сети и тип обработки данных, максимальную продолжительность работы сети. Последним шагом выбираем тип отчета и результаты, которые будут выведены на дисплей. Затем запускаем сеть в работу.

Сеть перебирает возможные типы сетей и помечает символом * ту, которая дает наименьшее значение регрессии, одновременно указывает количество скрытых слоев (рис. 5).

Из всех проанализированных сетей лучшие результаты работы показал многослойный персептрон (MLP), обучаемый методом обратного распространения.

В дальнейшем для работы из списка всех проанализированных программой сетей выбираем одну, последнюю в списке с самыми лучшими оптимизационными данными.

Заметим, что отбор сетей проводится сложными нелинейными оптимизационными методами (включая «метод отжига»). Схема созданной сети показана на рис. 6.

Первый слой на схеме - ввод данных, второй - скрытый слой (несколько) нейронов, третий - выход сети.

6

"Управлшня проектами та розвиток виробництва", 2007, № 3(23)

Туре Error Inputs Hidden Performance

01 RBF 7752.192 5 2.79441 A

02 RBF 2383.17 1 1. 081928

03 RBF 1145.351 3 0.254796

04 Linear 1058.731 - 0.4787301

05 RBF 616.6051 4 0.3144593

06 MLP 526.2519 8 0.2678347

07 MLP 480.7771 8 0.2338439

08 MLP 434.166 8 0.2232462

09 MLP 417.2776 13 0.2020301

10 MLP 356.2614 8 0.1752148 V

Рис. 5. Выбор типа нейронной сети

Рис. 6. Схема созданной нейронной сети

Выбранную сеть надо обучить, для этого надо выбрать те данные, которые будут участвовать в обучении. Их можно назначать самому или это сделает программа автоматически за вас (рис. 7). Выбираем второй способ. Запустив выбранную сеть в работу, получаем следующее прогнозное значение (рис.8).

Вал. доб. ст. Т. Вал. доб. Е. Вал. доб. Error

? ? ? ?

02 2916.727 3475 -558.2732 0 1147058

03 3120.749 3122 -1.251359 0 0002571

04 3419.095 3369 50.09472 0.01029

05 3823.728 3514 309.728 0.06364

0G 4339.701 4465 -125.2993 0.02574

07 4961.129 4170 791.1294 0 1625497

08 5668.383 4687 981.3831 0 2016402

03 6428.278 6649 -220.7225 0.04535

10 7198.318 7349 -150.6823 0.03096

11 7934.212 7989 -54.78767 0.01126

12 8598.06 j j j

Рис. 7. Результат работы нейронной сети

"Управлшня проектами та розвиток виробництва", 2007, № 3(23)

7

Из таблицы видно, что данные первой строки участвуют в предсказании следующего результата, поэтому они не отображены в таблице. Сеть автоматически выбрала для обучения сети строки с № 3, 5, 6, 9, 11 (черный цвет), а для корректировки весов - строки с № 2, 4, 7, 8, 10 (красный цвет).

В качестве результата работы сети следует взять предсказание валовой добавленной стоимости на 2007 год 8598.06 млн грн в сравнительных ценах. Статистика регрессии приведена на рис. 8.

Тг. Вал. доб. Уе. Вал. доб.

йа(а Меап 5147.8 4610

йа(а З.й. 2095.555 1622.495

Еггог Меап -18.46655 222.7303

Еггог Э.й. 201.0273 647.6569

АЬг Е. Меап 142.3578 506.3125

Э.О. ИаНо 0.09593 0.3991735

Согге1а(юп 0.9963802 0.92739

< Ш >\

Рис. 8. Оценка полученного результата прогнозирования

Из представленной таблицы видно, что корреляция между значениями входных данных составляет 0.9963802. Этот результат свидетельствует о том, что сеть поработала продуктивно. Если бы корреляция равнялась 1, то это означало бы, что между данными существует линейная зависимость, и задачу можно было бы решить простой линейной экстраполяцией, но в данном случае сеть уловила существующие сложные нелинейные закономерности, характеризующие взаимозависимость данных.

Ошибку погрешности предсказания можно проанализировать по графику, представленному на рис. 9.

ОЛ (16 114 112 0 Г~1 _ -

1 3 I 5 I 7 I I Э 11

Рис. 9. Погрешность результата

Ниже в табл. 2 и на рис. 10 представлены данные прогноза, вычисленные экстраполяционными методами и нейронной сетью (на основе методики, представленной в работе [4]). В результате видно, что прогноз, полученный нейронной сетью, дает наименьшую ошибку, рассчитанную по методу наименьших квадратов, из всех использованных методов.

Найденное прогнозное значение валовой добавленной стоимости 8598 млн грн (в сравнительных ценах) можно использовать для прогноза значения на 2008 год, используя аналогичный алгоритм. Среднее значение 7 вариантов прогнозов на 2008 год равно 9731 млн грн (в сравнительных ценах). В фактических ценах

8

"Управлшня проектами та розвиток виробництва", 2007, № 3(23)

этот результат на 2007 и 2008 годы составляет соответственно 27 106,16 и 34 666,21 млн грн (при условии использования индекса инфляции в 2007 году на уровне 113%).

11000 --------г—т.......1..............■■.......*—1--------■--------т—--------.......■■.......*.......

10000 -

9000 Н

3000 -

7000 -

6000 Н

5000 -

4000 к

3000 Ь;

2000

1996 1993 2000 2002 2004 2006 2003 1997 1999 2001 2003 2005 2007

-<>— Валов, доб. стоим, -■и- Прогн. зн. по цеп. аб. прир. * о- Прогн. зн. по сред. аб. прир. -а- Прогн. зн. по цеп. коэф. рос.

• Прогн. зн. по абс. коэф. рос.

Рис. 10. Сравнительные графики различных видов прогнозов

Для улучшения прогноза можно увеличить число примеров для обучения сети, используя априорные соображения об инвариантах динамики временных рядов. Для этого генерируются новые искусственные варианты из имеющегося набора примеров по специальному алгоритму, который растягивает временной ряд по оси. За счет этого можно удвоить (учетверить и т.д.) число примеров. Увеличение информативности примеров для повышения эффективности обучения зависит от энтропии распределения значений предобрабатываемых данных. Поэтому общий принцип предобработки данных для обучения состоит в

"Управлшня проектами та розвиток виробництва", 2007, № 3(23)

9

максимизации энтропии входов и выходов. Повышение информативности примеров повышает качество нейропредсказаний [1].

Таблица 2

Прогнозные значения, найденные методом экстраполяции и нейронной сетью

ГОДЫ 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 ОШИ БКА Х106

Прогнозное значение (по цепному абсолютному приросту) 3418 2769 3617 3660 5417 3876 5204 8611 8050 8628 7.0

Прогнозное значение (по среднему абсолютному приросту) 3921 3568 3815 3960 4911 4616 5133 7095 7795 8434 3.9

Прогнозное значение (по цепному коэффициенту роста) 3419 2804 3636 3665 5674 3895 5268 9431 8123 8684 10.2

Прогнозное значение (по абсолютному коэффициенту роста) 4261 3828 4131 4309 5475 5113 5747 8152 9011 9795 6.3

Прогнозное значение (нейронными сетями) 3120 3419 3823 4339 4961 5668 6428 7198 7934 8598 2.09

Выводы, предложения и рекомендации

1. Временные ряды частично предсказуемы.

2. Выбор оптимальной сети по показателю наименьшего среднеквадратичного отклонения на практике не всегда оказывается лучшим. Следует помнить, что предсказание временных рядов используется для извлечения максимальной прибыли, а не минимизации среднеквадратичного отклонения.

3. Во многих случаях для нас важна общая тенденция поведения ряда (убывает ряд или возрастает), а не конкретные данные. Последующие значения временного ряда могут зависеть от многих причин, будь то научные, политические или социально-экономические.

4. При принятии управленческого решения пользователь должен руководствоваться результатами большой информационной выборки всесторонних анализов исследуемой проблемы, в частности и эволюционными прогнозами развития процессов в будущем.

ЛИТЕРАТУРА

1. Ежов А.А., Шумский С.А. Нейрокомпьютинг и его применения в экономике и бизнесе. -М. 1998, напечатанная с FmePrmt-purc, 216 с.

2. Саймон Хайкин. Нейронные сети: полный курс, 2-е издание: Пер. с англ. - М.: Издательский дом «Вильямса», 2006. - 1104 с.

3. Буслаев А.Г. Использование нейронных сетей при инициализации новых проектов / Материалы III международной научно-практической конференции "Управление проектами: состояние и перспективы" // Ответственный за выпуск К.В.Кошкин. - К.: НУК, 2007. - С. 46-50.

4. Тшейюна О.В. Порiвняльний аналiз деяких методiв прогнозування при розробц програм соцiально-економiчного розвитку репону / Тези доповщей Мiжнародноí конференцп 'Чнновацшний розвиток на основi технолопчно''' зртост в управлЫш проектами". - К., 2004. - С. 114-116.

Стаття надмшла до редакцп 22.08.2007 р.

10

"Управлшня проектами та розвиток виробництва", 2007, № 3(23)