CC BY
42
ШФОРМАЦШШ ТЕХНОЛОГИ
УДК 667.021.1
А.А. ГРИГОРОВА , МБ. СТОЯНОВА
Херсонський нацюнальний техшчний ушверситет
ШТУЧН1 НЕЙРОНН1 МЕРЕЖ1 ТА ОСОБЛИВОСТ1 IX ПОБУДОВИ ДЛЯ ВИР1ШЕННЯ ЗАДАЧ ПРОГНОЗУВАННЯ
У данш роботi було дослгджено застосування штучних нейронних мереж для виршення задач прогнозування, охарактеризовано нейроннi мережi, що застосовуються у сучасних тформацшних технологiях, ефективт алгоритми Их тренування. Було проаналiзовано тструменти за допомогою яких можна побудувати мережу та обрано MATLAB як найзручншу платформу i середовище розробки. Як результат до^дження було спрогнозовано цти на акцИ холдингу Alphabet Inc., за допомогою показнитв середньоквадратично'1 помилки, лтйно! регресИ, коефщенту градieнта та т. була розроблена о^нка адекватностi застосування нейронное мережi для вирiшення задачi прогнозування. За визначеними показниками було зроблено висновок, що прогноз e ефективним i може використовуватися для подальшо'1 фтансово1 дiяльностi.
Ключовi слова: штучнi нейроннi мережi, прогнозування, цiни на акцИ, MATLAB, моделювання.
А.А. ГРИГОРОВА, М.Б. СТОЯНОВА
Херсонский национальный технический университет
ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ И ОСОБЕННОСТИ ИХ ПОСТРОЕНИЯ ДЛЯ РЕШЕНИЯ ЗАДАЧ ПРОГНОЗИРОВАНИЯ
В данной работе было исследовано применение искусственных нейронных сетей для решения задач прогнозирования, охарактеризованы нейронные сети, применяемые в современных информационных технологиях, эффективные алгоритмы их тренировки. Были проанализированы инструменты, с помощью которых можно построить сеть и избран MATLAB как удобная платформа и среда разработки. В результате исследования были спрогнозированы цены на акции холдинга Alphabet Inc., с помощью показателей среднеквадратичной ошибки, линейной регрессии, коэффициента градиента и др. была разработана оценка адекватности применения нейронной сети для решения задачи прогнозирования. По определенным показателям был сделан вывод, что прогноз является эффективным и может использоваться для дальнейшей финансовой деятельности.
Ключевые слова: искусственные нейронные сети, прогнозирование, цены на акции, MATLAB, моделирование.
A. GRYGOROVA, M. STOIANOVA
Kherson National Technical University
ARTIFICIAL NEURAL NETWORKS AND THE PECULIARITIES OF THEIR BUILDING FOR SOLVING THE PROBLEMS OF FORECASTING
In this work was investigated the usage of artificial neural networks to solve prediction problems, their usage in modern information technologies, characterized effective algorithms for their training. Analysis of the tools with which network can be built was performed and MATLAB as a convenient platform and development environment was selected. As result of the research the share prices of Alphabet Inc. holding were predicted, through the mean square error, linear regression, gradient coefficients, etc., an evaluation of the applying neural network adequacy for solving the prediction problem was developed. On certain indicators, it was concluded that the forecast is effective and can be used for further financial activities.
Keywords: artificial neural networks, forecasting, stock prices, MA TLAB, modeling.
Постановка проблеми
Так як у сучасному свт все з бшьшою гостротою проявляеться штерес до яшсного прогнозування фшансових риншв, що пов'язано з швидким розвитком високих технологш i, вщповщно, з появою нових шструменпв аналiзу даних, одним з найактуальшших дослщжень е саме прогнозування щн на фiнансовi шструменти. Однак той техшчний аналiз, яким звикли користуватися бшьшють учаснишв ринку, не е ефективним. Прогнози на основi експоненцшних ковзких середшх, осциляторах i
шших iндикаторах не дають ввдчутний результат, тому що економжа часто бувае iррацiональна, тому що на не! впливае iррaцiонaльнa мотивaцiя людей. У дaнiй робот було дослiджeно особливостi застосування нейронних мереж для вирiшeння зaдaчi прогнозування цiн на акцп фондового ринку. Охарактеризовано алгоритм тренування Левенберга-Марквардта як зааб побудови адекватно! aрхiтeктури модeлi нейронно! мереж1 для прогнозування цш на акци.
Анaлiз останшх дослвджень i публiкацiй Теоретичною та методолопчною основою розглянуто! теми виступають нaуковi прaцi, мaтeрiaли науково-практичних конфeрeнцiй, перюдичш видання, фiнaнсовa звiтнiсть пiдприемств, роботи провщних вiтчизняних та зaрубiжних учених таких як: Колтинюк Б.А., £жов А.А., Мiнaев Ю.М., Ф.Уоссерман, С. Хайкш, Сiпeрi О. та ш.
Формулювання мети дослiдження Метою роботи було дослщити eфeктивнiсть використання нейронних мереж для розробки прогнозу цш на акцп холдингу Alphabet Inc. з максимальною точшстю для подальшого використання при вироблeнi торгово! стратеги, яка дасть можливють здiйснювaти прибутковi операцп з aкцiями на фондовш бiржi.
Викладення основного мaтерiaлу дослвдження
Перш нiж рeaлiзовувaти нейронну мережу, потрiбно розумiти просту рiч: це шструмент складний i досить громiздкий, який знайшов широке застосування в цшому клaсi задач. 1снуе бeзлiч застосувань нейронних мереж для виршення задач прогнозування часових рядiв. Зазвичай при прогнозувaннi часових рядiв використовуються бaгaтошaровi, нaйчaстiшe тришaровi, нeйроннi мереж1 прямого поширення [1].
Штучний нейрон iмiтуе в першому нaближeннi властивосп бiологiчного нейрона. На вхiд штучного нейрона надходить деяка множина сигнaлiв, кожен з яких е виходом шшого нейрона. Кожен вхiд множиться на вщповщну вагу, aнaлогiчнiй синоптичнш силi, i всi результати тдсумовуються, визначаючи рiвeнь активацп нейрона [2]. На рис. 1 представлена модель, що рeaлiзуе цю iдeю.
Рис. 1. Модель штучного нейрону
Для реалiзацiï нейронно-мережевих концепцiй розроблено велику шльшсть спецiалiзованих програмних засобiв. Розглянемо деяш з них:
- Alyuda NeuroIntelligence - нейромережеве програмне забезпечення та розширення для Excel, призначене для прогнозування i аналiзу даних, тдтримуе дек1лька алгоритмiв;
- Amygdala - програмне забезпечення з вщкритим вихщним кодом для моделювання нейронних мереж, реалiзовано на C ++;
- Annie - нейромережева бiблiотека для C + + (Windows i Linux) з вщкритим вихщним кодом. Пiдтримуe MLP, RBF i мереж1 Хопфiлда, мае iнтерфейси для Matlab's Neural Network Toolbox;
- Artificial Intelligence Recurrent Asymmetric Networks (NARIA) - вщкритий проект про симуляцп людино-подiбного iнтелекту за допомогою нейронних мереж;
- Cortex - додаток, що реалiзуе нейронш мереж! зворотного поширення;
- Neural Network Toolbox for MATLAB - середовище для дослщжень нейронних мереж, проектування i моделювання 1х в MATLAB.
Пакет ф!рми «The MathWorks» MATLAB також надае користувачам можливкть роботи з нейронними мережами. Використання «Neural Network Toolbox» стльно з шшими засобами MATLAB вiдкривае широкий проспр для ефективного комплексного використання сучасних математичних методiв для вирiшення найрiзноманiтнiших завдань прикладного та наукового характеру. Для побудови моделi прогнозування цши на акцiï Alphabet Inc. був опрацьований типовий функцiонал середовища MATLAB. Навчання мереж1 вiдбувалося за допомогою алгоритму Левенберга - Марквардта [3].
Алгоритм Левенберга-Марквардта призначений для оптимiзацiï параметрiв нелiнiйних регресiйних моделей. Передбачаеться, що в якосл критерiю оптишзацц використовуеться середньоквадратична помилка моделi на навчальнш ви6!рщ. Алгоритм полягае в послщовному наближеннi заданих початкових значень параметрiв до шуканого локального оптимуму.
Задана навчальна вибiрка - множина пар вшьно! змшно! х 6 X (входи мереж!) i залежною змiнною у 6 Y. Задана функцiональна залежшсть, яка е регресiйною моделлю у = f(w,xn), безперервно диференцiюeться в обласп W*X. Параметр е вектором вагових коефщенпв. Потрiбно знайти таке значения вектора w, яке б приносило локальний мшмум функцп помилки як показано у формулi (1) [4]:
Ев =££=1(Уп-^,Хп))2 . (1)
Розглянемо докладшше етапи алгоритму Левенберга-Марквардта. Перед початком роботи алгоритму задаеться початковий вектор вагових коефiцiентiв w. На кожному кроцi ггерацп цей вектор зашнюеться на вектор w + Д w.
Для оцiнки приросту використовуеться лшшне наближення функцп Алгоритм Левенберга-Марквардта, що зображено у формулi (2):
f(x + Дw, х) « f(w, х) + ^ , (2)
де J - якобiан функцп f(w, хп) в точцi w.
Матрицю J наочно можна представити у виглядi представленому у формулi (3) [5]:
J =
dwi dwR
df(w,XN) df(w,XN)
dwi dwR -
(3)
Тут вектор вагових коефщенпв w = [w1(. .,wr]T. Прирiст Aw в точцi w, що доставляе мшмум Ed дорiвнюе нулю. Тому для знаходження подальшого збшьшення прирiвняемо нулю вектор приватних похщних Ed по w у формyлi (4):
Ed = [y - f(w + Aw)l2 . (4)
У вище представленому рiвняннi f(w,x) = [f(w + Aw), ...,f(w + Aw,xn)]T. Перетворюючи i диференцiюючи цей вираз [y — f(w + Aw)l2 = (y — f(w + Aw)) (y — f(w + Aw)) = fT(w + Aw)f(w) — 2yTf(w + Aw) + yTy отримаемо ^^ = (JTJ)Aw — JT(y — f(w)) = 0.
Таким чином, щоб знайти значения Aw потрiбно вирiшити систему лшшних рiвнянь Aw =
(JTJ)-1JT(y — f(w)).
Так як число обyмовленостi матрицi JTJ е квадрат числа обумовленосп матрицi J, то матриця JTJ може виявитися ютотно виродженою. Тому Марквардтом введений параметр регуляризацп ц > 0 [6].
З параметром регуляризацп значення Aw буде розраховуватися за наступною формулою (5):
Aw = (JTJ + ^I)-1JT(y — f(w)) , (5)
де I - одинична матриця.
Цей параметр призначаеться на кожнш ггерацп алгоритму. Якщо значення помилки E D убувае швидко, мале значення зводить цей алгоритм до алгоритму Гаусса-Ньютона. Алгоритм зупиняеться в тому випадку, якщо прирiст Aw в подальшш ггерацп менше заданого значення, або якщо вектор вагових коефщенпв доставляе помилку ED, меншу задано! величини, або якщо вичерпано число циклiв [7].
Розглянемо на практищ застосування методу прогнозування щн на акцп фондового ринку за допомогою нейронних мереж. Вхiдними даними для нейронно! мереж1 будуть цши на акцп Alphabet Inc.Type C (GOOG) у перюд з 19 червня 2004 року до 26 жовтня 2017 року. Загалом даш вiдображають значення 6 змiнних (цша на момент вiдкриття, на момент закриття, максимальна, мiнiмальна, змiнена цша на момент закриття, об'ем торпв) за 3321 днi, протягом яких були вiдкритi торги цими акщями на фондовiй бiржi Nasdaq. Побудуемо кореляцiйнy матрицю показник1в цiн на акцш, представлену у табл. 1
Можна зробити висновок про те, що змшш цiни закриття та змшено! цiни закриття найбiльш сильно корелюють з iншими, оск1льки даш двох цих змшних майже однаков^ о для прогнозу будемо використовувати змшну цiни закриття - цшою на момент закриття акцп.
Таблиця 1
Матриця парних кореляцш змшних uin на акщю_
Цша Максимальна Мшмальна Цша закриття Змшена цша
в!дкриття цша цша на закриття
Цша вщкриття 1 0,999906 0,999847 0,999748 0,999748
Максимальна 0,999906 1 0,999836 0,999869 0,999869
цша
Мшмальна 0,999847 0,999836 1 0,9999 0,9999
цша
Цша закриття 0,999748 0,999869 0,9999 1 1
Змшена цша 0,999748 0,999869 0,9999 1 1
на закриття
При вщомому дiапазонi змiни змшно! доцiльно використовувати лшшне шкалювання. Для кожно! вхщно! змшно! лiнiйне шкалювання представлено у формулi (6):
p. = (xi-xmin)(b-a) + а , (6)
xmax-xmin
де xi - вх1дна змшна;
pi - перетворена вхiдна змшна, що подаеться на вхiд мережц [a, b] - допустимий дiапазон вх1дних змiнних, наприклад, [0, 1]; [xmin, xmax] - дiапазон змши видно! змшно!.
Вхiдний часовий ряд змасштабуемо за формулами, що представлен! вище. Змiну дiапазону даних можна прослiдити на рис. 2.
Рис. 2. Д1амазом uinn на акцiю пiсля масштабування вiд 0 до 1
Для реал1зацп нейронно-мережевих концепцш розроблено велику к1льк1сть спецiалiзованих програмних засобiв. Пакет фiрми «The MathWorks» MATLAB також надае користувачам можливкть роботи з нейронними мережами. Використання «Neural Network Toolbox» спiльно з шшими засобами MATLAB вiдкривае широкий проспр для ефективного комплексного використання сучасних математичних методiв для виршення найрiзноманiтнiших завдань прикладного та наукового характеру. Для побудови моделi прогнозування цiна на акцп Alphabet Inc. був опрацьований типовий функцiонал середовища MATLAB. Навчання мереж! вiдбувалося за допомогою алгоритму Левенберга - Марквардта.
Для тренування мереж1, яка оновлюе значення ваги та змiщення вщповщно до оптим!зацп Левенберга-Марквардта використовуеться функщя trainlm. Вона е найшвидшим алгоритмом зворотного вщтворення в панелi шструменпв, i настiйно рекомендуеться як алгоритм керування первинним вибором, хоча це вимагае бшьшо! пам'ятi, нiж iншi алгоритми. Навчання вiдбуваеться вiдповiдно до параметрiв тренувань trainlm, що визначенш за замовчуванням та представленi у табл. 2.
Будемо використовувати тип нейронно! мереж!, де кснуе лише одна серiя даних на перюд часу. Майбутнi значення часового ряду y(t) прогнозуються лише з минулих значень ще! серп. Ця форма передбачення називаеться нелiнiйною авторегресiею, i представлена у формул! (7):
y(t) = f(y(t - 1).....y(t-d)) . (7)
Таблиця 2
Параметри тренування функщТ за алгоритмом Левенберга - Марквардта
Максимальне число епох для тренувань 1000
Мета продуктивносп нейронно! мереж1 0
Максимальна шльюсть помилок на етапi 6
перевiрки
Мшмальний градiент продуктивностi мереж1 1е7
Початкове значення ц 0,001
Фактор зменшення ц 0,1
Фактор збшьшення ц 10
Максимальне ^
Епохи мiж вiдображенням 25
Вектори входiв та вектори цш будуть випадковим чином розподшеш на три набори наступним чином:70% будуть використанi для навчання; 15% буде використано для тдтвердження того, що мережа узагальнюеться, i для того щоб зупинити навчання перед перенавчанням; останнi 15% будуть використаш як абсолютно незалежне тестування мережевого узагальнення. Як результат ми отримуемо наступну нейронну мережу, що представлена на рис. 3.
Рис. 3. Арх^ектура розробленоТ нейронноТ мережi
Розглянемо графiк ефективностi нейронно! мереж! на етат тренування та тестування. На оа абсцис виражена сумарна шльшсть епох, що знадобилася для побудови оптимально! мереж!, а також на оа ординат розрахована середньо квадратична помилка на кожнш з епох, графж представлений на рис.4.
Рис. 4. Середня квадратична помилка на кожному з еташв навчання
Коефщенти значення лшшно! регресi! представлеш на рис. 5.
Рис. 5. Значення лшшноТ регресй' для тренувально'1, валвдащйно'1 та тестувально'1 вибiрок
У випадку з результатами нейронно! мереж1, коефщент л1н1йно! perpeciï характеризуе те, на -сшльки в1дпов1дають вих1дш даш, що сформоваш штучною мережею, фактичним даним. Як можна побачити на графшу, коефщент регресiï дуже високий i складае в середньому для тренувально!,', валiдацiйноï та тестово. виб1рок 0.9996.
Щоб 1мггувати мережею 30 крошв вперед, введемо порожнш масив чисел довжини 30. Мережа вимагае лише початкових умов, яш були вже розраховаш рашше. Коли цикл зворотного зв'язку вщкритий у мереж1 нел1н1йно.' авторегресш, вш виконуе прогноз на один крок вперед. Передбачаеться наступне значення y(t) в1д попередшх значень y(t). Якщо петля зворотного зв'язку закрита, ïï можна використовувати для виконання багатоетапних прогноз1в. Це тому, що прогнози y(t) будуть використовуватися замють фактичних майбутшх значень y(t). Отже, розглянемо результати прогнозу на 30 дшв у штервал1 в1д 0 до 1 на рис.6.
File Edit View Insert Tools Desktop Window Help
•j и j m № ч ••. s f. ■ ~ as ■ n
Рис. 6. Прогноз щни на акщю GOOG на 30 дшв у .liaiiajoni вiд 0 до 1
Висновки
Таким чином, було визначено основи побудови нейронно! мереж1, елементи !! архггектури. Охарактеризовано алгоритм тренування Левенберга-Марквардта як зааб побудови адекватно! архггектури модел1 нейронно! мереж1 для прогнозування цш на акцп, визначено його основш переваги. Проанал1зовано основш середовища для розробки нейронно! мереж1 та обгрунтовано використання MATLAB як додатку, що е найзручшшим та ефективним шструментом для побудови штучно! нейронно! мереж1. За допомогою функцш, що представлен! у середовищ1 MATLAB була сформована ушкальна математична модель мереж1 за допомогою !! тренування, тестування та ватдацц, була реал1зована !! оптим1защя та оцшка адекватност1 застосування для виршення задач1 прогнозування. В подальшому плануеться ускладнити архггектури мереж1, протестувати шш1 модел1 тренування мереж1, а також спробувати використати бшьшу к1льк1сть фактор1в для отримання ще ефектившшого прогнозу.
□ ;■:
Список використанот л^ератури
1. Моделi прогнозування: нейроннi мережа портал [Електронний ресурс]. - Режим доступу: http://www.mbureau.ru/blog/modeli-prognozirovaniya-neyronnye-seti
2. Gerbec D. Allocation of the load profiles to consumers using probabilistic neural networks / D. Gerbec, S. Gasperic, I. Smon // IEEE Transactions on Power Systems, V.20, 2005. - №2 - С. 548 - 555
3. Створюемо нейронну мережу для прогнозування часового ряду: портал [Електронний ресурс]. -Режим доступу: http://www.mbureau.ru/blog/sozdaem-neyronnuyu-set-dlya-prognozirovaniya-vremennogo-ryada
4. Сiперi О. Нейроуправлення i його додатки / О. Сшер^ - М .: 1ПРЖР, 2001. - 321 с.
5. Streit R. L. Maximum likelihood training of probabilistic neural networks / R. L. Streit, T. E. Luginbuhl // IEEE Trans. Neural Networks, V. 5, 1994. - №5. - С. 764 - 783
6. Zaknich A. Introduction to the modified probabilistic neural network for general signal processing applications / A. Zaknich // IEEE Transactions on Signal Processing, V. 46, 1998. - №7. - С. 1980 -1990
7. Saad E. W. Comparative study of stock trend prediction using time delay, recurrent and probabilistic neural networks / E. W. Saad, D. V. Prokhorov, D. C. Wunsch, // IEEE Transactions on Neural Networks, V. 9, 1998. - №6. - с. 1456 - 1470
