CC BY
17
лку [Електронний ресурс] / Н.О. Ткач //ВЬник Нацю-нального yнiверситетy водного господарства та приро-докористування. - 2012. - № 2 (58). - Режим доступу: http://old. nuwm.rv.ua/metods/asp/vd1/Ve5828.pdf
7. Сеыв Б.Г. Шляхи удосконалення оцЫки ефектив-ностi iнновацiйноí дiяльностi пiдприeмства [Електронний ресурс] / Б.Г. Сеыв // 1нновацмна економiка. -2013. - №7 (45). - Режим доступу: http://nbuv.gov. ua/UJRN/inek_2013_7_18
8. Фомичев А. Индексация основных средств: новые методы налоговиков для выполнения по-
казателей при проверке [Электронный ресурс] / А. Фомичев // Бухгалтер 911. - 2014. - Режим доступа: http:/buhgalter911. com/ShowArticle. aspx?a=107208
9. Ущаповський К.В. Удосконалення науково-практичних пiдходiв до оцЫки вартостi основних засобiв ДП «НЕК «Укренерго» [Електронний ресурс] / К.В. Ущаповський//£вропейський вектор економiчного розвитку. - 2015. - №1(18). - Режим доступу: http://duan.edu.ua/uploads/ vidavnitstvo14-15/12139.pdf
А.О. С1ГАЙ0В,
д.е.н., професор НТУУ «Ки'1'вський пол/техн/чний /нститут /мен/1горя С/корського»
А.В. ВОЛОВИК,
асп/рант НТУУ «Кивський пол/техн/чний ¡нститут ¡мен 1горя С/корського»
Статистичш модел1 нейронних мереж для прогнозування вартост медичного страхування
Нейронн/ мереж¡ вже давно стали популярним методом нел/н/йного статистичного прогнозування, отже уявляеться актуальним застосувати цю методику до прогнозування вартост/ медичного страхування. В ц/й робот/ досл'/джуеться мережа, заснована на стохастичн/й модел/, що мае багатор/вневу арх/тектуру прямого зв'язку з випадковими зв'язками м/ж модулями / частотною характеристикою з перешкодами. Отримана байес'/вська методика, виведена шляхом лог/чного розв'язку для ц/e'i модел/, базуеться на ф/льтр/ Калмана. Отриманий при цьому алгоритм навчан-ня узагальнюе так званий одновим/рний метод Ньютона, що вт/люе алгоритм, популярний нин/ в л/тератур/ з нейронних мереж. У статт/ представлений чисельний метод вивчення прогнозування вартост/ медичного страхування у вигляд/ хаотичних часових ряд/в з похибками / показана б'/льш висока точн/сть прогнозування нового алгоритму пор/вняно з /снуючими.
Ключовi слова: витрати медичного страхування, статистичне прогнозування, нейронн/ мереж/.
А.А. СИГАЁВ,
д.э.н., профессор НТУУ «Киевский политехнический институт имени Игоря Сикорского»
А.В. ВОЛОВИК,
аспирант НТУУ «Киевский политехнический институт имени Игоря Сикорского»
Статистические модели нейронных сетей для прогнозирования стоимости медицинского страхования
Нейронные сети уже давно стали популярным методом нелинейного статистического прогнозирования, следовательно, представляется актуальным применение этой методики к прогнозированию стоимости медицинского страхования. В этой работе исследуется сеть, основанная на стохастической модели, имеющая многоуровневую архитектуру прямой связи со случайными связями между модулями и частотной характеристикой с препятствиями. Полученная байесовская методика, выведенная путем логического решения этой модели, базируется на фильтре Калмана. Полученный при этом алгоритм обучения обобщает так называемый одномерный метод Ньютона, популярный сейчас в литературе по нейронным сетям. В статье представлен численный метод изучения прогнозирования стоимости медицинского страхования в виде хаотических временных рядов с погрешностями и показана более высокая точность прогнозирования нового алгоритма по сравнению с существующими.
Ключевые слова: стоимость медицинского страхования, статистическое прогнозирование, нейронные сети
© А.О. С1ГАЙОВ, А.В. ВОЛОВИК, 2017
Формування ринкових вщносин в УкраУнл №1 (188)/2017 61
A. SIGAYOV,
Professor, D.Sc. Igor Sikorsky Kyiv Polytechnic Institute
A. VOLOVYK,
Doctoral student Igor Sikorsky Kyiv Polytechnic Institute
Statistical models of neural networks for medical insurance cost forecasting
Neural networks have become a popular method of non-linear statistical forecasting therefore it seems important to apply this method to forecasting the cost of health insurance. In this paper the network based on a stochastic model that has direct connection tiered architecture with casual connections between modules and frequency characteristics with obstacles. The resulting Bayesian method, derived by logical solution for this model is based on the Kalman filter. Thus resulting learning algorithm generalizes the so-called one-dimensional Newton method that implements the algorithm is now popular in the literature on neural networks. The article presents numerical prediction method for studying relative cost of health insurance in the form of chaotic time series of errors and shows higher forecasting accuracy of the new algorithm compared to the existing ones.
Keywords: medical insurance cost, statistical forecasting, neural networks
Постановка проблемы. Ця стаття описуе но-вий пщхщ до проблеми прогнозування нелУйних часових рядiв. Iнодi нелУйнють в еволюцм часу демонструе характеры риси, як можуть бути до-сить добре описан за допомогою юнуючих пара-метризованих клаЫв нелУйних моделей, таких як бтУйы або граничн модель Част0е, нелг ыйнють е результатом вкрай нерегулярно! по-ведЫки 3i складними часовими залежностями, i визначення специфiчно! нелУйно! моделi може бути важким.
Анал13 останшх досл1джень та публжацт. Пдощ, описаний у ^й стаття Грунтуеться на стратеги, запропоноваый у нещодавнiй роботi з тео-рп нейронних систем. У фй теорп широкий клас моделей нейронно! мережi представлений у ви-глядГ пристро!в з обробки та розподту Ыформа-цм, основним завданням яких е складання моделей на базi потоюв вхщних даних (див. Герц, Крог та Палмер [8]; Румельхарт та Макклеланд [17]).
Дотримуючись теорм Лапедеза та Фарбера [11], а також Джонса та ¡н. [9], ми застосовуе-мо цю стратепю до проблеми прогнозування не-лУйних часових рядГв. Ми моделюемо доступы для огляду часовi ряди у вигляд! систем обробки ^формаци, де iнформацiя, у вигляд! системи екс-траполяторiв, перетворюеться та розподтяеть-ся через систему зв'язувань серед обмеженого числа модуле (нейронiв), щоб одержати вщпо-вщь системи. Точн0е, ми вводимо стохастичну модель нейронно! мережу засновану на багато-шаров^ арxiтектурi прямого зв'язку з випадко-вими зв'язками м!ж модулями та реакцтми за-
rnyM^eHoí cncTeMn. npeflcTaB^aronn qro MOfle^b y BMr^Rfli npocTopoBoro CTaHy, mm Hafla^i po3po6^a-°MO CTaTMCTMHHy MeToflMKy nporío3yBaHHa, BMBe-fleíy Ha ochobí $mbTpa Ka^Maía.
Merom HanncaHHa crarri ° npe3eHTaqia e$eK-tmbhoí MeToflMKM CTaTMCTMHHoro Mofle^roBaHHa 3a flonoMororo HeépoHHo-MepexeBMX Mofle^eé. MeTa flocaraeTbca HacTynHMM hmhom. ó neprnoMy niflpo3-flmi ocíoBHoro 3MicTy onncyeTbca apxiTeKTypa npa-Moro 3B'a3Ky nporHo3yroHoí Mepexi Connectionist Normalized Local Spline (CNLS) (HopMan¡3oBaHné ^oKa^bHMé cn^aéí). Ó flpyroMy niflpo3flini npefl-CTaB^eHe CToxacTMHHe flnHaMiHHe y3ara^bHeHHa Mieí Mepexi, Bnxoflann 3 BnnaflKoBoí cTpyKTypn, aK y 3B'fl3Kax, TaK i b peaKqif cncTeMn. Ó TpeTboMy nifl-po3flmi npeflCTaB^eHMé BaéeciBCbKMé a^ropnTM floc^iflxeHH^ fl^a cToxacTMHHoí Mepexi. Ó neTBep-ToMy niflpo3flini npeflCTaB^eHMé MeTofl on™Mi3aMií HbroToía, nony^apíné cboroflíi oíoB^roBaíné a^-ropMTM, BnKopncToByBaHné y Mepexi CNLS aK oco-BMnafloK Harnoro 6aéeciBCbKoro anropnTMy. Ó n'aToMy po3flmi BMKopwcToByeTbca cToxacTWHHa Mepexa fl^a nporío3yBaHHa 3awyM^eHnx xaoTWHHo nacoBMx pafliB i aHa^i3yeTbca, aK noMnrna nporío-3yBaHHa 3a^exMTb Bifl piBHa rnyMy b cncTeMi Ta na-paMeTpiB HaBHa^bHoro a^ropnTMy. 3oKpeMa, npo-fleMoícTpoBaío, ^o MoxHa cyireBo noKpa^n™ MeTofl HbroToía. HapewTi, y wocToMy niflpo3flini no-Ka3aío, ^o cToxacTMHHa Mepexa BKnronae, aK oco-BMnafloK, fleaKi cTaHflapTHi Mofleé nacoBnx pafliB, y ToMy hmc^í niíiéHi aBToperpecnBHi Mofle™, rpaHMHíi Mofleé Ta Mofleé, ^o 3a^exaTb Bifl cTaíy b aBToperpecMBíié $opMn.
Виклад основного матер1алу.
АРХ1ТЕКТУРА МЕРЕЖ1
Щоб створити модель прогнозно! нейронноТ мережу ми вибираемо багатошарову структуру з динамкою прямого зв'язку. Зокрема, ми ухва-люемо прогнозну мережу СЫЬБ, введену Джонсом та ¡н. [9]. Вона складаеться з трьох упоряд-кованих шарю вузлю: к¡нцевого вх¡дного шару з р вузлами, одного схованого або промжного шару з д вузлами ¡ к¡нцевого вихщного шару. Хоча, в принцип¡, мережа могла б мати довтьне число пристроТв висновку, у ц¡й статт ми обмежимося випадком з одним пристроем висновку.
Мережа мае просту структуру прямого зв'язку. Кожен пристр^ введення повщомляе про св¡й стан уЫм схованим модулям. Ц¡ вузли обчислю-ють св¡й стан, обробляючи ¡нформацш, отриману в¡д пристроТв введення, а по™ пов¡домляють про св^ стан пристрою висновку. Пристр¡й висновку дал¡ використовуе цю ¡нформац¡ю, щоб обчис-лювати в¡дпов¡дь системи. Жодна ¡нформацт не проходить «назад» або мж вузлами в тому самому шар¡ системи.
Стан пристрою введення ¡ позначено як X, а чинн¡сть зв'язку м¡ж / та схованим вузлом \ буде кодуватися сполучним параметром у = (р~,Ор.2). Стан схованого вузла \ складаеться з двох компонента, X ¡ Н, обумовлених як Х = (Х1,.,Хр) i у, = (у,, ...У р) у такий споЫб:
V
Н] = и] (Х) = Яе
2Х1.
(1)
де Я -
нормувальний множник, який дор¡внюe
II- ||2
"Ы
Г*
2К
Б = 1, ..., Ц.
Таким чином, згщно з (1) компонент Н стану кожного схзованого вузла виходить з локал^о-ваного рецепторного поля в р-вим^ному вхщ-ному простора пол¡, зосередженому на р, з роз-м¡рним сп¡вв¡дношенням до О2.
СТ0ХАСТИЧНА М0ДЕЛЬ нЕЙР0НН01 МЕРЕЖ1
У цьому розд¡л¡ ми побудуемо динам¡чну стохас-тичну модель, яка узагальнюе детерм¡новану структуру введення-висновок, надану в (1). Ця модель мае два джерела довльносп. По-перше, на реакц¡ю
У будуть впливати випадков¡ збурення, в¡дпов¡дн¡ до спостережуваного шуму. По-друге, чинн¡сть зв'язку мж схованими модулями та пристроем висновку порушуеться випадковим збурюванням параметра ¡3, в¡дпов¡дних до системних шумв
Ми зараз описуемо стохастичну модель для мережу використовуючи прим¡тки роздту 2. Для ряду вх¡дних значень Х1, Х2,..., визначимо ряд по-сл¡довних реакц¡й У1, У2,... за допомогою наступ-них трьох динамнних р¡внянь: Ъ = и{х{) Чяг,)+ч>
= (2)
де аС ¡ ¿Г означають спостережуван¡ шуми та системы шуми, з С = 1,2,... ¡\ = 1,..., ц.
Шумов¡ змЫы в¡дпов¡дають наступним припу-щенням розподту: {аС} ¡ незалежы, 0 означав гаус¡ан для бтих шум¡в; аС мае дисперсш та ^ мае ковар^нтнють Оь. В (3) параметри мають випадков¡ значення. Це також особливють залеж-них в¡д стану моделей, описаних Прю™ (1988).
Щоб отримати методи оцЫки ¡ прогнозування параметра з¡ стохастичноТ модел¡, описано! ра-н¡ше, ¡ зв'язати цю модель з ¡ншими в л¡тератур¡ часових ряд¡в, корисно представити це в наступ-ному компактному виглядг
+ (4)
I
3(Х1+1)-С(Х1+1)3{Х^+1Н+ъ (5)
де Ь(Х) е ц(р+1)-вектором, вираженим як
= и (Х,),...,ид(ЛГ,);0;...;0), (6)
.9(^)е ц(р+1)-вектором, вираженим як
¡ матриця визначаеться як
о(х(+1) О О о П(хт) о о о п(х{+1)
VI
РЯ
де 1д — (9x9) одинична матриця ¡
°{х1+\) = {х\^+\-х\,1'—хр,г+1 - хр^). Шумовий компонент в (5) представлений е ц(р+1)-вектором-стовпчиком Ь+г де
^ = .....</* = (&/*.....у = 1,...,<?,
У ц¡й формул¡ ми бачимо, що стохастична модель мереж¡ - це особливий випадок модел¡ в простор¡ стаыв, описано!, наприклад, Аок¡ [1]: (4)
e piвнянням cпocтepeжeння тa (5) e cиcтeмним piвнянням, дe e[XtJ - вeктop с^ну cиcтeми. Taким чинoм, yзaгaльнeння мepeжi тa peзyльтaти, oпи-caнi в ц^ cтaттi, мoжнa poзглядaти в дус poбoти, пpeдстaвлeнoï Дe Джoнгoм [4], Гopдoнoм тa Cмi-том [7], Meйнxoльдoм тa Ciнгпypвaлoм [12], ^дУ [1В], i Becтoм, Xappicoнoм тa Miгoнoм [20].
Moдeль тaкoж пocилa8тьcя нa poбoти, oпyблi-кoвaнi в лiтepaтypi з нeйpoнниx мepeж. Лoкaльнo нacтpo8нa мepeжa, пpeдcтaвлeнa Myдi тa Дapкe-нoм [13], i мepeжa peгyляpизaцiï Пoгio тa Жиpo-cci [14] - цe ocoбливi випaдки мoдeлi в пpoстo-pi cтaнiв, oписaнoï тут, y якиx фyнкцiя з'8днaння w[X) - кoнcтaнтa, wt. Для циx мepeж пpeдстaв-лeння мoдeлi в пpocтopi cтaнiв мa8 вигляд пpo-стоТ фopмyли
Yt = h[X) wt + at тa w+1 = G+1 Wt + Çt+1 дe Gt+1 - вiдoмa (q x q) мaтpиця. У peзyльтaтi cтoxacтичний aлгopитм нaвчaн-ня, oпиcaний y нacтyпнoмy poздiлi, тaкoж мiг бути зacтocoвaний дo циx мepeж (Пoлi тa Джoнca 1990, 1991). CTÜXACT/Mh^ HABЧAЛЬHИЙ AЛГÜPИTM Mи зapaз пepexoдимo дo пpoблeми пpoгнoзy-вaння мaйбyтньoгo знaчeння pядy Yn+1, виxoдячи з нaбopy oтpимaниx дaниx Yt, t = 1,..., n. Як ввeдeн-ня в нэш пpoгнoзний aлгopитм пoтiм ми бyдeмo викopиcтoвyвaти вeктop Xn+i = {Yn,Yn_h...Yn_m,). Aлгopитм бyдe дeмoнcтpyвaтиcя нa нaбopi пpи-клaдiв зa фopмyлoю (Yt,Xt,t = \,...,n). Eкстpaпoля-тop, який мiнiмiзye MSE (cepeдньoквaдpaтичнy пoгpiшнicть) - цe yмoвний oчiкyвaний peзyльтaт Yn+1 пpи Xn+1 (див. Пpicтлi 19ВВ). Taким чинoм, нэшб зaвдaння - визнaчити, щo нa пiдcтaвi мoдeлi, oпиcaнol в (4) i (5). Для цьoгo ми нaдaмo кoжнoмy t ^y-ciвcький aпpiopний poзпoдiл зa вeктopoм в, який е нeзaлeжним вiд at i £t,. Пoтiм, пicля oдepжaння Yt, cтaндapтний бaйecoвcький poзpaxyнoк дae aпocтepiopний poзпoдiл для в. Cepeдн8 знaчeння i кoвapiaнтнicть цьoгo poзпoдiлy, пpи t = n, мaють фopмy (Пoлi тa Джoнc 1990):
4г+1 = Gnßn +кп+\еп+\ 2и+1 = (I~Kn+lhn+l)pn+l
пPи *и+1 = Pnh'n (hnPnh'n +Rn)~l дe Pn = Gn^n-\G'n + Qn тa en=Yn- hnGn0n_¡. Для пoлeгшeння дeмoнcтpaцiï ми пpoпycтили зa-лeжнicть в, G i h вщ Xn. Bизнaчeння вп+\ в (В) дo-
cягaeтьcя шляxoм вiднoвлeння eкcтpaпoлятo-pa пapaмeтpa Gnên+\ зa нoвoгo oдepжaння Yn+\. Eкcтpaпoлятop Gnên+\ фaктичнo кopигyeтьcя, aбo пoнoвлю8тьcя пpoгнoзoвaнoю пoгpiшнicтю en+1. Bплив цieï пpoгнoзoвaнoï пoгpiшнocтi нa ên+\ кo-peктy8тьcя фopмyлoю Kn+1, якa мoжe poзглядa-тися як швидкicть нaвчaння aлгopитмy. Taraœ кoвapiaцiйнa мaтpиця Hn+1 в (9) aктyaлiзye вiдпo-вiднi знaчeння пpoгнoзoвaнoгo poзпoдiлy, oдep-жyвaнi вiд Pn+1, зa швидкoстi нaвчaння Kn+1 i eлe-мeнтiв вимipy hn+1.
Bипepeджyвaльний eкстpaпoлятop Yn пo-тiм пpиймae фopмy Yn=hn+\Gndn, з пpoгнo-зoвaнoю диспepсi8ю, щo виpaжa8ться як
кп+\ = hn+lPn+lKi+l +Rn
Üскiльки pe^pciT (В) i (9) пpeдстaвляють aктyaлi-зyючi piвняння мeтoдy фiльтpaцiï Kaлмaнa, щo нa-вчae стoxaстичний aлгopитм, oписaний вищe, мa8 звичaйнi влaстивoстi цьoгo мeтoдy. Baжливo вiд-знaчити, щo oптимaльнiсть фiльтpa Kaлмaнa зaлe-жить вiд пpaвильнoï спeцифiкaцiï мoдeлi; тoбтo, щo зaпpoпoнoвaнa мoдeль oписye пpoцeс, який гeнe-pye дaнi (Бepк [2]). Öe звичaйнo нe e мeтoю мoдeлi, нaдaнoï в poздiлi 3, мeтa якoï - пpoстo мoтивyвa-ти пpeдстaвлeння eфeктивнoгo aлгopитмy пpoгнo-зyвaння. Успix мoдeлi мa8 oцiнювaтися з пoглядy ycrnxy aлгopитмy пpoгнoзyвaння, дo якoгo вЫ вeдe. METÜД ÜПTИMIЗAЦÍÍ HЬЮTÜHA Meтoд oптимiзaцiï Hьютoнa для oцiнки пapaмe-тpa i пpoгнoзyвaння в дeтepмiнoвaниx бaгaтopiв-нeвиx мepeжax е нa дaний мoмeнт oдним iз нaйпo-пyляpнiшиx мeтoдiв y лiтepaтypi з нeйpoнниx мepeж (Гepц, Kpoг, i Пaлмep [В]). ùo6 визнaчити зв'язoк цьoгo мeтoдy з мeтoдoм фiльтpaцiï Kaлмaнa, poз-глянутим y ц^ стaттi, ми зapaз poзглянeмo чaсoвy eвoлюцiю, змoдeльoвaнy зa вiдсyтнoстi шуму.
Bикopистoвyючи ту ж мepeжнy apx^e^ypy, oписaнy в (2), ми poзглянeмo нaстyпнy мoдeль y пpoстopi стaнiв:
Yt+\=u{Xt)w{Xt)
i w{xt+l) = Gt+lwixt+Ü дe u(xt) = [u\{xt)>--->uq{xt^) - пepшi q eлeмeн-^в h(Xt) в (6), w{Xt) = (w{(Xt),...,wq(Xt)} - пepшi q eлeмeнти вeктopa 0(Xt) в (7), i Gt+\ =Iq - oди-ничнa мaтpиця. ми пpиймeмo гayсiвський
aпpiopний poзпoдiл для c iз сepeднiм щ тa oди-ничнoю мaтpицeю кoвapiaнтнoстi.
Üнoвлeнa фopмyлa для w(Xt), oтpимaнa зa pe-кypсивним aлгopитмoм, oписaним y пoпepeдньo-му poздiлi, для t = n, дae нaм
w
(Xn+i ) = w(Xn ) + Kn+ien+i
пpи
(10)
Ï
Kn+! = (Xn+l)/[zjU2j (Xn+l)],...,uq (Xn+i)Jj
Ця фopмyлa iдeнтичнa peкypсивнiй oнoвлюю-чiй фopмyлi, oтpимaнiй Джoнсoм тa iн. [9], який викopистoвyвaв oднoмipний мeтoд oптимiзaцiï Hьютoнa. Taким чинoм, для нeгyчниx дaниx i oди-ничнoï мaтpицi пepexoдiв мeтoд oптимiзaцiï ^ю-тoнa вивoдить пpaвилo вiднoвлeння, якe e oco-бливим випaдкoм cтoxacтичнoгo нaвчaльнoгo aлгopитмy, oтpимaнoгo pa^rne для cтoxacтичнoï мoдeлi мepeжi. Для пopiвняння з мeтoдoм aлгo-pитмy звopoтнoгo пoшиpeння, див. Baйт [21].
BИKÜPИCTAHHЯ CTÜXACTИЧHÜÏ MEPEЖI ДЛЯ ПPÜГHÜЗУBAHHЯ HEЛIHIЙHИX ЧACÜBИX PЯДIB
З мeтoю ^CTpa^í ми пpeдcтaвля8мo pe-зyльтaти чиceльнoгo aнaлiзy, y якoмy викopиc-тoвyвaлacя cтoxacтичнa нeйpoннa мepeжa для пpoгнoзyвaння нeлiнiйниx чacoвиx pядiв. У цьo-му пpиклaдi ми aнaлiзyeмo xaoтичнi чacoвi pя-ди, знaчeння якиx визнaчaютьcя зa лoгicтичнoю cxeмoю. Cклaднa пpoблeмa пpoгнoзyвaння xa-oтичниx чacoвиx pядiв нeщoдaвнo дocлiджyвa-лacя тeopeтикaми динaмiчниx cиcтeм, якi ввeли вeликий i цiкaвий ^nac мeтoдoлoгiй (Kacдaглi [3]; Фapмep тa Cидopoвич [5]; Гiбcoн тa iн. [6]; див. тaкoж Лaпeдec тa Фapбep [11] для пpoгнoзyвaн-ня зa дoпoмoгoю дeтepмiнicтичнoï мepeжi).
Haбip дaниx, зa якими ми пpaгнeмo дaти пpo-гнoз, визнaчa8тьcя зa лoгicтичнoю cxeмoю Yt+\ =4Ií(1_ií), зaбpyднeнoю шyмaми ^oCTepe-жeння at =N( 0,1).
Для пpoгнoзyвaння цьoгo pядy ми викopиcтoвy-8мo пpoгнoзyючy мoдeль нeйpoннoï мepeжi, пpeд-cтaвлeнy в (4) i (5), з oдним пpиcтpoeм ввeдeння i п'ятьмa piвнoмipнo poзтaшoвaними cxoвaни-ми вyзлaми. Фунщя aктивaцiï в cxoвaниx вyзлax пpийнятa y виглядi нopмaлiзoвaнoгo гayciaнa, то-Дi Uj (X) = Яехр j- JXj J] I22?: j. як в (1), пpи l/aj = 4.
^и пopiвнялИ poбoтy дв^ piзниx oнoвлюючиx aлгopитмiв: cпeцифiчнoï вepciï нaвчaльнoгo сто-xacтичнoгo aлгopитмy (LSA) poздiлy 4, oпиcaнoï в пoпepeдньoмy пapaгpaфi, i oднoмipнoгo мeтoдy Hьютoнa (1DN). Пpoгнoзи, виpoблeнi цими двoмa aлгopитмaми, були пopiвнянi зa дoпoмoгoю нop-мaлiзoвaнoï пoмилки пpoгнoзyвaння
\1/2 /\_ (__ _ ^1/2"
Yn+т Yfi+T j
EÇI
Yn+r
-^q(w))'
дe Yn+T e пpoгнoзними знaчeннями, oтpимaни-ми шляxoм нaвчaння мepeжi зa дoпoмoгoю нa-вчaльнoï мeтoдики, Eq(Y„+t) e cepeднiм знaчeн-ням дaниx, г - чac випepeджeння пpoгнoзy, i Eq oзнaчa8 oпepaтop ycepeднeння для пpoгнoзoвa-ниx дaниx.
Висновки
1. Moдeлi нeйpoннo|| мepeжi для пpoгнoзyвaння, poзглянyтi в цiй cтaттi, вкnючaють, y якocтi oco-бливиx випaдкiв, тaкi знaйoмi чacoвi pяди, як: лi-нiйнi aвтopeгpecивнi мoдeлi, гpaничнi мoдeлi тa мoдeлi, щo зaлeжaть вiд cтaнy мoдeльoвaнoï сис-тeми в aвтopeгpecивнiй фopмi. У^ цi мoдeлi мo-жуть зacтocoвyвaтиcя з викopиcтaнням бaзoвoï apxiтeктypи нeйpoннoï мepeжi, як бyлo пpeдcтaв-лeнo тут, aлe бeз cxoвaниx вyзлiв, тaк звaнoï пpo-cтoï пepceптpoннoï apxiтeктypи.
ùo6 пepeкoнaтиcя в цьoмy, див. cтoxacтич-ну мepeжy, пpeдcтaвлeнy в (4), з викopиcтaн-ням минyлиx знaчeнь pядiв як вxiдниx дaниx; тoб-тo, Xt =\Yt_\,Yt_\,...Yt_pЯкщo функцГ! зв'язку е кoнcтaнтoю i вiдcyтнi cxoвaнi rnap^ тo cтoxacтич-нa мepeжa звoдитьcя дo Yt =Xtw+at, тoбтo дo лi-нiйнoï aвтopeгpecивнoï мoдeлi пopядкy p.
A тeпep пpипycтимo, щo функцГ! зв'язку пpи-ймaють вигляд w(Xt) = w)J\ якщo Xt<=CSJK j = \,2,-,q,
P).
iJ).
дe wf ' - кoнcтaнти, a Cyj > - зaдaнi oблacтi в Rp. Пpипycтимo тaкoж, щo нeмa8 жoднoгo cxoвaнoгo rnapy. Toдi мoдeль cтoxacтичнoï нeйpoннoï мepe-œi звoдитьcя дo гpaничнoï мoдeлi (Пoлi 19В7; Toнг 19В0).
I нapeштi, якщo ми ттьки пpипycтимo вiдcyт-нicть cxoвaниx вyзлiв i бyдeмo пiдтpимyвaти зa-лeжнicть фyнкцiй зв'язки вiд вxiдниx знaчeнь, як y (4), тo мoдeль бyдe вiдпoвiдaти мoдeлi, щo зa-лeжить вiд cтaнy мoдeльoвaнoï cиcтeми з aвтo-peгpecивнoю cxeмoю ^pic^i [16]).
У лiтepaтypi з нeйpoнниx мepeж е чиcлeннi пiд-твepджeння тoгo, щo, нa вiдмiнy вщ пpocтиx пep-ceптpoнiв, cxoвaнi вузли мoжyть cyтт8вo пoлiп-шyвaти poбoтy мepeжi з цiлoгo pядy зaвдaнь. Toмy цiлкoм дoцiльнo дocлiджyвaти, чи мoжyть вapiaнти пpeдcтaвлeнoï тут зaгaльнoï cтoxacтич-нoï мepeжi зi cxoвaними вyзлaми зaпpoпoнyвaти aнaлoгiчнi пepeвaги пepeд мoдeлями з чacoвими pядaми, згaдaними в пoпepeднix пapaгpaфax.
2. У наш!й стохастичый модел! параметри j, що визначають локальн рецепторы поля, через як схован вузли реагують на введен! дан!, незмЫнк Дуже бажано було б також змоде-лювати ц параметри як випадков! таким чином, щоб вони (i локальн поля, як! вони визначають) могли бути адаптивно скоректован залежно вщ даних, що вводяться. Таке розширення модел! потребувало б нелУйно! версм фтьтра Калмана, щоб зд!йснювати вщновлення параметра ! прогнозу. На даний ведеться робота над таким роз-ширенням дано! модел!.
Список використаних джерел
1. Aoki M. State-Space Modeling of Time Series. -Berlin: Springer-Verlag. - 1987.
2. Berk R. H. Limiting Behavior of Posterior Distribution When the Model is Incorrect. - The Annals of Mathematical Statistics. - Vol. 37. - 1966. - P. 51-58.
3. Casdagli M.L. Nonlinear Prediction of Chaotic Time Series. - Physica D. - Vol. 35. - 1989. - P. 335-356.
4. De Jong P. The Diffuse Kalman Filter. - The Annals of Statistics. - Vol. 19. - 1991. - P. 1073-1083.
5. Farmer J. D., Sidorowich J. J. Predicting chaotic time series. - Physics Review Letters. - Vol. 59. - 1987. -P. 845-847.
6. Gibson J. F., Farmer J. D., Casdagli M., Eubank S. An Analytic Approach to State Space Reconstruction. -Physica D. - Vol. 57. - 1992. - P. 1-30.
7. Gordon K., Smith A.F. Modeling and Monitoring Discontinuous Changes in Time Series // Bayesian Analysis of Time Series and Dynamic Models, ed. J. C. Spall. - New York: Marcel Dekker. - 1988.
8. Hertz J., Krogh A., Palmer R. Introduction to the Theory of Neural Computation. - Santa Fe Institute Studies in the Science of Complexity, Amsterdam: Addison-Wesley. - 1991.
9. Jones R. D, Lee Y.C., Barnes C W., Flake G.W., Lee K., Lewis P.S., Qian S. Function Approximation and Time Series Prediction With Neural Networks. -Working Paper LA-UR 9021. - Los Alamos, NM: Los Alamos National Laboratory. - 1989.
10. Jones R.D., Lee Y.C. Nonlinear Adaptive Computation. - Los Alamos, NM: Los Alamos National Laboratory. - 1991.
11. Lapedes A. S., Farber R.M. Nonlinear Signal Processing Using Neural Networks: Prediction and System Modeling. - Working Parer LA-UR 872662. - Los Alamos, NM: Los Alamos National Laboratory. - 1987.
12. Meinhold H. J., Singpurwalla N. D. Robustification of Kalman Filter Models. - Journal of the American Statistical Association. - Vol. 84. - 1989. - P. 479486.
13. Moody J., Darken C.J. Fast Learning in Networks of Locally Tuned Processing Units. - Neural Computation. - Vol. 1. - 1989. - P. 281-294.
14. Poggio T., Girosi F. Regularization Algorithms for Learning That are Equivalent to Multilayer Networks. -Science. - Vol. - 247. - 1990. - P. 978-982.
15. Poli I., Jones R.D. A Predictive Algorithm for Noisy Feed-forward Neural Nets. - Technical Report. Bologna: Dip. di Statistica P. Fortunati. - 1990.
16. Priestley M. B. State-Dependent Models: A General Approach to Nonlinear Time Series Analysis. -Journal of Time Series Analysis. - Vol. 1. - 1980. -P. 47-71.
17. Rumelhart D.E., McClelland J.L. Parallel Distributed Processing: Explorations in the Microstructures of Cognition. - Cambridge, MA: MIT Press. - 1986.
18. Todini E. Mutually Interactive State Parameter (MISP) Estimation // Proc. AGU Chapman Conf. Applied Kalman Filtering Techniques - 1988. - P. 58-72.
19. Tong H., Lim K.S. Threshold Autoregression, Limit Cycles, and Cyclical Data. - Journal of the Royal Statistical Society. - Ser. B. - Vol. 42. - 1980. P. 245292.
20. West M., Harrison P.J., Migon H. S. Dynamic Generalized Linear Models and Bayesian Forecasting. -Journal of the American Statistical Association. - Vol. 80. 1985. - P. 73-97.
21. White H. Some Asymptotic Results for Learning in Single Hidden-Layer Feedforward Network Models. -Journal of the American Statistical Association. - Vol. 84. - 1989. - P. 1003-1013.
