CC BY
15
НЛТУ
ы КРАЖИ
Hl/IUB
Науковий в!сн и к НЛТУ УкраТни Scientific Bulletin of UNFU
http://nv.nltu.edu.ua https://doi.org/10.15421/40270435 Article received 12.05.2017 р. Article accepted 24.05.2017 р. УДК 004.02:519.63
ISSN 1994-7836 (print) ISSN 2519-2477 (online)
1 ЁЕЗ Correspondence author N. O. Semenyshyn xa4abu@ukr.net
Н. О. Семенишин
Нацюнальний лкотехшчний ушверситет Украши, м. Львiв, Украша
РОЗВ'ЯЗУВАННЯ ДВОВИМ1РНО1 ЗАДАЧ1 ТЕПЛОПРОВ1ДНОСТ1 РЕКУРЕНТНОЮ
НЕЙРОННОЮ МЕРЕЖЕЮ ДЖОРДАНА
Розглянуто метод для розв'язання двовимiрного рiвняння теплопровiдностi в iзотропних матерiалах iз граничними умо-вами першого типу, використовуючи штучну нейронну мережу (ШНМ) Джордана. Побудовано функцiю вартостi ШНМ, в основi якоТ знаходиться метод Кранка-Иколсона. При досягненнi функцieю вартосп мiнiмуму, виходи мережi дають розв'язок рiвняння теплопровщность Ця функцiя вартосп мiнiмiзуeться методом Флетчера-Рiвза за синаптичними вагами. Щоб знайти частиннi похвдш першого порядку вiд функцй вартост за ваговими коефiцieнтами мережi, використано розши-рення стандартного алгоритму зворотного поширення, названого "Зворотним поширенням у чаи за епохами".
Пiдiбрано архггектуру мережi з урахуванням специфiки розв'язувано'1 задачi. Оптимальнi можливостi апроксимацй отри-мано з використанням двох шарiв мережi без використання функцiй активацп через лiнiйнiсть рiвняння. Наведено результата моделювання на двох тестових задачах i здiйснено порiвняння результату з шшими числовими методами. Показано, що результати розрахункiв з використанням цього шдходу дають добре наближення до точних рiшень. Також отримано задо-вiльний розв'язок за межами часового дiапазону, для якого ввдбувалось навчання. Показано стiйкiсть та збiжнiсть цього шд-ходу при значеннях кроку за часом, для якого явш рiзницевi методи е чисельно нестабшьними.
Представлено методологiю розв'язання крайових задач, а саме рiвняння теплопроввдносп у двох вимiрах з використанням штучно! нейроннот мережi. Гнучшсть пiдходу полягае в можливостi донавчання мережi для досягнення необхвдноТ точ-ностi та здатностi мережi "запам'ятовувати" рiшення для рiзних початкових умов. Ушверсальнють пiдходу полягае у вико-ристаннi едино! методологiT для рiзних фiзичних параметрiв задачГ
Клю^ое^ слова: рiвняння теплопровiдностi; рекурентна нейронна мережа Джордана; метод Кранка-Иколсона; метод Флетчера^вза; метод "Зворотного поширення в чаи"; функщя вартост (енергетична функцiя).
Вступ. Чисельним методам у багатьох дисциплшах, таких як фiзика, прикладна математика, електротехшка, бiохiмiя i т.д., останшм часом надають велику увагу як практичним методам для розумiння складних явищ, якi майже неможливо розглядати в аналiтичнiй формi. Ба-гато методов розроблено до цього часу для виршення диференцiальних рiвнянь у частинних похiдних. Деякi з них дають розв'язок у виглядi масиву, який мiстить значения у деякш групi точок. Iншi використовують базис -нi функщ! для представлення розв'язку в аналiтичному виглядi i зведення початково! задачi до системи ль нiйних р1внянь (Zenkevich & Morgan, 1986; Farlou, 1985).
!снуе також чимало метод1в з використанням ШНМ для ще! задачi. Тут можна видщити кiлька груп методiв, зокрема: методи побудованi на основi методу зважених нев'язок, без необхвдносп навчання з попереднiм об-численням коефiцiентiв В-сплайнiв, якими апрокси-муеться розв'язок (Meade & Fernandez, 1994), та ШНМ прямого поширення з навчанням i подальшою замшою ними базисних функцiй для апроксимащ! розв'язку (Aarts & van der Veer, 2001; Lagaris, Likas &Papageorgi-ou, 2000; Lagaris, Likas & Fotiadis, 1998; Mall & Chakra-verty, 2013). Великий клас РБФ мереж з можливктю
пiдбору кiлькостi, положення та po3MÍpÍB pадiально-ба-зисних функцш (Vasilev & Tarhov, 2009). Методи, побу-дованi на основi теори стiйкостi (метод Ляпунова), в яких змiна стану нейрона мiнiмiзуe енергетичну фун-кцiю, сформовану за сюнченно^зницевим шаблоном (Lee & Kang, 1990). I подiбнi до останнього високо па-pалельнi методи на кштинних нейронних мережах, в яких значения нейрона наближаеться до розв'язку piв-няння за певною iтеpацiйною схемою (Gorbachenko, 2003; Novotarskyi & Nesterenko, 2004).
Попри велику кшьюсть лиератури iз ШНМ, все ж розв'язування р1внянь паpаболiчного типу на нейронних мережах розкрите недостатньо. У цш робот здiйснено спробу створити гнучку та унiвеpсальну ме-тодолопю для розв'язування двовимipних piвиянь теп-лопpовiдностi. Гнучкiсть пiдходу полягае у можливосп донавчати мережу для досягнення необхщно! точностi та здатностi меpежi "запам'ятовувати" розв'язки для piз-них початкових умов. Унiвеpсальнiсть методу полягае у застосуванш единого пiдходу для розв'язання ще! зада-чi для piзних фiзичних паpаметpiв задачi.
Опис двовимiрноí задачi теплопровiдностi. Роз-глянемо двовимipну задачу теплопpовiдностi для iзот-ропних матеpiалiв iз граничними умовами першого типу у тШ квадратно! форми
Цитування за ДСТУ: Семенишин Н. О. Розв'язування двови1^рноТ задач! теплопровщносл рекурентною нейронною мережею
Джордана. Науковий вюник НЛТУ УкраТни. 2017. Вип. 27(4). С. 166-169. Citation APA: Semenyshyn, N. O. (2017). Solving Heat Equation in two Dimensions Using Jordan Recurrent Neural Network. Scientific Bulletin of UNFU, 27(4), 166-169. https://doi.org/10.15421/40270435
Эи | Э2и Э2и , „ . _ тт _ _
— = «-+-1,0 < х < L, 0 < v < H, 0 < i < T
Эí ^ Эх2 Эу2 1
,0 < i < T
(1)
u(i,0, у) = C1 u(i, L, у) = C2 u(i, х,0) = C3 u(i, х, H) = C4 u(0, х,у) = C0(x,у), 0 < х < L, 0 < у < H, де: u - температура тша в точцi х, у у певний момент часу i (градусов С); х i i - незалежнi змшш; а - коефщент температуропровiдностi дорiвнюe a=klcp (м2/с); звiдки с - теплоемшсть матерiалу стрижня (Дж/кг-°С); r - гус-тина матерiалу тiла (кг/м3) i k - коефiцieнт теплопровщ-ностi (Вт/(м-К)); C0(x,у) - початковий розподш темпе-ратури у квадратному тЫ; C1, C2, C3, C4 температура на лiвiй, правш, нижнiй та верхнiй границях тша вщпо-вiдно.
Рiвномiрно розбиваемо дослвджувану прямокутну Дiлянку по i, х, у {(,, х^,ук)}1=0 J=о к=0, де U = iDt; хj = jDc; ук = кАу ; А, = T / М,; Лх= L / Мх ; Ау = H / Му , Ai, Лх, Ау -кроки розбиття по ввдповщних осях, М,,Мх,Му - кшь-кiсть крок1в часу та кшьюстъ точок розбиття по х та у ввдповщно.
Побудова та навчання мережг ШНМ для однови-мiрно! задачi теплопровiдностi створено у попереднш роботi (Zenkevich & Morgan, 1986; Semenyshyn, 2016), у якiй робот був iстотний недолiк - надто велика кшь-кiсть синаптичних ваг (кожен нейрон наступного шару мктив у« нейрони попереднього), що робило процес навчання дуже тривалим. При переходi до двовишрно! задачi за такого шдходу обчислювальна складнiсть до-р1внювала б O(2M 2М^), де Мх - кшькютъ нейрошв, що вiдповiдають осi х, а Му - кшьюстъ нейрон1в, що ввдпо-вiдають осi у, множник 2 означае два шари мережа Тому у цiй робот вирiшили взяти кiлькiсть ваг для кожного нейрона прихованого та вихщного шар1в - 5, що ввд-повiдае кiлькостi точок, як входять до скшченно^зни-цевого шаблону неявного методу Кранка-Школсона.
Як i в роботi (Semenyshyn, 2016), кожнш дискретнiй точцi дослвджувано! областi ставимо у вщповвдшсть нейрон вихiдного шару, i так само кожному часовому шару (кроку) нашо! рекурентно! мережi ставимо у ввд-повiднiсть часовий крок задач^ що моделюеться. Значения нейрона вихвдного шару з шдексом j, к для 1-го кроку часу рекурентно! мережi дорiвнюе uijk = u(il, xj, ук), розраховуемо так:
МхМу МхМу
Щк = S S аjtirS S wlrcpui-\cp, 0 < i < М,.
l=1 r=1 c=1 p=1
(2)
Як бачимо, ваги е чотиривимiрними масивами, що при обраному рiзницевому шаблонi зводиться до п'яти ваг для кожного нейрона шдексом¡, к у прихованому та вихвдному шарах. За такого шдходу потрiбно викорис-товувати розрщжеш масиви, щоб економити пам'ять. Для ще! мережi вiдсутня функщя активацп нейрона, ос-к1льки ця крайова задача лiнiйна. Розмiр прихованого шару дорiвнюе розмiру видного шару.
Щоб почати навчання, потрiбно мати енергетичну функцiю, яку будемо оптишзувати. Для цього викорис-таемо метод Кранка-Ншолсона для двовишрно! задачi теплопровщносп (Vasilev & ТагИоу, 2009; Гаг1ои, 1985)
де:
Мi Мх Му 2
J(u) = Z Z Z ( P1(uijk) - « ■ P2(uijk) - « ■ p3(uijk) ) . (3) i=1 j=1к=1
, n ui, j,k - ui-1 < к . P1(u) = —-Г-— ;
л,
р (м) _ и,]-1,к - 2и,,j,k + и,^ +\к + Щ-1 ¡-1,к - 2щ-х¡,к + и,-1,¡+1,к .
2 Ах2
, ч и, ¡к-1 - 2и,, ¡ к + и,, ¡ к+1 + и,-1, ¡,к-1 - 2и,-х ¡к + Щ-1 ¡,к+1 рз(и) _—-----—"Г-----.
2Ау
Як видно iз (3), чим ближчий ^и) до нуля, тим бiль-ший вихiд мережi задовольняе рiвняння (1). Тому задача навчання нашо! ШНМ зводиться до задачi оптишза-ид (3) за синаптичними вагами. Для цього використо-вуемо метод Флетчера-Р1вза (Ыатееё, 2016) щ+1(1, с) _ Мк(1, с) + Т]рк(1, с), рк(1, с) _ с) + Ррк-1(1, с),
Ш,с), Як(/, с)) (4)
P0(l, c) = g0(l, c), Рк(1, c) =
ЭJ
to -1(1, c), gk-1(1, c))
де gk =-— , к - номер глобально! ггераци навчання
Э^
нейронно! мережi.
Оскiльки gt: е чотиривимiрною матрицею, тому зна-ходити рк можемо т1льки для матрищ похiдних вiд ви-разу (3) за синаптичними вагами, що входять до нейрону з шдексом (l, c). А вираз (gkQ, c), g^l, c)) - означае норму матрицi gk(l, c), з фiксованими першими двома iндексами l i c вщповщно. Аналогiчнi обчислення вико-нують i для матрицi а. Для пошуку оптимального параметра h можна використати метод Хорд. Умовою зу-пинки процесу оптимiзацi! може бути: мале значення (3), мала змша вихiдних значень мережi, мале значення норми матриць (8) або комбшащя з перелiчених вище.
Для того, щоб обчислити частинш похiднi функцп вартостi за синаптичними вагами мереж^ використо-вуемо алгоритм Зворотного поширення похибки в часi за епохами (Epochwise Back-propagation through Time) (Khajkin, 2006; Werbos, 1990). Цього можна отримати шляхом розгортання часових операцш мережi в багато-шарову мережу прямого поширення, тополопя яко! роз-ширюеться на один шар для кожного кроку часу, тобто для кожного часового шару визначено одш i тi ж ваговi коефщенти.
У цьому алгоритмi спочатку виконуеться пряма передача даних мережею для М, часових кроюв, при цьому стан мережi запам'ятовуеться. Далi вiдбуваеться зворотне проходження даних, починаючи з кроку М, за рекурентними формулами:
J _ uVk ; (5)
Эuijk
МхМу
J _ uijk = J _ Щк + z Z wipjkJ _ х;+Цр, Мх > j > 1, Му > к > 1; (6) l=1 p =1
Мх Му
J _ хцр = ZZ a jklpJ _ uyk, Мх > l > 1, Му > p > 1.
(7)
Формули (6) i (7) обчислюють похвдну зпдно з лан-цюговим правилом диференщювання вiд (3), щоб виз-начити вплив кожного нейрона на формування вихiдно-го сигналу, префiкс J_ у формулах означае похiдну вщ фуикцi! (3) по змiннiй, яка йде п1сля цього префiкса. I, насамкшець, обчислюемо похiднi вiд (3) по вагах
М, М, -1
J _ acjkl = Z J _ ^cj^kl, J _ wcjkl = Z J _ xi+1cjuikl, (8)
=1k=1
i=1
i=1
де xiM - це значення нейрона з шдексом к, l вихiдного шару на крощ часу i.
Результати моделювання. Розглянемо двi задачi теплопровiдностi (1) на промшку 0<=x<=1, 0<=y<=1 та 0<=/<=0,05 з коефщентом температуропровiдностi (а) = 1/8 (м2/с) - для першоТ' зaдaчi та (а) = 1/2 (м2/с) - для другот. Кроки Dx,Dy дор1внюють 0,05, а Dt = 0,005. По-чатковi умови першоТ задачi u(0, x, y)=0,5, 0,5<y<1, 0<x<1. Розв'язок мережi на 11-му крощ часу (/=0,05) зображено на рис. 1,б. Величину похибки м1ж точним i нейромережевим розв'язками визначали за формулою
MxMy _
s= Z Z (u(T,Xj,Ук) -u(T,Xj,yk))2 , (9)
j=1 к=1
де u - точний розв'язок задачi (1). У першому прикладi s =0,0957, а значення s м1ж точним розв'язком i розв'язком, отриманим неявною схемою (зразок робочоТ програми взято з ресурсу1) МСР дорiвню€ 0,1126. При спробi екстраполювати розв'язок для часу 2T значення s збiльшилась до 0,3418.
Рис. 1: а) n04aTK0Bi умови задачi 1; б) апроксимацiя задачi 1
Початковi умови другоТ задачi u(0, x, y)=x(1-x) y(1-y), 0<y< 1, 0<x< 1. Результат мережi для щет задачi за /=0,05 зображено на рис. 2,б. За явнот схеми МСР розв'язок задачi нестiйкий. Значення s мiж точним i нейромережевим розв'язками доршнюе 6,2 10-4 пор1в-няно з неявною схемою 4,9 ■ 10-5.
Навчена мережа одночасно для цих двох задач показала результат, який приблизно на два порядки прший вiд точного розв'язку.
1 https://www.mathworks.com/matlabcentral/fileexchange/38088-
diffusion-in-1d-and2d? focused=5246996&tab=function
0,07 -0,06 s 0,05 s 0,04 ч 0,03 ч 0,02 ч 0,01ч
0,05 -0,04 -
Рис. 2: а) n04aTK0Bi умови задачi 2; б) апроксимащя задачi 2
Висновки. Розроблено методолопю розв'язування двовимiрного р1вняння теплопровiдностi, використову-ючи штучну нейронну мережу Джордана. Суть методологи зводиться до корекцп синаптичних ваг таким чином, щоб задовольнити енергетичну функщю, а також, щоб навчити мережу здшснювати вiдображення цього диференщального оператора, що дае змогу екстраполювати розв'язок мережею за часовою координатою та дае можливкть навчання для рiзних набор1в початкових i граничних умов. Перевагою пiдходу також е стiйкiсть та менша чутливiсть до великих крокв за часом у сенсi критер1ю Куранта-Фрiдрiхса-Левi, на вщмшу вiд явних рiзницевих методiв. Але недолшом можна вважати те, що процес навчання мережi для отримання точного розв'язку рiвняння е дуже чутливим до початкових зна-чень синаптичних ваг, про що свдаать рiзнi результати моделювання. Також одночасно навчання мережi кль-кох розв'язюв рiвняння вимагае додаткового до^джен-ня та розроблення точнiших методiв навчання.
Перелж використаних джерел
Aarts, L. P, & van der Veer, P. (2001). Solving nonlinear differential equations by a neural network method. Proceedings computational science conference, 3, 181-189. San Fransisco USA, May 2001. ed. / VN Alexandrov; JJ Dongarra.Berlin: Springer. Farlou, S. (1985). Uravnenija s chastnymi proizvodnymi dlja na-uchnyh rabotnikov i inzhenerov: per. s angl. Moscow: Mir, 384 p. [in Russian].
Gorbachenko, V. I. (2003). Nejrokompjutery v reshenii kraevyh za-dach teorii polja. Vol. 10 Moscow: Izd-vo "Radiotehnika", 336 p. [in Russian].
Hameed, Dr. W. Abdul. (2016). Fletcher-Reeves conjugate gradient neural network to solve systems of linear equations. Department of Mathematics, School of Advanced Sciences, VIT University, Ta-milnadu, India, 260 p. Khajkin, S. (2006). Nejronnye seti: polnyj kurs: per. s angl. Izd. 2-oe, [pererab. i dop.]. Moscow: Izd. dom "Viljamsa", 1104 p. [in Russian].
Lagaris, I. E., Likas, A. C., & Fotiadis, D. I. (1998). Artificial neural networks for solving ordinary and partial differential equations. IEEE Transactions on Neural Networks, 9(5), 987-1000.
Lagaris, I. E., Likas, A. C., &Papageorgiou, D. G. (2000). Neural-Network Methods for Boundary Value Problems with Irregular Bouna-daries. IEEE Trans. Neural Networks, 11(5), 1041-1049.
Lee, H., & Kang, I. S. (1990). Neural algorithm for solving differential equations. Journal of Computational Physics, 91(1), 110-131.
Mall, S., & Chakraverty, S. (2013). Comparison of Artificial Neural Network Architecture in Solving Ordinary Differential Equations. Advances in Artificial Neural Systems, 3, 1-12.
Meade, A. J. Jr., & Fernandez, A. A. (1994). Solution of nonlinear ordinary differential equations by feedforward neural networks. Mathematical and Computer Modelling, 20(9), 19-44.
Novotarskyi, M. A., & Nesterenko, B. B. (2004). Shtuchni neironni merezhi: obchyslennia. Praisi ШуШШ та,ета,уку HAH Ukraine (Vol. 50, pp. 137-142). Kyiv: In-t matematyky HAH Ukrainy, 408 p. [in Ukrainian].
Semenyshyn, N. O. (2016). Solving Heat Equation In One Dimension Using Jordan Recurrent Neural Network. Scientific Bulletin of UN-FU, 26(7), 405-411. Retrieved from: http:llnv.nltu.edu.ualindex.phpliournallarticlelviewl575 Vasilev, A. N., & Tarhov, D. A. (2009). Nejroseievoe modelirovanie. РппЫру. Algoriimу. Prilozhenija. Sankt_peterburg: Gosu-darstvennyj Politehnicheskij Universitet, 360 p. [in Russian]. Werbos, P. J. (1990). Backpropagation through time: what it does and how to do it. Proceedings of ihe IEEE, 7S(10), October, 1550-1560. Zenkevich, O., & Morgan, K. (1986). Konech^e jelementу i approk-simacija: per. s angl. Moscow: Mir, 318 p. [in Russian].
Н. О. Семенишин
Национальный лесотехнический университет Украины, г. Львов, Украина
РЕШЕНИЕ ДВУМЕРНОГО УРАВНЕНИЯ ТЕПЛОПРОВОДНОСТИ С РЕКУРРЕНТНОЙ НЕЙРОННОЙ СЕТЬЮ ДЖОРДАНА
Представлена методология решения краевых задач, а именно уравнений теплопроводности в двух измерениях с использованием искусственной нейронной сети. Сделана попытка создать гибкую и универсальную методологию для решения дифференциальных уравнений. Гибкость подхода заключается в возможности дообучения сети для достижения требуемой точности и способности сети "запоминать" решения для различных начальных условий. Универсальность подхода заключается в использовании единой методологии для различных физических параметров задачи.
Функция стоимости сети построена на 10-точечной схеме Кранка-Николсона, применяемой для всех точек в моделируемой пространственно-временной области. Как только функция стоимости достигает минимума, выходы нашей сети дают решение уравнения теплопроводности. Для оптимизации функции стоимости использован метод Флетчера-Ривза для поиска оптимальных синаптических весов сети. Чтобы найти частные производные первого порядка от функции стоимости по весовым коэффициентам сети, использовано расширение стандартного алгоритма обратного распространения, называемого "Обратным распространением во времени". Оптимальные возможности аппроксимации получены с использованием двух слоев сети без использования функции активации из-за линейности уравнения. Приведены результаты моделирования. Показано, что результаты расчетов с использованием этого подхода дают хорошее приближение к точным решениям. Результат сети является численно устойчивым для достаточно больших временных шагов (но удовлетворяющих условию Куранта-Фридрихса-Леви) по сравнению с явным методом конечных разностей. Экстраполировано решение уравнения теплопроводности для временного промежутка, вдвое большего, чем при обучении сети.
Ключееые слова: уравнение теплопроводности; рекуррентная нейронная сеть Джордана; метод Кранка-Николсона; метод Флетчера-Ривза; метод "обратного распространения-по-времени"; функция стоимости.
N. O. Semenyshyn
Ukrainian National Fores,гу UniversНу, Lviv, Ukraine
SOLVING HEAT EQUATION IN TWO DIMENSIONS USING JORDAN RECURRENT NEURAL NETWORK
The paper presents a methodology for solving boundary value problems, namely heat equation in two dimensions using Jordan artificial neural networks. This paper is also an attempt to create a flexible and universal methodology for solving differential equations. Flexibility of approach is the ability to retrain network to achieve the required accuracy and the ability to network "remember" solutions for different initial conditions. Universality of approach is to use a unified methodology for various physical parameters of the problem. The results of the study are as follows. Cost function of the network was based on the 10 points Crank-Nicolson numerical scheme applied for all points in spatio-temporal domain which are of interest. As soon as cost function approaches a minimum outputs of our network will give the solution of heat equation. To optimize cost function we use Fletcher-Reeves method with respect to synaptic weights of the network. To find first-order partial derivatives of a cost function with respect to networks weights we use an extension of the standart backpropagation algorithm referred to as "Back-propagation - through-time". Optimal approximation capabilities was obtained using two layers of the network without using activation function because of linear nature of equation. Initial weights of network were small enough and distributed uniformly. The results of simulation are presented. It is shown, that the results of calculation using this approach give good approximations to exact solutions. Result of the network is numerically stable for big enough time steps (but satisfying Courant - Friedrichs - Lewy condition) comparing with explicit finite difference method. We also were able to extrapolate solution of heat equation at time interval which was twice bigger than time interval used for training.
Keywords: heat equation; Jordan recurrent neural network; Crank-Nicolson method; Fletcher-Reeves method; "back-propagation - through-time" method; cost function.
1нформащя про автора:
Семенишин Назар Олегович, астрант, Нацюнальний лкотехшчний ушверситет Укра'ши, м. Львiв, Украша.
Email: xa4abu@ukr.net
