CC BY
42
НЕИРО1НФОРМАТИКА ТА ШТЕЛЕКТУАЛЬШ СИСТЕМИ
НЕИРОИНФОРМАТИКА И ИНТЕЛЛЕКТУАЛЬНЫЕ СИСТЕМЫ
NEUROINFORMATICS AND INTELLIGENT SYSTEMS
УДК 004.93
Олшник А. О.
Канд. техн. наук, доцент, доцент кафедри програмних засоб'в, Запорiзький нацональний технчний ушверситет,
Запорiжжя, УкраТна
СИНТЕЗ НЕЙРО-НЕЧ1ТКИХ МОДЕЛЕЙ ДЛЯ ПРОГНОЗУВАННЯ СТАНУ ЗДОРОВ'Я ХВОРОГО НА ОСНОВ1 ПАРАЛЕЛЬНИХ ОБЧИСЛЕНЬ
Виршено завдання розробки математичного забезпечення для автоматизаци процесу шдивщуального прогнозування стану здоров'я хворого гiпертонiчною хворобою. Об'ектом дослiдження е процес синтезу моделей для медичного дiагностування. Предмет дослщження становлять методи синтезу нейро-нечггеих моделей для медичного дiагностування. Мета роботи: пщвищити ефективнiсть процесу синтезу нейро-нечггких мереж для побудови дiагностичних моделей на основi навчальних вибiрок. Запропоновано стохастичний метод синтезу нейро-неч™их моделей на основi паралельних обчислень, що Грунтуеться на стохастичному пiдходi при пошуку значень параметрiв, що настроюються, i полягае в розподш найбiльш ресурсномiстких етапiв по вузлах паралельно! обчислювально! системи. Запропонований метод дозволяе скоротити час настроювання параметрiв (значень вагових коефiцiентiв i параметрiв функцiй належностi нейроелементiв) синтезованих нейромоделей. Розроблено програмне забезпечення, що реалiзуе запропонований метод. Проведено експерименти з дослщження властивостей запропонованого методу. Результати експерименпв дозволяють рекомендувати запропонований метод для використання на практищ.
Ключовi слова: множина ршень, нейронна мережа, ознака, паралельне програмування, прогнозування, синтез модели
НОМЕНКДАТУВА Nx - кшьюсть елеменлв множини К(0) (число випад-
I а) \ (.) . ково згенерованих ршень при шщал1зацп);
DX , Cj I - в1дстань м1ж р1шенням Хк 1 центром „ .
Ч"к > Л " * к г pqm - значення m-го атрибуту q-го об екта;
/'-го кластера С; p = (р )
1 \yqmjQM - множина значень характеристик ек-
Еп1г{Ьртп) - ентроп1я 1нтервалу Дрт„; земплярхв вибхрки;
- значення 1-го елемента (параметра) в к-му Q - к1льк1сть об жп^
ршетш; Qт $ - кшьюсть спостережень у множит
(. /) 1 ртЕДртп *
^к,погт - ноРмоване значення ц1льово! функцп Ок' $ртеДр , в яких значення вихщного параметру Т дор1в-
для множини R(г,'); нюе q (Т - д);
Q\Рm£ДРmn - кшьюсть спостережень вибхрки Б, зна- Я(и/) -/-та п1Дмножина Н множини К(г);
чення т-х ознак рт яких потрапили в штервал Дртп; ^ - значення ыдгуку д-го об екта;
М - кшьюсть атрибутш; Т - множина значень в1дгуку;
N ■ ■ ■ ■ ■ х(') у(°) = (°) ^(0) *(0) 1 к ■ ■
* - кшьюсть параметр1в в ршенш Xк ; жк ~у£\к ,*2к ^^gNgk ( - к-те р1шення у множин1
Npr - кшьюсть процешв, одночасно виконуваних в к (°)
паралельн1й комп ютерн1й систему
NQ,ртеДртп - кшьюсть штервал1в розбиття (кламв) вихщного параметра Т фрагменту виб1рки Бр еДр , в
ВСТУП
Аргерiальна гiпергензiя е широко поширеним захво-рюванням, яке може загрожувати життю та здоров'ю якому значення m -х ознак pm потрапили в iнтервал Apm„; пацiента [1]. На характер перебиу артерiальноl гшертензп
© Олшник А. О., 2015
DOI 10.15588/1607-3274-2015-2-4
впливають р1зш фактори (погодш 1 кл1матичш умови, супутш захворювання, а також стан здоров'я в попередш моменти часу) [2].
Для запоб1гання ктотних стрибюв тиску пащента, яю можуть викликати попршення стану пащента, а можли-во [ привести до до летального наслвдку, необхвдно свое-часно прогнозувати розвиток гшертензп в короткостро-ковому перюд1 часу (на найближч1 половину доби або добу). Це дозволить своечасно реал1зувати профшак-тичш заходи, пов'язаш з прийомом необхщних препарата для запоб1гання очжуваних негативних наслвдюв.
Для прогнозування стану здоров'я хворого ппертон-1чною хворобою потр1бно мати модель, яка буде ушкаль-ною для кожного конкретного пащента. Побудова тако! модел1 потребуе обробки великого масиву спостере-жень, розподшених у часг
Перспективним засобом побудови моделей для шди-вщуального прогнозування е методи обчислювального штелекту (нейро-нечию технологи та методи стохастич-ною оптишзацп) [3-7]. Штучш нейро-нечию мереж1 ха-рактеризуються здатшстю до навчання за прецедентами, високими узагальнюючими властивостями, що обу-мовлюе !х здатшсть отримувати знання з даних. Стохастичш методи, на ввдм1ну ввд широко використову-ваних град1ентних метод1в оптишзацп, не вимагають об-числень значень похщних цшьово! функцп, дозволяють виходити з локальних екстремум1в [ синтезувати модел1 на основ1 заданих виб1рок даних.
Для врахування динамжи стану пащента необхвдно з плином часу синтезувати нов1 модел1 (перюдично пере-будовувати вже юнукш модел1) на основ1 постшно зро-стаючих масив1в спостережень. Це в свою чергу вима-гае використання великих обчислювальних ресурЫв. Для подолання цих обмежень пропонуеться розпаралелити процес синтезу д1агностично! моделг
Метою дано! роботи е розробка паралельного методу синтезу прогнозуючих моделей на основ! нейро-не-чпких мереж [ стохастичного пошуку. 1 ПОСТАНОВА ЗАДАЧ1
Нехай е виб1рка даних £ =< Р,Т > . Тод1 задача синтезу нейро-нечпко! модел1 МЕМ полягае в щентифжацп И параметр1в таким чином, щоб забезпечувалося прийнят-не значення заданого критер1ю якосп О. Як щльовий кри-терш О при навчанш нейро-нечпких моделей можуть бути використаш, наприклад, похибка розтзнання або середньоквадратична помилка.
Вихщна виб1рка даних про стан здоров'я хворого гшер-тошчною хворобою була отримана в м. Запор1жжя (Ук-ра!на). Виб1рка £ =< Р,Т > метила спостереження за перюд з 2004 р. по 2014 р., де кожен екземпляр являв собою наб1р даних, що характеризуюсь стан пащента в певну частину дня.
В якосп об'ективних клшко-лабораторних показниюв використовувалися: Р1 - спостережуваний артер1альний тиск (систсшчний та д1астсшчний, мм. рт. ст.); Р2 - пульс (удар1в на хвилину); в1домост1 про прийом лтв (Р3 -Амло (0 - немае, 1 - е), Р4 - Егшок (0 - немае, 1 - е); Р5 - Берлшрил (0 - немае, 1 - е)). В якосп суб'ективних показниюв використовувались характеристики самопо-
чуття (Рб - наявшсть екстромстол1ю (0 - немае, 1 - е), Р7 - наявтсть болю в голов1 (0 - немае, 1 - е), Р8 - наявшсть болю в потилищ (0 - немае, 1 - е), Р9 - наявшсть пульсаци (0 - немае, 1 - е), Рю - наявтсть болю в л1вому бощ (0 - немае, 1 - е), Рц - наявшсть болю в обласп серця (0 - немае, 1 - е), Р12 - нестача повпря (0 - немае, 1 - е), Р13 - наявшсть болю в живот! (0 - немае, 1 - е), Р14 - загальна слабюсть (0 - немае,
1 - е)). В якосп метеоролопчних характеристик [8] використовувалися (Р15 - температура повпря ( °С), Р16 - атмосфер-ний тиск (мм. рт. ст.), Р17 - тип хмарносп (0 - немае, 1 - мала,
2 - хмарно, 3 - похмуро), Р18 - наявшсть грози (0 - немае, 1 - е), Р19 - напрямок виру (0 - штиль, 1- швшчний, 2 -швтчно-схщний, 3 - схвдний, 4 - швденно-схщний, 5 - твден-ний, 6 - швденно-заидний, 7 - захщний, 8 - твйчно-захщний), Р20 - швидюсть виру (м/с), Р21 - даш сонячно! активносп (Мё II щдекс [9]). В якосп тимчасових характеристик використовувалися: дата (рж, мюяць, день), код дня недЫ (Р22), час (година) спостереження ( Р23 ), код частини дня (0 - ранок, 1 -веч1р) (Р24).
Фрагмент вихщних даних в граф1чному вид1 представлений на рис. 1.
Отримаш спостереження методом «вжон» були використаш для формування виб1рки для виршення задач1 яюсного прогнозування стану пащента на найближчу другу половину доби за даними попередтх спостережень: в якосп вхвдних оз-нак використовувались даш за попередню (ранок та веч1р) [ поточну добу (ранок), а в якосп виходу - стан пац1ента вве-чер1 в поточну добу (0 - нормальний, 1 - попршення стану, що супроводжуеться шдвищенням артер1ального тиску).
2 ОГЛЯД Л1ТЕРАТУРИ
У найпроспшому випадку нейро-неч1тка модель може розглядатися як передоброблювач, де мехашзм навчання штучно! нейронно! мереж1 визначае функцп належност1 або неч1тк1 правила системи нечикого виве-дення за навчаючими даними. Як т1льки параметри системи нечикого виведення визначено, нейронна мережа припиняе використовуватися. База правил нечико! системи звичайно визначаеться на основ! карт, що самоор-гашзуються, або метод1в неч1тко! кластеризацп. Функц1! належност1 звичайно апроксимуються нейронною мережею за навчаючими даними. Найбшьш вщомими прикладами паралельних нейро-нечиких систем е: неч1тка асощативна пам'ять Коско (В. Ко8ко), видшення неч1тких правил на основ1 карт Педрича (Ж Pedrycz), що самоор-ган1зуються, та системи Номури (Н. Ыошига), здатн1 до навчання параметр1в неч1тких множин [3-5].
1 11 21 31 41 51 61 71 81 91101111121131141151161171181191
5
Рисунок 1 - В1зуал1защя фрагменту виб1рки даних: 1 - день тижня, 2 - час, 3 - сютсшчний тиск, 4 - д1астсшчний тиск, 5 - пульс
В iнтегpoванiй мoделi нейpo-нечiткиx меpеж для виз-начення паpаметpiв системи нечiткoгo виведення вию-pистoвyються метoди навчання нейpoнниx меpеж. 1нтег-poванi нейpo-нечiткi системи poзпoдiляють стpyктypи даниx i ^дання знань. Система нечiткoгo виведення мoже викopистoвyвати людськi експеpтнi знання, збеpiгаючи ïxнi iстoтнi кoмпoненти в базi пpавил i базi даниx, та вию-нувати нечiтке виведення для oдеpжання виxiднoгo зна-чення. Фopмyвання пpавил i вiдпoвiдниx фyнкцiй ^ина-лежнoстi сильнo залежить вiд апpiopнoгo знання щoдo poзгляиyтoï системи. Однак yнiвеpсальний спoсiб пеpе-твopения дoслiдниx знань людськиx експеpтiв y базy знань системи нечiткoгo виведення е невдамим. G такoж ж>-тpеба в адаптoванoстi абo деякиx метoдаx навчання для oдеpжания виxoдiв з неoбxiдним piвнем тoчнoстi. З iншoгo бoкy, меxанiзм навчання нейpoнниx меpеж не такла-даеться на людську експеpтизy. Чеpез oднopiдиy структур нейpoнниx меpеж, з ниx складж> витягти CTpyCTy-poване знання. Ваги нейpoннoï меpежi являють сoбoю тефоденти гiпеpплoщини, щo poзпoдiляe вxiдний ^oCTip на oбластi з piзними значеннями виxoдy. Якщo ми мoже-мo вiзyалiзyвати цю стpyктypy гiпеpплoщини за навча-ючими даними, тoдi наступт пpoцедypи навчання в ней-poннiй меpежi мoжyть бути виключенi.
Найбшьш загальний спoсiб застoсyвания метoдy навчання дo нечiткoï системи ж>лягае в тoмy, щoб пoдати ïï y виглядi аpxiтектypи, пoдiбнoï нейpoннiй меpежi. Однак звичайнi (гpадieнтнi) методи навчання нейpoнниx меpеж не мoжyть безпoсеpедньo застoсoвyватися дo такoï системи, o^^ra фyнкцiï, викopистoвyванi в ^o^d виведення звичайнo е недифеpенцiйoванi. Ця пpoблема мoже бути вешена шляxoм викopистания дифеpенцiйoваниx функцш y системi виведення абo викopистання стскас-тичниx метoдiв навчання нейpoмеpеж [5-7]. 3 МАТЕР1АЛИ ТА МЕТОДИ
Оскшьки навчальна вибipка xаpактеpизyeться виш-кими значеннями кiлькoстi oзнак i екземпляpiв, пpoцес пoбyдoви мoделi вимагае значниx oбчислювальниx i ча-швик pесypсiв. Це oбyмoвлюe дoцiльнiсть poзпаpале-лювання oбчислювальниx oпеpацiй пpи сиш^ poзпiз-навальнoï мoделi.
Для синтезу мoделi пpoгнoзyваиня стану здopoв'я xвo-poгo гiпеpтoиiчнoю xвopoбoю poзpoблений паpалельний стoxастичний метoд. Запpoпoнoваний метoд заставаний на стoxастичнoмy пiдxoдi [б, 7, lO, ll], пеpедбачаe poзпа-pалелювання oснoвниx oбчислювальниx oпеpацiй i виш-pистoвye апpiopиy iнфopмацiю пpo значущють oзнак. Це дoзвoляe викopистoвyвати мoжливoстi багатoядеpииx ^o-цесopiв пpи сиш^ нейpo-нечiткиx мoделей пpoгнoзyван-ня стану здopoв'я xeopore гiпеpтoиiчнoю xвopoбoю, а та-кoж скopoтити час на пoбyдoвy такиx мoделей.
У poзpoбленoмy метoдi на етат iиiцiалiзацiя пoчаткoвoï мнoжини piшень вiдбyваeться фopмyвання мтажини
r(0)4(0), х20),..., xnx}
CTpy^yp
виду
(O) I (O) (O) (O) Хк - 18\к ,s2k ,...,gN к j, Щ0 визначають oснoвнi паpа-
метpи (значення вагoвиx кoефiцieштiв нейpomв i паpаметpiв функций активацiï) синтезoваниx нейpo-нечiткиx мoделей.
Для наближення пoчаткoвиx тoчoк пoшyкy
Хк ) - jglV,g2к ,..., j (к -1, 2,..., Nx) дo oптималь-
ниx мжжину R(0), на вiдмiиy дo вiдoмиx метoдiв стскас-тичнoгo пoшyкy [7, lO, ll], бyдемo фopмyвати з ypаxy-ванням апpiopнoï iнфopмацiï ^o навчальну вибipкy S-< P,T >. Для цьoгo дiапазoн значень
APm -[Pm min; Pm max] к0жн0Ï m - ï 0знаки Pm (m -1, 2,..., M) poзбиваeться на задану кiлькiсть inrep-валiв Njnt. Таким чинсм фopмyються iнтеpвали
APmn -[Pmn min; Pmn max] (n - l, 2, Nint), на ПiДставi ^аниць якиx визначаються паpаметpи нечiткиx теpмiв.
Пpи oбчисленi значень паpаметpiв функцш належ-нoстi нейpo-нечiткoï мoделi бyдемo вpаxoвyвати зна-чyщiсть n-m теpмy Apmn m-ï oзнаки pm для poзпiзнаван-ня екземпляpiв вибipки S -< P,T >. Значyщiсть Vmn n-m теpмy m-ï oзнаки визначимo як дoбyтoк величин
Q
PmeAPmn
Q
та (l-Entr(Apmn)), щo xаpактеpизyють,
вiдпoвiднo щiльнiсть poзташyвания екземпляpiв мж>жи-ни S в iнтеpвалi Apmn oзнаки pm i стyпiнь впливу теpмy Apmn на значення виxiднoгo паpаметpy T (l):
V-
mn
QQpmeAPm" (l - Entr(Apmn )).
Q
(l)
Eнтpoпiя Entr(Apmn ) iнтеpвалy Apmn xаpактеpизye мipy невизначенoстi виxiднoгo паpаметpа T за у^ви, щo pm e Apmn, та визначаеться за фopмyлoю (2):
Nq
Pm eAPmn
Entr(APmn)-- Zpq l0gPq q-l
(2)
Ймoвipнiсть pq тoгo, щo виxiдний паpаметp T ^ийме значення q в мжжиш Spmehpmn (за yмoви, щo pm e Apmn) мoжна визначити за фopмyлoю (3):
öl
Pq
T-q;S
PmeAPm
Qp
(3)
1PmeAPmn
Найбiльш pесypсoмiстким, як пpавилo, е етап oцiию-вання пoтoчнoï мнoжини piшень R(i), на якoмy вшра-чаеться велика кшьюсть кoмп'ютеpииx та часoвиx pесypсiв пpи oбчисленi значень цiльoвoï фyнкцiï G для кoжнoгo к-
го (к -1, 2, ..., Nx) piшення %кг): G() - g(x(¿^)• Оскшь-
ки даний етап мае витоку oбчислювальиy складнiсть, виюнуеться пoвiльнo i не вимагае oбмiнy даними мiж
piшениями %к , таге pацioнальнo виюнувати паpалель-
нo. Ощнювання piшень Хк '^ з мнoжини R(0) виюнуеть-
ся шляxoм пеpетвopения хк°'j) ^ NFN^0'j), в pезyльтатi (0,j) ,
якoгo зi стpyктypи Хк фopмyeться нейpo-нечiтка ме-
режа МЕМ^0, А В якост критер1ю ощнювання О^0,1), що
характеризуе р1шення Хк , використовуеться помилка розтзнавання (якщо вихщ Т в множиш е дискретним) або середньоквадратична помилка (якщо вих1д Т прий-мае дшсш значення). Це вимагае обчислення значень
вихщного параметра Тд (мЕМ^0, 1 ) за синтезованою мо-
деллю МЕМ^0,1 для кожного д-го спостереження мно-жини 5 =< P,T >. Отримана таким чином оцшка О^ЕМ^'^ )) буде характеризувати пристосовашсть р1шення в множиш К(0):
О^'1 = о(хк°''/) )= О {ыЕМ^'1 )), що надал1 дозволить
вщбирати найбшьш пристосоваш ршення для форму-
вання нових множин К (г'+1).
Важливим етапом е створення ново! множини ршень
К(г+1). з метою бшьш детального дослщження областей локальних оптимум1в доцшьним е розбиття поточно!
множини ршень К(г) на шдмножиш К(г,/) з подальшим пошуком оптимуму в кожнш з них (4):
R(i) ^{Я1
?(i,1) R(i,2)
,...,Я
(i, Npr)}.
(4)
Розбиття (4) пропонусться виконувати з урахуванням
апрюрно1 шформаци про розташування ршень в простер елемеппв gi (l = 1, 2, ..., Ng). Такий тдхщ, на в1дм1ну вщ застосування остр1вно1 модел1 еволюцшного пошуку [7, 12], що припускае випадкове формування шдпопулящй
R(i,j), дозволяе враховувати шформащю про просторове
розташування ршень xk^ в множит R(i) i бшьш детально достдити област можливих оптимумiв. Кiлькiсть рiшень
R(i,j) в кожнiй шдмножиш R(i,j) визначаеться як ввдно-
шення загально1 кшькост рiшень Nj в множинi R(i) до кiлькостi процесiв Npr (5):
R(ij
ГХ ^ ^^pr .
(5)
Таким чином, задача розбиття (4) зводиться до необ-хщноста формування МрГ тдмножин К(/ (кожна з яких
складаеться з
R
(i,j)
рiшень) в заданому просторi еле-
ментiв gi (l = 1, 2, ..., Ng) (6):
?(i,j) = Jx(i,j) x(i,j)
,(i, j)
R "J/ =illJ/,Х^^...,x|R'(i'j)i
j = 1, 2,..., Npr . (6)
Розбиття R(i) ^R(i,1),R(i,2),...,R(',Npr)} пропонуеть-
ся виконувати за допомогою модифжацп методу нечiтких с-середшх (FCM, Fuzzy c-means) [13-15], оскiльки вш передбачае можливiсть вiднесення одного екземпляру
(рiшення ) до рiзних кластерiв з рiзним ступенем на-лежноста, а також може бути використаний для побудови нейро-нечiтких систем при визначенш нечiтких множин [13, 16]. На вiдмiну вiд базового методу нечетких с-середтх [15], в якому поточне розбиття на початковiй иераци отри-мують шляхом випадково1 генерацп елемеппв ujj, що виз-начають належнiсть k-го екземпляра до j-го кластера, в розробленому методi пропонуеться враховувати шформащю про розташування параметрiв g%, що настроюють-ся. Для визначення початкових значень величин u^ об-
числимо ранги Rg (gk) рiшень y^ за l-ю ознакою, що
вiдповiдають номерам iнтервалiв розбиття дiапазону значень параметра gik.
Для визначення початкових значень u^, що вщповща-ють належност k-го екземпляра до j-го кластеру, будемо використовувати формулу (7):
N Rg igk )= j)
ukj = ' '> (7)
JV pr
де N (Rg (gk )= j) - кiлькiсть ранпв Rg (gk ), aKi Дорiвню-
Nx
ють j. Формула (7) забезпечую виконання умови t Ukj = 1.
k=1
Далi для кожного j-го кластера визначаеться його центр Cj = {c1j,C2j,...,CN j}, де Cj - l-та координата центра j-го кластера, що обчислюеться за формулою (8):
Cu=~n~ tk- Yp
Hukj )pk=1
gjk,
(8)
k=1
де mp - параметр методу, як правило, mp = 2.
Поим обчислюеться значення функцп
jR(i), u (i), C(i)) (9), що характеризуе яюсть нечiткого розбиття:
j(k,u(i),c(i))=f;t:(ukj)pD2(хкг),Cj). (9) k=1 j=1
Як правило, вiдстань D(jki),Cj ) мiж ршенням y^ i центром j-го кластера Cj обчислюеться на основi Евкль дово1 метрики. Пiсля цього формуеться нове нечпке розбиття шляхом перерахунку значень ukj , використову-ючи формулу (10):
ukj
2 \
N (
1 pr
t
t=1
Dly^ ^
vD(ck0, Ct.
mp-1
(10)
1
При цьому, якщо D^yjjp, Cj )= 0, то y^ е центром j-го кластера, тому встановлюються таю значення параметр1в u^ : Ukj = 1, для Bcix iнших кластер1в: u^j = 0, k' Ф k. Потiм, для отримання неч1ткого розбиття Ukj ( k = 1,2,..., Ny, j = 1,2,..., Npr ) використовуючи формули (8)-(9) розрахову-
ються ж® центри нечiтких клaстерiв Cj = \C1j, C2j,...,CNgj }
i значення критерiю J (r(i),u (l), C(l) ) . Процес продовжуеть-ся, доки кiлькiсть iтерaцiй не перевищить максимально допус-тиму або доки змша значення критергю J R(l), u (l), C(l) ) носить суттевий характер (11):
\jold (r(i),u(i), C(l) )- J R(l), u(l), C(l) ) < e j , (11)
де Jod R(l), u (l), C(l) ) та J (r(i), u (l), C(l) ) - значення кри-
терiю якост розбиття J на попереднiй та поточнш iтерaцiях, в1дпов1дно; e j - мшмально прийнятна змiнa значення крите-рiю J.
П1сля отримання прийнятних значень величин uj що ха-рактеризують належн1сть k-го екземпляра y доj-го кластера
виконуеться формування пiдмножин R(l,j) (j = 1,2,..., Npr ). При цьому пропонуеться враховувати як значення належност ukj до кожного з клaстерiв R(l,j), так i значення нiльовоï функци
Таким чином, чим меншою е помилка G) синтезовано!
мереж1 NFNk1 j ) = NFN (y^j) ),
GP = G
(х1 ). Це дозволить тдвищити ймовiрнiсть вiдбору
при формуванш тдмножин Rj ) таких ршень y k ), якi геомет-рично вiдповiдaють j-му кластеру (просторово розташован близько до його центру) i володжть при цьому прийнятною
пристосоватстю G^. Ршення у^} будемо в1дносити в щдмно-
жини R(1,j) (R(l,j) = R(1,j) U yk^)при виконання умови (12):
G^ + ukj < rand[0;2].
(12)
Перегляд множини R (i) продовжуеться та повторюеть-ся доки не будуть послщовно сформован вс1 тдмножи-
ни R(1, j ), кожна з яких складаеться з Ny / Npr ршень.
П1сля розбиття в головному процеЫ множини R(l) на
тдмножини Jr(l,1),R(l,2),...,R(l,Npr) L виконуеться ïх пе-
редача на 1нш1 процеси для паралельного стохастичного пошуку екстремум1в.
Для формування нового набору R(l ,j) на j-му про-цеЫ будемо ввдбирати р1шення уk j) 6 R^j), виходячи з1 значень ïх ц1льовоï функц1ï G^j) = G(y^j)). Р1шення yk,j) e R(l,j) пропонуеться вводити в наб1р р1шень
Reelected, допущених для формування нового покол1ння R(l , J) при виконанн умови (13):
G£nL <rand[0;1]. (13)
тим вищою е ймов1рн1сть
р1шення y^j) eR(1,J) бути вщбраним для формування ново1 множини R(l , j ).
Нову множину ршень R(l ,j ) аналог1чно еволюц1йному п1дходу до пошуку оптимальних р1шень [11] пропонуеться
формувати з найбшьш пристосованих набор1в yk, ^ ( елгтних), а також набор1в, отриманих в результата застосування еволю-ц1йних оператор1в схрещування та мутаци. Для створення ново1 множини р1шень пропонуеться використовувати оператори, розроблеш в [17].
Випадковий пошук з адаптац1ею в кожнш j-й п1дмножин1
R(1, j ) пропонуеться виконувати на j-му процес1 паралельно1 комп'ютержй системи (j =1, 2, ..., Npr) протягом Nu гте-рац1й. П1сля виконання Nu гтерацш випадкового пошуку в
кожн1й п1дмножин1 R(1, j) виконуеться 1х об' еднання
R(lГ) = R(l',1) UR(l',2) U... UR(l',NPr) в едину популяц1ю з подальшим проведениям 1мов1рн1сно1 оптим1заци над об'една-ною множною. Це дозволяе виявити нов1 област1, що м1стять локальш (можливо, i глобальний) оптимум. З метою скорочен-ня часу 1мов1ршсно1 оптим1зацп при робот1 з об'еднаною мно-жиною р1шень пропонуеться обчислення значень цшьово1
функцл Gj(l) ршень yk^ виконувати на процесах в паралельнш систем ( розпаралелити).
Виходячи з зазначеного вище, представимо граф процесу па-раметричного синтезу нейро-нечпких моделей в ярусно-пара-лельнш форм1 (рис. 2). Починаючи з ярусу перев1рки критер11в зупинення процес виконуеться гтеративно.
На рис. 2 операц1я RS(R) представляе собою випадковий пошук в множит р1шень R. Остання операц1я на граф1 -
RS(R(l )) виконуеться паралельно. Одна гтеращя процесу
випадкового пошуку RS (R(l )) в ярусно-паралельнш форм1
представлена на рис. 3.
Пунктирн1 л1н11 на рис. 2 i 3 в1докремлюють яруси графа один в1д одного. Операцп на одному ярус1 графа виконують-ся паралельно. Дуги графа демонструють залежност1 м1ж опе-рац1ями. Так, не можна приступити до виконання будь-яко1 операц11 доки не завершаться 1нш1 операц11, дуги з яких ор1ен-тован1 в вершини розглянутих операц1й.
Перех1д м1ж ярусами, при якому в1д одн1е1 вершини графа дуги ор1ентоват в кшька вершин наступного ярусу, пов'яза-ний з розсилкою (Scatter) р1шень по процесах. Перех1д гншого типу, при якому дуги ор1ентован1 в1д декшькох вершин одного ярусу до одте1 вершин1 наступного ярусу, виконуеться за до-помогою збору (Gather) ршень в головному процес1. Як можна побачити з рис. 2 i 3, найбшьш ресурсном1стк1 операци, а саме 1н1ц1ал1зац1я початково1 множини р1шень, оц1нювання поточно! множини ршень, випадковий пошук в щдмножит ршень, виконуються одночасно на процесах паралельно1 системи.
Запропонований метод синтезу нейро-нечпких мереж на основ! паралельних обчислень Грунтуеться на стохастичному п1дход1 при пошуку значень параметр1в, що настроюються, i полягае в розподш найб1льш ресурсном1стких етап1в по вузлах паралельно! обчислювально1 системи, що дозволяе скоротити час налаш-тування параметр1в (значень вагових коефщенпв i параметр1в функц1й належност1 нейроелеменпв) синтезованих нейромоделей.
Рисунок 2 - Граф процесу параметричного синтезу нейро-нечггких мереж в ярусно-паралельнш формi
4 ЕКСПЕРИМЕНТИ
Для виконання експериментального дослщження запропо-нованого методу синтезу нейро-нечггких мереж i вирiшення задачi шдивщуального прогнозування стану здоров'я хворого гшертотчною хворобою був використаний кластер Институту проблем моделювання в енергетику iменi Г. Е. Пухова НАН Украши м. Кшв. Було задiяно 16 вузлiв наступноï конфiгурацiï: процесор - Intel Xeon 5405, оперативна пам'ять - 4x2 ГБ DDR-2 на кожен вузол, комуткацшне середовище InfiniBand 20Гб/с. На вузлах кластера встановлене middleware Torque i OMPI.
Для проведення експериментiв розроблено програмне за-безпечення мовою С++ iз застосуванням бiблiотеки MPI [ 1820]. Для ощнювання витраченого на виконання методу часу використана бiблiотечна функцiя MPI_Wtime(). Експеримен-ти були виконанi по 3 рази на одному, двох, чотирьох, восьми i пцстнадцяти ядрах за^яних процесорiв.
Як аналог запропонованому методу була узята острiвна модель еволюцшного пошуку (Island Genetic Algorithm, IGA) [11, 12].
5 РЕЗУЛЬТАТИ
Результати експерименлв наведено на рис. 4-10 та у табл. 1-2. На рис. 4 приведет усереднет часовi витрати на виконання запропонованого методу i методу IGA на кластер^
Для встановлення причини нелiнiйного росту приско-рення було вимiряно комушкащйт витрати, а саме: пере-силання мiж ядрами процесорiв i синхротзащю потокiв. Отриманi результати наведено в таблиц 1 i на рис. 6.
Графж ефективностi кластерноï системи, у якш вико-нувалася реалiзацiя запропонованого методу i методу IGA, представлений на рис. 7.
Запропонований метод по свош сутi добре реалiзуeть-ся на SIMD-системах: кожне ядро виконуе тi самi шструкцп для кожноï реалiзацiï хромосом, тому були проведет експерименти на графiчному процесорi (GPU) NVIDIA GTX 285+, що програмувався за технологiею CUDA [21]. При цьому задавалася кшьюсть задiяних по-
< R(0, Gw >
1 2 4 S 16
Кшьтсть ядер CPU
Pиcyнoк 4 - Уcepeднeний qac викoнaння зaпpoпoнoвaнoгo мeтoдy i мeтoдy IGA нa клacтepi
Kiлькicть ядер CPU
Pиcyнoк 5 - Гpaфiк пpиcкopeння oбчиcлювaльнoгo пpoцecy нa ^aCTepi
Таблиця 1 - Комушкацшш витрати обчислювального процесу, що реал1зуе запропонований метод
Час пересилань та Частка пересилань та
Юлькють зад1яних ядер синхрошзацш, с синхрошзацш
Запропонований ЮА Запропонований ЮА
метод метод
1 0 0 0 0
2 8,07 11,92 0,14 0,16
4 6,43 8,62 0,21 0,22
8 7,78 11,10 0,43 0,47
16 9,27 13,96 0,81 0,91
Кiлькiсть ядер СРи
Рисунок 6 - Графж залежносп комушкацшних витрат вщ числа зад1яних ядер процесор1в
13
£ 0,9
М
0,8 0,7 0,6 0,5
Запропонований
метод
ЮД
0,55
1 2 4 8 16
Кшьюсть ядер СРи
Рисунок 7 - Ефектившсть кластерно! системи, що реал1зуе запропонований метод 1 метод ЮА
И
<3 65 £ § 60 н и
§ 55
в 50
ев
§ 45
И
§ 40
о
¡^ 35
30 25
^60,22 \
60
50,8
46,18
44,25 44,70
45,72
47,96
48,92
51,37
80
30,33
г
100 120
♦---
28,89 28,55
♦ Запропонований метод
29,05 30,29 31,00 31,26
140
160
180 200 240 Кiлькiсть потокiв ОРи
Рисунок 8 - Усереднений час виконання запропонованого методу 1 методу ЮА на граф1чному процесор1
тoкiв GPU i ви^к^вся час викoнания методу за дoпo-мoгoю yбyдoваниx y пакет CUDA фyнкцiй. E^^pn]^^ ти для запpoпoнoванoгo метoдy i методу IGA були ш-втopенi та 2 pази на б0, 80, 100, 120, 140, 1б0, 180, 200 i 240 пoтoкаx. Усреднений час вит^шя метoдiв вiдoбpаже-ж> на pис. 8.
Гpафiки пpискopення i кoмyнiкацiИииx вифат, щo шюст-pyють poбoтy дoслiджyваииx методв при викopистаинi фа-фiчнoгo пpoцесopа (GPU), наведенo на pис. 9 i 10, вiдпoвiднo.
У таблицi 2 наведет кoмyнiкацiйнi витpати oбчис-лю^ль^го пpoцесy, щo pеалiзye запpoпoнoваний метод на гpафiчнoмy пpoцесopi.
б ОБГОВОРЕННЯ
Як виднo з prn. 4 i 5, запpoпoнoваний метод y ш-piвняннi з методом IGA дoзвoляe швидше викoнати ви-падкoвий пoшyк, oскiльки застoсyвання мoдифiкoваниx oпеpатopiв ствopения нoвиx piшень зменшуе загальну кiлькiсть викoиyваниx на пpoцесаx oпеpацiй [17]. ^и-скopення oбчислювальнoгo пpoцесy, щo pеалiзye запpo-пoнoваний метoд i метoд IGA, poсте нелiнiйнo зi збшьшен-ням числа задiяниx ядеp пpoцесopiв.
Важливo вщзначити, щo oбидва метoди ^^o^mi-ваний метод i метод IGA) дoзвoлили забезпечити ж>бу-дoвy нейpo-нечiткиx мoделей ■з пpийнятнoю тoчнiстю (пpи пpoведеннi експеpиментiв неoбxiднo бyлo синтезу-вати мoделi, пoмилка пpoгнoзyвания якиx не пеpевищye 0,01). Пoмилка пpoгнoзyвания на тестoвиx даниx склала 0,017 i 0,021 для запpoпoнoванoгo метoдy i методу IGA,
вiдпoвiднo, щo таюж е пpипyстимим для poзв язyванoï задачi iндивiдyальнoгo пpoгнoзyвання стану здopoв'я xвopoгo гiпеpтoнiчнoю xвopoбoю.
Частка кoмyнiкацiйниx витpат (pис. б, табл. 1) в o6-числювальнoмy пpoцесi, щo pеалiзye запpoпoнoваний метoд i метод IGA, ■стотж) poсте зi збшьшенням кiлькoстi ядеp задiяниx пpoцесopiв. ^и цьoмy на бiльше, нiж вoсь-ми ядpаx, частка кoмyнiкацiйниx вшрат значнo пеpеви-щуе частку цiльoвиx oбчислень. Тoмy пpи pеалiзацiï зап-poпoнoванoгo метoдy на кластеpi дoцiльнo застотовува-ти чoтиpи-шiсть ядеp пpoцесopiв, щoб збалансувати в^т^етя витpат дo ефективнoстi системи. Застосуван-ня методу IGA на кластеpi так самo е випpавданим, ^o-те, ^и виpiшеннi пoставленoï задачi IGA затpатив бiльше часу на пеpесилання в пopiвняннi з запpoпoнoваним метoдoм.
З pra. 7 виднo, щo oбидва метoди пpoдемoнстpyвали пpийиятиy ефективнiсть y кластеpнiй системi. Для зап-poпoнoванoгo метoдy (рис. 8) збшьшення числа ^тошв пoнад 140 пpивoдить дo yпoвiльнения oбчислювальнoгo пpoцесy. Це мoжна пoяснити poстoм кoмyнiкацiйниx витpат, а таюж пpoстoeм незадiяниx пoтoкiв. Для методу IGA збшьшення кiлькoстi ^тошв уже пoнад 120 сж>вшь-нюе oбчислювальний пpoцес.
Данi, вiдoбpаженi y табл. 2 та на pra. 10, демoнстpy-ють iстoтне зниження кoмyнiкацiйниx витpат пpи вию-нант запpoпoнoванoгo метoдy i метoдy IGA на GPU y ж^внянш з кластеpoм, кoмyнiкацiйнi витpати якoгo ш-данi в таблицi 1.
№ S S
о
а
о
к с
S it
3,б 3,4 3,2 3,0 2,8 2,б 2,4 2,2 2,0
3,54
3,48
3,24
Запропонований
б0
80
100
120
140
1б0
2,50
180 200 240 Кшьккть n0T0KÍB GPU
Pисyнoк 9 - ^афж пpискopення pеалiзацiï запpoпoнoванoгo метoдy i метoдy IGA на ^аф^итому пpoцесopi
S
5 0,2б
I 0,24 в
| 0,22 3 0,20 f 0,18
I ^
0,14 0,12 0,10
Запропонований
метод
iga
б0
80
100
120
140
1б0
180 200 240 К1льк1сть потоКв GPU
Pисyнoк 10 - ^афж кoмyнiкацiйниx витpат на pеалiзацiю запpoпoнoванoгo метoдy i методу IGA на GPU
Таблиця 2 - Комушкацшш витрати обчислювального процесу, що реалiзуe запропонований метод на GPU
Юлькють задiяних потоюв GPU Час пересилань та синхрошзацш, с Частка пересилань та синхрошзацш, с
Запропонований метод IGA Запропонований метод IGA
60 4,46 7,05 0,112 0,117
80 4,09 6,41 0,122 0,126
100 4,00 6,23 0,132 0,135
120 4,13 6,64 0,143 0,150
140 4,37 6,93 0,153 0,155
160 4,74 7,73 0,163 0,169
180 5,24 8,63 0,173 0,180
200 5,70 9,15 0,184 0,187
240 6,56 13,36 0,210 0,260
Таким чином, застосування паралельних систем для реал-Гзацп запропонованого методу е доцiльним, осюльки iстотно знижуеться затрачуваний на виконання методу час (у 8,84 рази для 16-ти ядер кластеру та у 3,54 рази для 140 потоюв GPU). При цьому SIMD-система на основi GPU е iстотно де-шевшою за кластер i може бути використана для одержання прийнятного прискорення реалГзацп запропонованого методу. У порiвняннi з методом IGA запропонований метод проде-монстрував кращу масштабовашсть як на кластерi, так i на GPU. Кр1м того, запропонований метод дозволяе швидше одер-жати ршення й ефективнiше задiе обчислювальт ресурси, забезпечуючи при цьому побудову моделей з прийнятною точнiстю прогнозування.
ВИСНОВКИ
У роботi вирiшено актуальну задачу автоматизаци Гндив-iдуального прогнозування стану здоров'я хворого гшертон-iчною хворобою.
Наукова новизна роботи полягае в тому, що запропоновано метод синтезу нейро-нечгтких моделей на основi паралельних обчислень, який Грунтуеться на стохастичному пiдходi при по-шуку значень параметрiв, що настроюються, i полягае в роз-подiлi найбшьш ресурсномiстких етапгв по вузлах паралельно! обчислювально1 системи. Це дозволяе скоротити час настрою-вання параметрiв (значень вагових коефiцiентiв i параметрiв функцш належносп нейроелеменпв) синтезованих нейромоделей.
Практична щнтсть отриманих результата полягае в тому, що розроблено програмне забезпечення, яке реалiзуе запро-понований паралельний метод i дозволяе виконувати побудо-ву нейро-нечгтких мереж на основ! заданих наборГв спостере-жень для синтезу моделей шдиввдуального прогнозування стану здоров'я хворого гшертошчною хворобою. Результати проведених експеримента сввдчать про прийнятт значення показниюв ефективност запропонованого паралельного методу синтезу нейро-нечгтких мереж
Перспективи подальших достджень полягають у застосу-вант запропонованого тдходу до синтезу нейро-нечгтких мереж з навчальних вибГрок даних для виршення практичних задач неруйтвного контролю якостг ПОДЯКИ
Роботу виконано в рамках держбюджетно! науково-досль дно! теми ЗапорГзького национального техшчного ужверсите-ту «[нтелектуальт шформащйт технологи автоматизаци про-ектування, моделювання, керування та дГагностування вироб-ничих процеив i систем» (номер державно! реестрацп 0112U005350) за тдтримки мГжнародного проекту «Centers of Excellence for young RESearchers» (CERES) програми «Tempus» Свропейсько! Ком1сц (реестращйний номер 544137-TEMPUS-1-2013-1-SK-TEMPUS-JPHES).
Навчальну вибiрку надано професором Запорiзького национального технiчного унiверситету проф. С. О. Субботшим. СПИСОК ЛГГЕРАТУРИ
1. Beevers D. G. ABC of hypertension / D. G. Beevers, G. Y. Lip, E. O'Brien. - London : BMJ Books, 2007. - 88 p.
2. Camm A. J. The ESC Textbook of Cardiovascular Medicine / A. J. Camm, T. F. Luscher, P. Serruys. - Hoboken : Wiley-Blackwell, 2006. - 1136 p. DOI: 10.1093/med/ 9780199566990.001.0001.
3. Suzuki K. Artificial Neural Networks: Architectures and Applications / K. Suzuki. - New York : InTech, 2013. - 264 p. DOI: 10.5772/3409.
4. Hanrahan G. Artificial Neural Networks in Biological and Environmental Analysis / G. Hanrahan. - Boca Raton, Florida : CRC Press, 2011. - 214 p. DOI: 10.1201/b10515.
5. Субботш С. О. Подання й обробка знань у системах штучного штелекту та шдтримки прийняття ршень : навч. поабник / С. О. Субботш. - Запортжжя : ЗНТУ 2008. - 341 с.
6. Baragona R. Evolutionary Statistical Procedures: An Evolutionary Computation Approach to Statistical Procedures Designs and Applications / R. Baragona, F. Battaglia, I. Poli. - Berlin : Springer, 2011. - 296 p.
7. Spall J. C. Introduction to Stochastic Search and Optimization / J. C. Spall. - Hoboken : Wiley, 2003. - 618 p. DOI: 10.1002/ 0471722138.
8. Дневник погоды [ Электронный ресурс]. - Москва : ООО «НПЦ «Мэп Мейкер», 2014. - Режим доступа: http://www.gismeteo.ru/ diary/5093.
9. Weber M. Observations of Solar Activity (Mg II Index) by GOME, SCIAMACHY, and GOME-2 [Electronic resource]. - Bremen: University of Bremen, 2014. - Access mode: http://www.iup.uni-bremen.de/gome/gomemgii.html
10. Smith S. Genetic and Evolutionary Computation: Medical Applications / S. Smith, S. Cagnoni. - Chicehster : John Wiley & Sons, 2011. - 250 p. DOI: 10.1002/9780470973134.
11. Yu X. Introduction to Evolutionary Algorithms (Decision Engineering) / X. Yu, M. Gen. - London: Springer, 2010. - 418 p. DOI: 10.1007/978-1-84996-129-5.
12. Cantu-Paz E. Efficient and Accurate Parallel Genetic Algorithms / E. Cantu-Paz. - Massachusetts : Kluwer Academic Publishers, 2001. - 162 p. DOI: 10.1007/978-1-4615-4369-5.
13. Encyclopedia of artificial intelligence / Eds.: J. R. Dopico, J. D. de la Calle, A. P. Sierra. - New York : Information Science Reference, 2009. - Vol. 1-3. - 1677 p.
14. Encyclopedia of machine learning / [eds. C. Sammut, G. I. Webb]. -New York : Springer, 2011. - 1031 p.
15. Mumford C. L. Computational Intelligence / C. L. Mumford, L. C. Jain. - Berlin : Springer-Verlag, 2009. - 732 p. DOI: 10.1007/ 978-3-642-01799-5.
16. Bishop C.M. Pattern recognition and machine learning / C. M. Bishop. - New York: Springer, 2006. - 738 p.
17. Oliinyk A. O. Using Parallel Random Search to Train Fuzzy Neural Networks / A. O. Oliinyk, S. Yu. Skrupsky, S. A. Subbotin // Automatic Control and Computer Sciences. - 2014. - Vol. 48, Issue 6. - P. 313-323. DOI: 10.3103/S0146411614060078.
18. Gebali F. Algorithms and Parallel Computing / F. Gebali. - New 20. Quinn M. J. Parallel Programming in C with MPI and OpenMP /
Jersey: John Wiley & Sons, 2011. - 364 р. DOI: 10.1002/ M. J. Quinn. - New York: McGraw-Hill, 2004. - 529 p.
9780470932025. 21. NVIDIA CUDA Compute Unified Device Architecture 5.5 / Santa
19. Roosta S.H. Parallel Processing and Parallel Algorithms: Theory Clara: NVIDIA Corporation, 2014. - 117 p.
and Computation / S. H. Roosta. - New York : Springer-Verlag, Стаття надшшла до редакцй 20.03.2015.
2000. - 566 p.
Олейник А. А.
Канд. техн. наук, доцент, доцент кафедры программных средств, Запорожский национальный технический университет, Запорожье, Украина
СИНТЕЗ НЕЙРО-НЕЧЕТКИХ МОДЕЛЕЙ ДЛЯ ПРОГНОЗИРОВАНИЯ СОСТОЯНИЯ ЗДОРОВЬЯ БОЛЬНОГО НА ОСНОВЕ ПАРАЛЛЕЛЬНЫХ ВЫЧИСЛЕНИЙ
Решена задача разработки математического обеспечения для автоматизации процесса индивидуального прогнозирования состояния здоровья больного гипертонической болезнью. Объектом исследования является процесс синтеза моделей для медицинского диагностирования. Предмет исследования составляют методы синтеза нейро-нечетких моделей для медицинского диагностирования. Цель работы: повысить эффективность процесса синтеза нейро-нечетких сетей для построения диагностических моделей на основе обучающих выборок. Предложен стохастический метод синтеза нейро-нечетких моделей на основе параллельных вычислений, основанный на стохастическом подходе при поиске значений настраиваемых параметров, и заключающийся в распределении наиболее ресурсоемких этапов по узлам параллельной вычислительной системы. Предложенный метод позволяет сократить время настройки параметров (значений весовых коэффициентов и параметров функций принадлежности нейроэлементов) синтезированных нейромоде-лей. Разработано программное обеспечение, реализующее предложенный метод. Проведены эксперименты по исследованию свойств предложенного метода. Результаты экспериментов позволяют рекомендовать предложенный метод для использования на практике.
Ключевые слова: множество решений, нейронная сеть, признак, параллельное программирование, прогнозирование, синтез модели.
Oliinyk A.
PhD., Associate Professor, Associate Professor of Department of Software Tools, Zaporizhzhya National Technical University, Zaporizhzhya, Ukraine
SYNTHESIS OF NEURO-FUZZY MODEL FOR PATIENT HEALTH PREDICTING BASED ON PARALLEL COMPUTING
The problem of mathematical support development is solved to automate the process of individual health prediction of hypertensive patient. The object of study is the process of model synthesis for medical diagnosis. The subject of study are methods of neuro-fuzzy model synthesis for medical diagnosis. The purpose of the work is to improve the efficiency of the process of neuro-fuzzy network synthesis for constructing diagnostic models based on training samples. The stochastic method for the synthesis of neuro-fuzzy models based on parallel computing is proposed. It uses the stochastic approach for finding the values of adjustable parameters, and consists in the distribution of the most demanding stages on the nodes in parallel computing system. The proposed method can reduce the time of parameters calculation (the weighting coefficients and parameters of membership functions of neurons) of synthesized neuromodels. The software implementing proposed method is developed. The experiments to study the properties of the proposed method are conducted. The experimental results allow to recommend the proposed method for use in practice.
Keywords: solution set, neural network, feature, parallel programming, prediction, model synthesis.
REFERENCES
1. Beevers D. G., Lip G. Y., O'Brien E. ABC of hypertension. London, BMJ Books, 2007, 88 p.
2. Camm A. J., Luscher T. F., Serruys P. The ESC Textbook of Cardiovascular Medicine. AHoboken, Wiley-Blackwell, 2006, 1136 p. DOI: 10.1093/med/9780199566990.001.0001.
3. Suzuki K. Artificial Neural Networks: Architectures and Applications. New York, InTech, 2013, 264 p. DOI: 10.5772/3409.
4. Hanrahan G. Artificial Neural Networks in Biological and Environmental Analysis. Boca Raton, Florida, CRC Press, 2011, 214 p. DOI: 10.1201/b10515.
5. Subbotin S. O. Podannja j obrobka znan' u sistemah shtuchnogo intelektu ta pidtrimki prijnjattja rishen' : navch. posibnik. Zaporizhzhja, ZNTU, 2008, 341 p.
6. Baragona R., Battaglia F., Poli I. Evolutionary Statistical Procedures: An Evolutionary Computation Approach to Statistical Procedures Designs and Applications. Berlin, Springer, 2011, 296 p.
7. Spall J. C. Introduction to Stochastic Search and Optimization. Hoboken, Wiley, 2003, 618 p. DOI: 10.1002/0471722138.
8. Dnevnik pogody [Elektronnyj resurs]. Moscow, OOO «NPC «Mep Mejker», 2014, Rezhim dostupa: http://www.gismeteo.ru/diary/5093.
9. Weber M. Observations of Solar Activity (Mg II Index) by GOME, SCIAMACHY, and GOME-2 [Electronic resource]. Bremen, University of Bremen, 2014, Access mode: http://www.iup.uni-bremen.de/gome/gomemgii. html
10. Smith S., Cagnoni S. Genetic and Evolutionary Computation: Medical Applications. Chicehster, John Wiley & Sons, 2011, 250 p. DOI: 10.1002/9780470973134.
11. Yu X., Gen M. Introduction to Evolutionary Algorithms (Decision Engineering). London, Springer, 2010, 418 p. DOI: 10.1007/ 978-1-84996-129-5.
12. Cantu-Paz E. Efficient and Accurate Parallel Genetic Algorithms. Massachusetts, Kluwer Academic Publishers, 2001, 162 p. DOI: 10.1007/978-1-4615-4369-5.
13. Eds.: J. R. Dopico, J. D. de la Calle, A. P. Sierra. Encyclopedia of artificial intelligence. New York, Information Science Reference, 2009, Vol. 1-3, 1677 p.
14. Eds. C. Sammut, G. I. Webb Encyclopedia of machine learning. New York, Springer, 2011, 1031 p.
15. Mumford C. L., Jain L. C. Computational Intelligence. Berlin, Springer-Verlag, 2009, 732 p. DOI: 10.1007/978-3-642-01799-5.
16. Bishop C. M. Pattern recognition and machine learning. New York, Springer, 2006, 738 p.
17. Oliinyk A. O., Skrupsky S. Yu., Subbotin S. A. Using Parallel Random Search to Train Fuzzy Neural Networks, Automatic Control and Computer Sciences, 2014, Vol. 48, Issue 6, pp. 313323. DOI: 10.3103/S0146411614060078.
18. Gebali F. Algorithms and Parallel Computing. New Jersey, John Wiley & Sons, 2011, 364 p. DOI: 10.1002/9780470932025.
19. Roosta S. H. Parallel Processing and Parallel Algorithms: Theory and Computation. New York, Springer-Verlag, 2000, 566 p.
20. Quinn M. J. Parallel Programming in C with MPI and OpenMP. New York, McGraw-Hill, 2004, 529 p.
21. NVIDIA CUDA Compute Unified Device Architecture 5.5 / Santa Clara. NVIDIA Corporation, 2014, 117 p.
