CC BY
27
УДК 004.272.26:004.93
Олшник А. О.1, Скрупський С. Ю.2, Субботш С. О.3, Благодарьов А. Ю.4, Гофман е. О.5
1Канд. техн. наук, доцент кафедри програмних засобiв,Запорiзький нацональний технЧний унверситет, Запоржжя,
УкраТна
2Канд. техн. наук, доцент кафедри комп'ютерних систем та мереж, Запорзький нацональний технчний унiверситет,
Запорiжжя, УкраТна
3Д-р техн. наук, завiдувач кафедри програмних засобiв, Запорiзький нацональний технiчний унiверситет, Запорiжжя,
УкраТна
4Аспрант кафедри програмних засобв, Запорзький нацональний технiчний унверситет, Запоржжя, УкраТна 5Канд. техн. наук, с.н.с. кафедри програмних засобв,Запорзький нацональний технiчний унверситет, Запоржжя,
УкраТна
ПЛАНУВАННЯ РЕСУРС1В ПАРАЛЕЛЬНОТ ОБЧИСЛЮВАЛЬНОТ СИСТЕМИ ПРИ СИНТЕЗ1 НЕЙРО-НЕЧ1ТКИХ МОДЕЛЕЙ ДЛЯ ОБРОБКИ ВЕЛИКИХ ДАНИХ
Виршено задачу планування pecypciB паралельних комп'ютерних систем при синтез1 нейро-нечпгсих мереж. Об'ект дослщження -процес синтезу нейро-нечпгсих моделей. Предметом дослщження е методи планування ресурав паралельних комп'ютерних систем. Мета роботи полягае в побyдовi модeлi планування ресурав паралельних комп'ютерних систем, що здшснюють виршення прикладних завдань на основi паралельного методу синтезу нейро-нечггких мереж. Запропоновано модель планування ресурав паралельних комп'ютерних систем при синтез1 нейро-неч1тких мереж. Синтезована модель враховуе тип комп'ютерно' системи, кшьюсть процеав, на яких виконуеться завдання, пропускну здатшсть мepeжi пepeдачi даних, параметри використовуваного математичного забезпечення (кшькють можливих ршень, що обробляються в пpоцeсi роботи методу, частки ршень, що генеруються на кожнш iтepацii стохастичного пошуку за допомогою застосування опepатоpiв схрещування i мyтацii), а також параметри pозв'язyваноi пpикладноi задачi (кшькють спостережень i кшькють ознак в заданш множит даних, що описуе результати спостережень за дослщжуваним об'ектом або процесом). Розроблено програмне забезпечення, що реалГзуе синтезовану модель планування ресурав. Виконано експерименти, що шдтверджують адекватшсть запропоновано!' моделг Результати експеримешгв дозволяють рекомендувати застосування розроблено!' модел1 на практищ.
Ключовi слова: вибГрки даних, паралельш обчислення, планування ресурсГв, нейро-нечГтка модель, нейронна мережа.
НОМЕНКЛАТУРА
CPU - Central Processing Unit;
GPU - Graphical Processing Unit;
M - кшьюсть ознак в множит спостережень S;
Npr - кшькють процеав, на яких виконуеться завдання;
Nx - кшьюсть можливих ршень, з якими оперуе система при синтезГ нейро-нечгтких мереж;
Q - кшьюсть спостережень в заданш множит спостережень S;
S - навчальна ви6Гр^;
TNN - значення виходу нейромережево' модeлi;
V - пропускна здаттсть середовища пepeдачi даних, Гб / с;
w - матриця вагових коeфiцiентiв;
wg - порогове значення функцп 9(w;x^;
|х| - кшьюсть аргумента функцп 9(w;x);
в - частка ршень, що генеруються на кожнш ггерацп стохастичного пошуку за допомогою застосування оператора схрещування;
Y - частка ршень, що генеруються на кожнш ггерацп стохастичного пошуку за допомогою застосування оператора мутацп;
р) - функщя активацп Р-го нейрона ц-го шару; р) - дискримшантна функщя р-го нейрона ц -го
шару.
ВСТУП
Нeйpо-нeчiткi мepeжi (ННМ) широко застосовують-ся при виpiшeннi практичних задач pозпiзнавання, дiаг-
ностування, контролю якост продукцп та ш. [1-7]. У роботах [8-10] запропоновано метод синтезу ННМ на ос-новГ паралельних обчислень, що дозволяе виршувати прикладт задачi, яю передбачають нeобхiднiсть побудо-ви моделей на осжда рГзних ви6Грок даних [8]. Виконан-ня цього методу вимагае великих витрат часу та обчис-лювальних peсypсiв, що обумовлюе необхщтсть застосування паралельних комп'ютерних систем [11-14]. Використання ресуршв для паралельних обчислень на кластерах CPU i гpафiчних процесорах (GPU) е досить дорогим i не доступним для бшьшост коpистyвачiв [11, 12]. Для ефективного застосування паралельних комп'-ютерних систем виконують попередне планування ре-суршв, що може бути здшснено за допомогою мeтодiв математичного моделювання поведшки системи при виршент вщповщних задач [14-17]. При цьому доцшь-но застосовувати методи нейромережевого моделювання [18-26], осюльки вони дозволяють виявляти нeлiнiйнi залeжностi мГж характеристиками паралельно' комп'ю-терно' системи, параметрами використовуваного математичного забезпечення, аргументами розв'язувано' в систeмi прикладно' задачi, та часом, затрачуваним системою на виршення прикладно' задачг
Метою роботи е побудова модeлi планування ре-суршв паралельних комп'ютерних систем, що здшснюють виршення прикладних задач на осжда паралельного методу синтезу нейро-нечгтких мереж [9].
1 ПОСТАНОВА ЗАВДАННЯ
При планувант ресурмв паралельно' системи важ-ливими характеристиками, вГд яких залежить и ефек-
© Олшник А. О., Скрупський С. Ю., Субботш С. О., Благодарьов А. Ю., Гофман С. О., 2016 DOI 10.15588/1607-3274-2016-4-8
тивнiсть i швидкiсть одержання результату, е наступш групи napaMeTpiB: техтчт характеристики паралельно! системи, параметри використовуваного програмного (математичного) забезпечення, особливостi розв'язувано! прикладно! задачi [8-10].
Основними характеристиками паралельно! системи, що впливають на час виршення практично! задачi, е:
- Xi - тип системи type (кластер CPU або GPU);
- X2 - кiлькiсть процесiв, на яких виконуеться задача
N ■
pr ;
- X3 - пропускна здатнiсть середовища передачi да-них V, Гб/с.
Серед основних параметрiв використовуваного математичного забезпечення (у даному випадку, методу синтезу ННМ [8]) видiлимо такi:
- X4 - кiлькiсть можливих рiшень N^ [8], з якими опе-руе система на кожнiй ггерацп методу;
- X5 - частка ршень р, що генеруються на кожнiй iтерацi! стохастичного пошуку за допомогою застосу-вання оператора схрещування [8-10];
- x^ - частка ршень Y, що генеруються на кожнш iтерацi! стохастичного пошуку за допомогою застосу-вання оператора мутацi! [8-10].
Як параметри прикладно! задач^ що iстотно впливають на швидюсть роботи паралельно! системи при син-тезi ННМ, доцшьно використовувати:
- Х7 - кшьюсть спостережень Q у заданш множинi спостережень S;
- X8 - кiлькiсть ознак M у множит спостережень S.
Таким чином, для оцшювання часу роботи t паралельно! комп'ютерно! системи при сиш^ ННМ необхь дно побудувати модель виду (1):
t = t (type, N pr ,V, N x ,ß, у, Q, M )
(1)
яка дозволяе виконувати прогнозування витраченого на виконання паралельного методу синтезу ННМ часу в залежност вщ характеристик системи, параметрiв математичного забезпечення та особливостей розв'язувано! прикладно! задачi.
2 ОГЛЯД Л1ТЕРАТУРИ
У роботах [27, 28] запропоновано моделi планування ресурсiв паралельно! обчислювально! системи, що доз-воляють оцiнити час !! роботи при сиш^ нейро-нечiтких мереж на осжда методу [8].
Таблиця 1 - Характеристики
У синтезованш в робот [27] моделi враховувалися лише 4 параметри (тип системи, кшьюсть процемв, на яких виконуеться задача, пропускна здатшсть мереж^ а також кшьюсть можливих ршень N^ ). Крiм того, важли-во вiдзначити, що модель [27] була побудована за дани-ми лише одше! навчально! вибiрки (при виршенш задачi побудови ННМ для шдив^ального прогнозування стану хворого гшертошчною хворобою [10]) i, вiдповiдно, могла бути використана лише при виршент подiбного класу задач.
У робот [28] додатково враховувалися параметри прикладно! задачу що iстотно впливають на швидюсть роботи паралельно! системи при сиш^ ННМ (кшьюсть спостережень i число ознак у заданш множит спостережень S). Однак така модель також характеризувалася де-якими недолжами:
- не були враховаш деякi важливi параметри паралельного методу синтезу ННМ [8], що ^тотно впливають на швидюсть пошуку оптимального ршення (част-ки ршень, що генеруються на кожнш ггерацп стохастичного пошуку за допомогою застосування операторiв схрещування i мутацi!);
- синтезована модель метила вм можливГ прямонап-равлеш зв'язки мГж нейронами.
Наявнiсть зазначених недолiкiв моделей планування ресурсiв, синтезованих у роботах [27, 28], обумовлюе необхщшсть побудови модел^ яка е досить простою для сприйняття i враховуе основш технiчнi характеристики паралельно! системи, параметри використовуваного програмного (математичного) забезпечення та особли-вост розв'язувано! прикладно! задачi.
3 МАТЕР1АЛИ ТА МЕТОДИ
Розглянутий метод [8-10] був застосований на клас-терi CPU та на GPU при обробщ даних з пу6лГчного репо-зиторж> [29], а також при виршенш задачi ^д^^ально-го прогнозування стану здоров'я хворих артерiальною гшертошею [10]. Характеристики оброблюваних наборiв даних наведено в табл. 1.
У результат! обробки даних [10, 29] було сформовано на-вчальну вибарку (2), що мстить 2064 результат виконання методу, кожний з який характеризувався вiсьмома ознаками:
D ={ X, T), (2)
где X—{X1, X2, Хз, X4, X5, X6, X7, Х8К Xi = {х/1, Xi2,> XiN},
N = 2064, T = {t1, t2, tN}.
оброблюваних Ha6opiB даних
№ з/п Ha3Ba 3agam Тип даних Кiлькiсть спостережень Q Юльюсть ознак M
1 Pypertensive patient condition [10] цш, дшсш, яюсш 2418 24
2 Auto MPG дшсш, якюш 398 8
3 Automobile цш, дшсш, яюсш 205 26
4 Computer Hardware цш 209 9
5 Housing цiлi, дшсш, яюсш 506 14
6 Servo цш, якiснi 167 4
7 Solar Flare якiснi 1389 10
8 Forest Fires дшсш 517 13
9 Concrete Compressive Strength дшсш 1030 9
10 Communities and Crime дшсш 1994 128
11 Parkinsons Telemonitoring цш, дiйснi 5875 26
12 Energy efficiency цш, дiйснi 768 8
р-К8К 1607-3274. Радюелектронжа, шформатика, управлiння. 2016. № 4 е-ЕЗБЫ 2313-688Х. Каёю Екойопга, Сошриег Баепое, Сопйо1. 2016. № 4
Таким чином навчальна виб1рка являла собою таб-лицю чисел, що складаеться з 2064 рядмв [ дев'яти стовпщв, яю м1стять значення восьми вхщних ознак [ одного вихщного (часу роботи методу) для кожного випад-ку застосування розглянутого методу в паралельнш сис-темг Фрагмент навчально! виб1рки наведено у табл. 2.
Для виключення впливу р1зного порядку значень ознак на синтезовану модель виконувалося нормування ознак, тобто приведення д1апазону !хшх значень до единого штервалу [0; 1] за формулою (3):
(2)
де I = 1,2,...,8 ; ] = 1,2,...,2064.
Як базис для побудови модел1 залежност виду (1) ви-користовувалися нейронш мереж1 прямого поширення, що дозволяють апроксимувати складш нелшшт залеж-
ност з високою точшстю. Модель (1) синтезувалася у вид1 тришарового персептрону [18, 22], перший шар яко-го мютив три нейрони, другий шар - чотири нейрони, третш шар - один нейрон. Ум нейрони мали сигмо!дну функщю активацИ (4):
1 + е ^
(3)
де ф= Ф (м>; х).
У якост1 дискрим1нантно! функцп нейрошв викорис-товувалася зважена сума (5):
Ф( х )= ^0 +Е ^гхг'
(4)
г=1
де wj визначае вагу 1-го вхщного параметру х1 у функцИ Ф х).
ХЧ п
х
— х
I шах
Таблиця 2 - Фрагмент навчально! виб1рки
Значення ознак Т
1уре м„г V М X в У е М
0 1 20 50 0,85 0,1 2418 24 101,18
0 8 20 50 0,83 0,11 2418 24 18,09
0 32 1 100 0,58 0,3 2418 24 51,65
1 100 32 50 0,58 0,31 2418 24 30,33
1 180 64 100 0,51 0,43 2418 24 59,44
1 260 32 100 0,53 0,41 2418 24 67,54
0 16 1 50 0,74 0,15 209 9 14,90
0 2 20 100 0,7 0,18 209 9 106,42
1 60 32 50 0,58 0,31 209 9 33,83
1 100 64 100 0,52 0,42 209 9 48,41
0 4 1 50 0,77 0,14 506 14 47,59
0 18 20 100 0,67 0,2 506 14 18,87
1 200 32 50 0,57 0,33 506 14 28,52
1 240 64 100 0,51 0,44 506 14 56,43
0 8 1 50 0,76 0,14 1389 10 29,93
0 14 20 100 0,67 0,2 1389 10 24,79
1 140 32 50 0,57 0,32 1389 10 27,47
1 100 32 100 0,54 0,38 1389 10 61,56
0 16 20 50 0,81 0,11 1994 128 10,42
0 1 1 50 0,77 0,13 1994 128 176,78
1 80 32 50 0,58 0,31 1994 128 41,39
1 100 64 50 0,56 0,34 1994 128 28,07
0 6 20 50 0,84 0,1 5875 26 27,11
0 22 1 50 0,72 0,16 5875 26 19,98
0 32 20 100 0,64 0,23 5875 26 23,75
1 120 32 50 0,57 0,32 5875 26 33,78
1 180 32 100 0,53 0,39 5875 26 74,78
1 240 64 100 0,51 0,44 5875 26 71,77
Таким чином, структура синтезовано! тришарово! ней-ромоделi TNN може бути представлена в такий спосiб (6):
TNN
^(3,1)(ф(3,1)(^(3,1); {(2))); {(2) - {(2,1>{(2,2>{(2,3> {(2,4)} {(2,k)- {(2,k )(,k )(,k); {(1))) k - l,2,3,4i (5) {(1)-{(u); {(1,2); {(1,3)
{(1,/)- {(1,/)(ф(1,/)(,/); x | /-из.
Для побудови нейромоделi та визначення значень !! параметрiв (вагових коефшденпв i зсувiв кожного нейрону) на И входи подавалися значення пронормованих оз-нак, на вихщ - значення часу виконання методу синтезу нейро-нечгтких мереж у паралельнш системi. Як цiльова функцiя при навчанш нейромоделi використовувався мiнiмум середньоквадратично! помилки E.
З метою виключення з моделi
t -1(type,Npr, V,Nx,P,y,Q,M) надлишкових зв'язюв мiж нейроелементами, навчання проводилося за допомогою методу структурно-параметричного синтезу нейромо-делей на осжга еволюцiйного пiдходу [8, 9]. Прийнят-ним вважалося досягнення середньоквадратично! помилки порядку 10-4.
Пiсля пiдстановки значень вагових коефщенлв i зсувiв у (6) з урахуванням функцi! активацi! (4) та дискримшант-но! функцл (5) одержуемо математичний опис синтезовано! нейромережево! моделi (7), що описуе залежност мiж характеристиками системи, у якш здiйснюеться синтез нейро-нечiтких мереж, параметрами дослщжуваного методу та часом, витраченим системою на виконання синтезу мереж. Графiчну iнтерпретацiю синтезовано! нейро-моделi наведено на рис. 1. Значення середньоквадратично! помилки синтезовано! моделi склало 3,3 хЮ-4, що е прийнятним для подабного роду задач.
type
Np V. N,
Р
У'
Q м
Рисунок 1 - Синтезована нейромережева модель
Таким чином, побудована нейромережева модель являе собою iерархiчну структуру, що метить нейро-подабт обчислювальнi елементи, i дозволяе ощнювати час, необхщний паралельнiй комп'ютернiй системi для синтезу ННМ при моделюванш складних об'екгiв i процемв.
4ЕКСПЕРИМЕНТИ
Для виконання експериментального дослщження зап-ропоновано! нейромережево! моделi використаш такi комп'ютернi системи:
- кластер Институту проблем моделювання в енерге-тицi iменi Г. Е. Пухова НАН Укра!ни (1ПМЕ) м. Ки!в: про-цесори Intel Xeon 5405, оперативна пам'ять - 4 х 2 ГБ DDR-2 на кожен вузол, комушкацшне середовище InfiniBand 20Гб/з, middleware Torque i OMPI;
- кластер Заж^зького национального технiчного уш-верситету (ЗНТУ) м.Запорожжя: процесори Intel E3200,
Ym - {(3 1) - (l + e-(43,31-52,55{(2,1)-76,96{(2,2)-5,58{(2,3)+34,87{(2,4)))J-1;
LNN {(2,1) = {(2,2) : {(2,3): {(2,4) : {(1,1)-{(1,2) = {(1,3) -
1 + e"(-28,84-0,58{(1,1}))J-1;
1 + e-(29,93-92,2{(1,1)-95,32{(1,2))'J-1. 1 + e-(8,75-19,75{(1,2)+5,95{(1,3)})|-1. 1 + e-(6,44+9,67{(1,3)))-1;
(6)
+ e
-(-3,71+7,29type-10,31N pr -6,46 V+3,97 Nx+4,3p-8,59y-0,06Q-0,0M )) 1;
1 + e-(-0,41+1,02type-0,84Npr -0,02 V+0,11N% +1,29p+0,83y+0,04Q+0,0M )) 1; 1 + e"(0,6+4,51type-3,7 Npr +0,89V+0,48N%+5,09p-0,2y-0,08Q-0,02M ))
onepaTUBHa naM'aTt 1 EE DDR-2 Ha KoxeH By3on, KoMyHi-Ka^HHe cepegoBH^e Gigabit Ethernet 1 T6/c, middleware Torque i MPICH;
- GPU NVIDIA GTX 285+ 240 agep CUDA;
- GPU NVIDIA GTX 960 1024 agpa CUDA.
B eKcnepnMenrax KmtKicTt npoцeciв x2, Ha aKUx buko-HyBaBca MeTog, Bapirornanoca Big 1 go 32 gna KnacrepiB Ta Big 60 go 260 gna GPU. nponycKHa 3gaTHicTt Mepexi x3 - Big 1 go 20 T6/c, KmtKicTt moxhubux pimem Ha eTani imni&m-
зaцiï MeTogy N^ - Big 50 go 100. ^acTKa pimem P , ^o reHepyroTtca Ha Koxmn rrepa^ï cToxacraHHoro nomyKy 3a
допомогою застосування оператора схрещування, x5 -Big 0,51 до 0,85, частка ршень Y, створюваних на кожнiй иерацп стохастичного пошуку за допомогою застосування оператора мутацп, x6 - вщ 0,1 до 0,45. Для прове-дення експериментiв було розроблено програмне забез-печення мовою С з застосуванням бiблiотеки MPI [30].
5 РЕЗУЛЬТАТИ
Результати експериментiв на кластерах ЗНТУ (задача № 4 у табл.1, ^х=50) та 1ПМЕ (задача № 5 у табл. 1, N^=100) наведено на рис. 2 i рис. 3, вщповщно. Рис. 4 демонструе
Рисунок 2 - Результати експерименпв на кластерi 1ПМЕ (задача № 4 у табл.1, Nx =100)
Рисунок 3 - Результати експерименпв на кластерi ЗНТУ (задача № 5 у табл. 1, =50)
експериментальну nepeBipKy 3anp0n0H0BaH0Ï моделi на GPU NVIDIA GTX 960 y задачi № 11 з табл. 1, при цьому
NX=100. Рис. 5 демонструе результати експериментiв на
GPU NVIDIA GTX 285+ у виршент задачi № 10 з N^=50. Сущльною лiнiею зображено час, фактично витрачений
системою на виконання паралельного методу синтезу нейро-нечгтких мереж [8], а пунктирною лшею - розра-хунковий час за допомогою запропонованоï модели
У таблицi 3 наведено значення середньоквадратичжй помилки (mse) запропонованоï моделi в порiвняннi з моделями [27] i [28].
Рисунок 4 - Результати експерименпв на GPU NVIDIA GTX 960 (задача № 11 у табл.1, Nx =100)
Рисунок 5 - Результати експерименпв на GPU NVIDIA GTX 285+ (задача № 10 у табл. 1, =50)
Таблиця 3 - Значения середньоквадратичних помилок розглянутих моделей
Модель Задача MSE запропоновано! модел1 (8 параметр1в) MSE модел1 [27] (6 параметр1в) MSE модел1 [28] (4 параметри)
Computer Hardware (на кластер^ 2,05 x 10-6 1,03 x 10-5 2,74 x 10-5
Housing (на кластер^ 8,29 x 10-7 6,61 x 10-5 9,32 x 10-5
Communities and Crime (на GPU) 3,32 x 10-5 1,67 x 10-5 2,61 x 10-5
Parkinsons Telemonitoring (на GPU) 2,08 x 10-4 2,17 x 10-5 3,47 x 10-4
6 ОБГОВОРЕННЯ
Тестова B^ipKa, що складаеться з результатiв 69 екс-периментiв, включала екземпляри рiшень практичних задач у паралельнш системi, що не входять у навчальну вибiрку. При проведеннi експериментiв адекватнiсть складност розв'язуваних задач вiдповiдала продуктив-ност використовуваних паралельних систем.
З рис. 2 i 3 видно, що час ршення задачi на кластер^ розрахований за допомогою запропоновано! модел^ як правило, е трохи меншим у порiвняннi з фактично вит-раченим часом. Це можна пояснити тим, що час, витра-чений на синхрошзацп та на пересилання даних мiж про-цесами кластера, значно варжеться в залежностi вщ зас-тосовуваного середовища передачi даних. При цьому, чим бiльше задiяно процесiв кластера, тим iстотнiшим е вплив синхронiзацiй i пересилань та тим бшьшим е вдаи-лення мiж фактичним i прогнозованим часом виршен-ня задачi.
Рисунки 4 i 5 дозволяють судити про те, що на GPU з ростом кшькосп задiяних потокiв до 140 включно спосте-рiгаеться зниження витраченого на виконання методу часу. Прогнозований за допомогою запропоновано! моделi час поводиться аналопчним чином. При подаль-шому збiльшеннi кiлькостi задiяних потокiв GPU вплив накладних витрат iстотно зростае, частка пересилань i синхронiзацiй починае перевищувати обсяг цшьових обчислень, тому фактично витрачений на виконання методу час починае зростати. Прогнозований за допо-могою моделi час також зростае, але дещо швидшими темпами. Таким чином, запропонована модель врахо-вуе вплив накладних витрат обчислювального процесу в паралельнiй системг
Таблиця 3 дозволяе порiвняти середньоквадратичну помилку (основний критерiй перевiрки адекватност моделi) запропоновано! моделi з моделями [27] i [28]. Як видно з таблиц 3 при використанш кластера збiльшення параметрiв у моделi (1) приводить до зменшення серед-ньоквадратично! помилки. Отже, бiльш дощльним е зас-тосування на практищ запропоновано! моделi в по-рiвняннi з моделями [27] i [28]. На графiчних процесорах не спостер^аеться значного полiпшення значення кри-терж> mse у порiвняннi з розглянутими моделями [27] i [28], що обумовлено бiльш iстотним впливом на час ви-рiшення задачi накладних витрат (пересилань i синхрош-зацш) у порiвняннi з кластерами CPU.
ВИСНОВКИ
У роботi вирiшено завдання планування ресурсiв паралельних комп 'ютерних систем при синтезi нейро-не-чiтких мереж.
Наукова новизна полягае в тому, що запропоновано модель планування ресурмв паралельних комп'ютерних
систем при синтез! ННМ, що враховуе тип комп'ютерно! системи, кiлькiсть процесiв, на яких виконуеться задача, пропускну здатнiсть мережi передачi даних, параметри використовуваного математичного забезпечення (кiлькiсть можливих рiшень, оброблюваних у процесi роботи методу, частки рiшень, що генеруються на кожнш п^ращ! сто-хастичного пошуку за допомогою застосування опера-тс^в схрещування та мутаци), а також параметри розв'я-зувано! прикладно! задачi (кiлькiсть спостережень i кiлькiсть ознак у заданш множинi даних, що описуе результата спостережень за досл^жуваним об'ектом чи процесом). Синтезована модель дозволяе виконувати оц-iнювання часу, необхдаого паралельнiй системi для виконання методу синтезу нейро-нечггких мереж.
Практична цштстъ отриманих результата полягае в розробленому програмному забезпеченш, що реалiзуе запропоновану модель i дозволяе рацiонально планува-ти вибiр ресурсiв комп 'ютерно! системи для побудови ННМ при виршенш практичних задач розтзнавання образiв, дiагностування та прогнозування.
ПОДЯКИ
Роботу виконано в рамках науково-досл^но! теми «Методи i засоби обчислювального iнтелекту та пара-лельного комп'ютингу для оброблення великих даних в системах дiагностування» (№ державно! реестрацi! 0116U007419) кафедри програмних засобiв Запорiзького нацiонального технiчного ушверситету.
СПИСОК Л1ТЕРАТУРИ
1. Nauck D. Foundations of neuro-fuzzy systems / D. Nauck, F. Klawonn, R. Kruse. - Chichester : John Wiley & Sons, 1997. -305 p.
2. Бодянський С. В. Еволюцшна каскадна система на основi ней-ро-фаззi вузлiв / С. В. Бодянський, О. К. Тищенко, О. О. Бойко // Радюелектронжа, шформатика, управлшня. - 2016. - № 2. -С. 40-45.
3. Субботин С. А. Метод синтеза диагностических моделей на основе радиально-базисных нейронных сетей с поддержкой обобщающих свойств / С. А. Субботин // Радюелектронжа, шформатика, управлшня. - 2016. - № 2. - С. 64-69.
4. Oliinyk A. O. Synthesis of Neuro-Fuzzy Networks on the Basis of Association Rules / A. O. Oliinyk, T. A. Zayko, S. A. Subbotin // Cybernetics and Systems Analysis. - 2014. - Vol. 50, Issue 3. -P. 348-357. DOI: 10.1007/s10559-014-9623-7.
5. Oliinyk A. Training Sample Reduction Based on Association Rules for Neuro-Fuzzy Networks Synthesis / A. Oliinyk, T. Zaiko, S. Subbotin // Optical Memory and Neural Networks (Information Optics). - 2014. - Vol. 23, № 2. - P. 89-95. DOI: 10.3103/ S1060992X14020039.
6. Oliinyk A. The decision tree construction based on a stochastic search for the neuro-fuzzy network synthesis / A. Oliinyk, S. A. Subbotin // Optical Memory and Neural Networks (Information Optics). - 2015. - Vol. 24, № 1. - P. 18-27. DOI: 10.3103/S1060992X1501003 8.
7. OmHHHK A. O. Bugo6yBaHHa npogy^iHHHx npaBH^ Ha 0CH0Bi HeraTHBHoro Big6opy / A. O. OmHHHK // Pagioe^eKTpomKa, iH$op-MaTHKa, ynpaBrnHHa. - 2016. - № 1. - C. 40-49.
8. Oliinyk A. O. Using Parallel Random Search to Train Fuzzy Neural Networks / A. O. Oliinyk, S. Yu. Skrupsky, S. A. Subbotin // Automatic Control and Computer Sciences. - 2014. - Vol. 48, Issue 6. - P. 313-323. DOI: 10.3103/S0146411614060078.
9. Oliinyk A. O. Experimental Investigation with Analyzing the Training Method Complexity of Neuro-Fuzzy Networks Based on Parallel Random Search / A. O. Oliinyk, S. Yu. Skrupsky, S. A. Subbotin // Automatic Control and Computer Sciences. -2015. - Vol. 49, Issue 1. - P. 11-20. DOI: 10.3103/ S0146411615010071.
10. Subbotin S. Individual prediction of the hypertensive patient condition based on computational intelligence / S. Subbotin, A. Oliinyk, S. Skrupsky // Information and Digital Technologies : International Conference IDT'2015, Zilina, 7-9 July 2015 : proceedings of the conference. - Zilina : Institute of Electrical and Electronics Engineers, 2015. - P. 336-344. DOI: 10.1109/ DT.2015.7222996.
11. Sulistio A. Simulation of Parallel and Distributed Systems: A Taxonomy - and Survey of Tools / A. Sulistio, C.S. Yeo. R. Buyya // International Journal of Software Practice and Experience. Wiley Press. - 2002. - P. 1-19.
12. MeTogbi h Moge^H n^aHHpoBaHHa pecypcoB b GRID-CHCTeMax : MOHorpa^ua / [B. C. noHoMapeHKo, C. B. .hhctpoboh, C. B. MHHyxHH, C.B. 3Haxyp]. - X. : «HH»3K», 2008. -408 c.
13.Introduction to GPUs. - Pe:®HM gocTyna: URL: https:// www.cs.utexas.edu/~pingali/CS378/20 15sp/lectures/ IntroGPUs.pdf. - 3ara. 3 eKpaHy.
14. Gebali F. Algorithms and Parallel Computing / F. Gebali. - New Jersey : John Wiley & Sons, 2011. - 364 p. DOI: 10.1002/ 9780470932025.
15. Fokkink W. Distributed Algorithms: An Intuitive Approach / Wan Fokkink. - Cambridge : MIT Press, 2013. - 248 p.
16. Herlihy M. The Art of Multiprocessor Programming Revised Reprint / M. Herlihy, N. Shavit. - Boston : Morgan Kaufmann, 2012. - 536 p.
17. Roosta S. H. Parallel Processing and Parallel Algorithms: Theory and Computation / S. H. Roosta. - New York : Springer-Verlag, NY, 2000. - 566 p. DOI: 10.1007/978-1-4612-1220-1.
18. Хайкин С. Нейронные сети : полный курс / С. Хайкин. - СПб : Вильямс, 2005. - 1104 с.
19. Suzuki K. Artificial Neural Networks: Architectures and Applications / K. Suzuki. - New York : InTech, 2013. - 264 p. DOI: 10.5772/3409.
20.Hanrahan G. Artificial Neural Networks in Biological and Environmental Analysis / G. Hanrahan. - Boca Raton, Florida : CRC Press, 2011. - 214 p. DOI: 10.1201/b10515.
21. Bodyanskiy Ye. Hybrid adaptive wavelet-neuro-fuzzy system for chaotic time series identification / Ye. Bodyanskiy, O. Vynokurova // Information Sciences. - 2013. - Vol. 220. - P. 170-179. DOI: 10.1016/j.ins.2012.07.044.
22. Bishop C. Neural Networks for pattern recognition / C. Bishop. -New York : Oxford University Press, 1995. - 482 p.
23. Computational intelligence: collaboration, fusion and emergence / [ed. Ch. L. Mumford]. - New York : Springer, 2009. - 752 p. DOI: 10.1007/978-3-642-01799-5.
24. Bodyanskiy Ye. An evolving radial basis neural network with adaptive learning of its parameters and architecture / Ye. Bodyanskiy, A. K. Tyshchenko, A. Deineko // Automatic Control and Computer Sciences. - 2015. - Vol. 49, Issue 5. -P. 255-260. DOI: 10.3103/S0146411615050028.
25. Intelligent data analysis : an introduction / [eds. M. Berthold, D. J. Hand]. - New York : Springer Verlag, 2007. - 525 p. DOI: 10.1007/978-3-540-48625-1.
26. Tenne Y. Computational Intelligence in Expensive Optimization Problems / Y. Tenne, C.-K. Goh. - Berlin : Springer, 2010. -800 p. DOI: 10.1007/978-3-642-10701-6.
27. Скрупский С. Ю. Экспериментальное исследование метода синтеза нейро-нечетких моделей в параллельной компьютер -ной системе / С. Ю. Скрупский // Радюелектронжа, шформатика, управлшня. - 2016. - N° 2. - С. 56-63.
28. Oliinyk A. Parallel Computer System Resource Planning for Synthesis of Neuro-Fuzzy Networks / A. Oliinyk, S. Skrupsky, S. Subbotin // Recent Advances in Systems, Control and Information Technology. Advances in Intelligent Systems and Computing - 2017. -Vol. 543. - P. 124-133. DOI: 10.1007/978-3-319-48923-0_12
29. UCI Machine Learning Repository. http://archive.ics.uci.edu/ml/.
30. Quinn M.J. Parallel Programming in C with MPI and OpenMP / M. J. Quinn. - New York, NY : McGraw-Hill, 2004. - 529 p.
Стаття надшшла до редакци 05.10.2016.
Шсля доробки 20.11.2016.
Олейник А. А.1, Скрупский С. Ю.2, Субботин С. А.3, Благодарев А. Ю.4, Гофман Е. А.5
'Канд. техн. наук, доцент кафедры программных средств,Запорожский национальный технический университет, Запорожье, Украина
2Канд. техн. наук, доцент кафедры компьютерных систем и сетей, Запорожский национальный технический университет, Запорожье, Украина
3Д-р техн. наук, заведующий кафедры программных средств,Запорожский национальный технический университет, Запорожье, Украина
4Аспирант кафедры программных средств, Запорожский национальный технический университет, Запорожье, Украина
5Канд. техн. наук, с.н.с. кафедры программных средств,Запорожский национальный технический университет, Запорожье, Украина
ПЛАНИРОВАНИЕ РЕСУРСОВ ПАРАЛЛЕЛЬНОЙ ВЫЧИСЛИТЕЛЬНОЙ СИСТЕМЫ ПРИ СИНТЕЗЕ НЕЙРО-НЕЧЕТ-КИХ МОДЕЛЕЙ ДЛЯ ОБРАБОТКИ БОЛЬШИХ ДАННЫХ
Решена задача планирования ресурсов параллельных компьютерных систем при синтезе нейро-нечетких сетей. Объект исследования - процесс синтеза нейро-нечетких моделей. Предметом исследования являются методы планирования ресурсов параллельных компьютерных систем. Цель работы заключается в построение модели планирования ресурсов параллельных компьютерных систем, осуществляющих решение прикладных задач на основе параллельного метода синтеза нейро-нечетких сетей. Предложена модель планирования ресурсов параллельных компьютерных систем при синтезе нейро-нечетких сетей. Синтезированная модель учитывает тип компьютерной системы, число процессов, на которых выполняется задача, пропускную способность сети передачи данных, параметры используемого математического обеспечения (число возможных решений, обрабатываемых в процессе работы метода, доли решений, генерируемых на каждой итерации стохастического поиска с помощью применения операторов скрещивания и мутации), а также параметры решаемой прикладной задачи (число наблюдений и число признаков в заданном множестве данных, описывающем результаты наблюдений за исследуемым объектом или процессом). Разработано программное обеспечение, реализующее синтезированную модель планирования ресурсов. Выполнены эксперименты, подтверждающие адекватность предложенной модели. Результаты экспериментов позволяют рекомендовать применение разработанной модели на практике.
Ключевые слова: выборки данных, параллельные вычисления, планирование ресурсов, нейро-нечеткая модель, нейронная сеть.
Oliinyk A.1, Skrupsky S.Yu.2, Subbotin S.3, Blagodariov O.4, Gofman Ye.5
1PhD, Associate Professor of Department of Software Tools, Zaporizhzhia National Technical University, Zaporizhzhia, Ukraine 2PhD, Associate Professor of Computer Systems and Networks Department, Zaporizhzhia National Technical University, Zaporizhzhia, Ukraine
3Dr.Sc., Head of Department of Software Tools, Zaporizhzhia National Technical University, Zaporizhzhia, Ukraine 4Postgraduate student of Department of Software Tools, Zaporizhzhia National Technical University, Zaporizhzhia, Ukraine 5PhD, Senior Researcher of Department of Software Tools, Zaporizhzhia National Technical University, Zaporizhzhia, Ukraine PARALLEL COMPUTING SYSTEM RESOURCES PLANNING FOR NEURO-FUZZY MODELS SYNTHESIS AND BIG DATA PROCESSING
The article deals with the problem of planning resources of parallel computer systems for the synthesis of neuro-fuzzy networks. The object of research is a process of synthesis of neuro-fuzzy models. The subject of research are the methods of resource planning of parallel computer systems. The purpose of the work is to construct a model of parallel computing systems for resource planning, carrying out the decision of practical applications based on parallel method of neuro-fuzzy networks synthesis. A model of parallel computer systems resource planning for the synthesis of neuro-fuzzy networks is proposed. Synthesized model takes into account the type of computer system, the number of processes in which the task is executed, the capacity of data network, the parameters of the mathematical software (number of possible solutions to be processed during the operation of the method, the proportion of solutions generated in each iteration of stochastic search through the use of crossover and mutation operator), as well as parameters of the solved applied problem (the number of observations and the number of features in a given data sample, which describes the results of observing the researching object or process). The software that implements a synthesized model of resource planning is developed. Experiments confirming the adequacy of the proposed model are executed. The experimental results allow us to recommend the usage of the developed model in practice.
Keywords: data sample, parallel computing, resource planning, neuro-fuzzy models, neural network.
REFERENCES
1. Nauck D., Klawonn F., Kruse R. Foundations of neuro-fuzzy systems. Chichester, John Wiley & Sons, 1997, 305 p.
2. Bodyanskiy Ye. V., Tyshchenko O. K., Boiko O. O. An evolving cascade system based on neurofuzzy nodes, Radio Electronics, Computer Science, Control, 2016, No. 2, pp. 40-45.
3. Subbotin S. A. The method of diagnostic model synthesis based on radial basis neural networks with the support of generalization properties, Radio Electronics, Computer Science, Control, 2016, No. 2, pp. 64-69.
4. Oliinyk A. O., Zayko T. A., Subbotin S. A. Synthesis of Neuro-Fuzzy Networks on the Basis of Association Rules, Cybernetics and Systems Analysis, 2014, Vol. 50, Issue 3, pp. 348-357. DOI: 10.1007/s10559-014-9623-7.
5. Oliinyk A., Zaiko T., Subbotin S. Training Sample Reduction Based on Association Rules for Neuro-Fuzzy Networks Synthesis, Optical Memory and Neural Networks (Information Optics), 2014, Vol. 23, No. 2, pp. 89-95. DOI: 10.3103/S1060992X14020039.
6. Oliinyk A., Subbotin S. A. The decision tree construction based on a stochastic search for the neuro-fuzzy network synthesis, Optical Memory and Neural Networks (Information Optics), 2015, Vol. 24, No. 1, pp. 18-27. DOI: 10.3103/S1060992X15010038.
7. Oliinyk A. Production rules extraction based on negative selection, Radio Electronics, Computer Science, Control, 2016, No. 1, pp. 40-49.
8. Oliinyk A. O., Skrupsky S. Yu., Subbotin S. A. Using Parallel Random Search to Train Fuzzy Neural Networks, Automatic Control and Computer Sciences, 2014, Vol. 48, Issue 6, pp. 313323. DOI: 10.3103/S0146411614060078.
9. Oliinyk A. O., Skrupsky S. Yu., Subbotin S. A. Experimental Investigation with Analyzing the Training Method Complexity of Neuro-Fuzzy Networks Based on Parallel Random Search, Automatic Control and Computer Sciences, 2015, Vol. 49, Issue 1, pp. 11-20. DOI: 10.3103/S0146411615010071.
10. Subbotin S., Oliinyk A., Skrupsky S. Individual prediction of the hypertensive patient condition based on computational intelligence, Information and Digital Technologies : International Conference IDT'2015, Zilina, 7—9 July 2015 : proceedings of the conference. Zilina, Institute of Electrical and Electronics Engineers, 2015, pp. 336-344. DOI: 10.1109/DT.2015.7222996.
11. Sulistio A., Yeo C. S., R. Buyya Simulation of Parallel and Distributed Systems: A Taxonomy - and Survey of Tools, International Journal of Software Practice and Experience. Wiley Press, 2002, pp. 1-19.
12. Ponomarenko V. S., Listrovoj S. V., Minuhin S. V, Znahur S. V. Metody i modeli planirovanija resursov v GRID-sistemah: monografija. Xar'kov, ID «INZhJeK», 2008, 408 p.
13. Introduction to GPUs. Rezhim dostupa: URL: https:// www. cs. utexas.edu/~pingali/CS 378/2015sp/lectures/ IntroGPUs.pdf. - Zagl. z ekranu.
14. Gebali F. Algorithms and Parallel Computing. New Jersey, John Wiley & Sons, 2011, 364 p. DOI: 10.1002/9780470932025.
15. Fokkink W. Distributed Algorithms: An Intuitive Approach. Cambridge, MIT Press, 2013, 248 p.
16. Herlihy M., Shavit N. The Art of Multiprocessor Programming Revised Reprint. Boston, Morgan Kaufmann, 2012, 536 p.
17. Roosta S. H. Parallel Processing and Parallel Algorithms: Theory and Computation. New York, Springer-Verlag,NY, 2000, 566 p. DOI: 10.1007/978-1-4612-1220-1.
18. Hajkin S. Nejronnye seti: polnyj kurs. Sankt-Peterburg, Vil'jams, 2005, 1104 p.
19. Suzuki K. Artificial Neural Networks: Architectures and Applications. New York, InTech, 2013, 264 p. DOI: 10.5772/3409.
20.Hanrahan G. Artificial Neural Networks in Biological and Environmental Analysis. Boca Raton, Florida, CRC Press, 2011, 214 p. DOI: 10.1201/b10515.
21. Bodyanskiy Ye., Vynokurova O. Hybrid adaptive wavelet-neuro-fuzzy system for chaotic time series identification, Information Sciences, 2013, Vol. 220, pp. 170-179. DOI: 10.1016/ j.ins.2012.07.044.
22. Bishop C. Neural Networks for pattern recognition. New York, Oxford University Press, 1995, 482 p.
23. Ch. L. ed. Mumford Computational intelligence: collaboration, fusion and emergence New York, Springer, 2009, 752 p. DOI: 10.1007/978-3-642-01799-5.
24.Bodyanskiy Ye., Tyshchenko A. K., Deineko A. An evolving radial basis neural network with adaptive learning of its parameters and architecture, Automatic Control and Computer Sciences, 2015, Vol. 49, Issue 5, pp. 255-260. DOI: 10.3103/ S0146411615050028.
25.Berthold M. , Hand D. J. eds. Intelligent data analysis: an introduction. New York, Springer Verlag, 2007, 525 p. DOI: 10.1007/978-3-540-48625-1.
26. Tenne Y., Goh C.-K. Computational Intelligence in Expensive Optimization Problems. Berlin, Springer, 2010, 800 p. DOI: 10.1007/978-3-642-10701-6.
27. Skrupsky S. Yu. Experimental investigation of method for the synthesis of neurofuzzy models in a parallel computer system, Radio Electronics, Computer Science, Control, 2016, No. 2. pp. 56-63.
28. Oliinyk A., Skrupsky S., Subbotin S. Parallel Computer System Resource Planning for Synthesis of Neuro-Fuzzy Networks, Recent Advances in Systems, Control and Information Technology. Advances in Intelligent Systems and Computing, 2017, Vol. 543, pp. 124-133. DOI: 10.1007/978-3-319-48923-0_12
29.UCI Machine Learning Repository. http://archive.ics.uci.edu/ml/.
30. Quinn M. J. Parallel Programming in C with MPI and OpenMP. New York, NY, McGraw-Hill, 2004, 529 p.
