CC BY
20
УДК 621.3:004.93
но. млтвеевл, л.я. мартинович
Дншропетровський нацюнальний ушверситет ÏMeHÏ Олеся Гончара
МОДЕЛЮВАННЯ НЕЙРОННИХ МЕРЕЖ ДЛЯ ВИЗНАЧЕННЯ ДЕФЕКТ1В В КОМПОЗИТНИХ МАТЕР1АЛАХ
У данш cmammi представленi результати моделювання нейронних мереж для визначення дефект1в у композитнихматерiалах. Моделювання багатошарового персептрона виконувалося в середовищi MATLAB за допомогою градieнтних i сполучених алгоритмiв навчання тришарово'1 нейронно'1 мережi. Навчання нейронно'1 мережi виконувалося за допомогою сигналiв заданих р1зницею експонент. Перевiрка роботи нейронно'1 мережi проводилася на зашумленних сигналах. Результати комп'ютерного моделювання дали так практичш висновки: хорошi результати розпгзнавання зашумлених сигналiв, використання методу сполучених градieнтiв дозволяе швидше навчити нейронну мережу
Ключовi слова: нейронна мережа, композитнi матерiали, трщина, навчання, класифжащя, градieнтнi та сполученi алгоритми, шум.
Н.А. МАТВЕЕВА, Л.Я. МАРТЫНОВИЧ
Днепропетровский национальный университет имени Олеся Гончара
МОДЕЛИРОВАНИЕ НЕЙРОННЫХ СЕТЕЙ ДЛЯ ОПРЕДЕЛЕНИЯ ДЕФЕКТОВ В КОМПОЗИТНЫХ МАТЕРИАЛАХ
В данной статье представлены результаты моделирования нейронных сетей для определения дефектов в композитных материалах. Моделирование многослойного персептрона выполнялось в среде MATLAB с помощью градиентных и сопряженных алгоритмов обучения трехслойной нейронной сети. Обучение нейронной сети выполнялось с помощью сигналов заданных разностью экспонент. Проверка работы нейронной сети проводилась на зашумленных сигналах. Результаты компьютерного моделирования дали такие практические выводы: хорошие результаты распознавания зашумленных сигналов, использование метода сопряженных градиентов позволяет быстрее обучить нейронную сеть.
Ключевые слова: нейронная сеть, композитные материалы, трещина, обучение, классификация, градиентные и сопряженные алгоритмы, шум.
N. A. MATVEEVA, L. YA. MARTUNOVICH
Oles Honchar Dnipropetrovsk National University
THE NEURON NETWORKS MODELLING FOR THE DEFECTS RECOGNITION IN COMPOSITE MATERIALS
In this paper results of neuron networks modelling are presented for defects recognition in composite materials. The modelling of multilayer perceptron has been implemented with help of Matlab environment by the gradient and conjugate algorithms for training of the three-layered neuron network. The learning of neuron network is executed with the help of signals given by difference of exponents. The verification of neuron network work has been realized with the help of noised signals. Results of computer modeling has given such practical conclusions: good results of recognition of noised signals, using of the conjugate gradients method allows quickly to train a neural network,
Keyword: neuron networks, composite materials, crack, the training, classification, the gradient and conjugate algorithms, noise.
Постановка проблеми та aH^iî публшацш
Проблема класифжацп е одшею з найб1льш часто виникаючих i розв'язуваних задач як для наукових дослщжень, так i на виробнищга. Розв'язання ще1 задачi полягае в розробщ й формуванш таких правил i закономiрностей, яш дозволили б розтзнати певш явища або об'екти та обумовити ïx належнють до деяких клаав або груп. Задача значно ускладнюеться в реальних умовах, тому що доводиться враховувати велику шльшсть рiзниx факторiв i явищ [1, 2].
При проведет неруйшвного контролю композитних матерiалiв слщ брати до уваги 1х складний рельеф поверхш. Технолопя виготовлення волокнистих композипв звичайно не передбачае мехашчну обробку, що ускладнюе процес сканування поверхш та додае рiзнi види шумiв. Виникае задача: аналiзуючи оброблюваш сигнали, необхвдно отримати шформацш щодо наявносп та розмiрiв дефекпв. Одним з варiантiв розв'язання таких задач е використання нейронних мереж. Нейромережш методи [3, 4], яш активно розвиваються останшм часом, володшть ушверсальними та адаптивними властивостями й забезпечують високу ефектившсть розтзнавання. Але, у свою чергу, характеризуются такими недолшами,
як тривалють i складнють процесу навчання, складнiсть пiдбору napaMeTpiB нейронно! мереж1 для впевненого розв'язання задач!, логiчна непрозорiстъ механiзму прийняття ршень.
Формулювання цiлi дослiдження
Провести порiвняльний аналiз використання градieнтних та спряжених алгоритмiв навчання нейронних мереж для виршенш задачi класифжацп сигналiв дефектоскопп в режимi реального часу.
Викладення основного матерiалу досл1дження
Кожна штучна нейронна мережа являе собою множину простих елементiв - нейронiв, яш сполученi певним чином. В результата завдяки паралелънiй обробцi даних отримуемо велику обчислювальну потужнiстъ. Задача нейронно! мережi полягае у перетвореннi шформаци. Конкретний вигляд виконуваного нейронною мережею перетворення даних обумовлюеться не ильки характеристиками нейронiв, як1 входять до и структури, але i особливостями !! архiтектури, а саме тополопею мiжнейронних зв'язкiв, напрямом i способами передачi шформаци м1ж нейронами, а також засобами навчання мереж!.
Iснуючi алгоритми, як! використовують навчання на основ! зворотного розповсюдження, багато в чому аналопчш методам визначення екстремуму функцй' к1лькох змшних [4]. Алгоритми вимагають знання перших i других похвдних функцюнала похибки щодо параметр!в. Дан! алгоритми оптим!зацп е стратепями, заснованими на реал!заци !де! гтеративного спуску, як1 забезпечують мш!м!зацш функцюнала навчання. У процес роботи алгоршмв, як правило, виникае задача одновим!рного пошуку мшмуму уздовж заданого напрямку. Це можуть бути антиград!ентш або спряжен! напрямки [4].
Град!ентш алгоритми навчання е специф!чною реал!защею методу град!ентного спуску в простор! вагових коефщенпв i змщень MLP i забезпечують рух по поверхш функцюнала помилки в напрямку, протилежному вектору град!ента. До них вщносяться алгоритми: градиентного спуску з параметром швидкосп навчання (налаштування) - GD (M-функщя traingd); град!ентного спуску з адаптащею параметра швидкосп навчання - GDA (traingda). Якщо до алгоршадв GD i GDA додати ще один параметр - збурення, то отримаемо ще два алгоритми - GDM (traingdm) i GDX (traingdx) вщповщно [4]. Формально ва алгоритми град!ентного спуску можна записати в наступному вигляд!:
wk +1 = wk -акёк , (1) де wk - вектор вагових коефщенлв; ак - параметр швидкосп навчання; gk - вектор град!ента функцюнала похибки. Переходячи вщ k-о! гтерацп до k+1 -о!, алгоритм виконуе корекцш вагових коефщенпв:
Awk = wk +1 - wk =-akgk • (2) З виразу (2) випкае, що метод град!ентного спуску працюе на основ! лшшно! апроксимаци функцй' вартосп б!ля поточно! точки wk , при як1й единим джерелом шформаци щодо поверхш похибок е град!ент gk. Таке обмеження забезпечуе значну перевагу - простоту реал!зацп. На жаль, воно приносить i небажаний результат - низьку швидк1сть зб!жносп. Кр!м того, на швидшсть зб!жносп впливае значення параметра а, виб!р якого викликае певш труднощг Для прискорення процесу навчання потр!бно збшьшувати параметр швидкосп навчання, проте одночасно з цим буде зм!нюватися i м!ра близькосп алгоритму до мшмуму середньоквадратично! помилки. В алгоритм! GD значення параметра а задаеться ильки на початку навчання, залежить в!д конкретно! задач! i здшснюеться дослщним шляхом. Алгоритм GDA, використовуе евристичну стратегш змши параметра а у процеа навчання. На кожному цикл! навчання обчислюються значення параметр!в, що настроюються i нов! значення виход!в i похибок. Нов! значення пор!внюються !з значеннями, отриманими на попередньому крощ. Якщо нова похибка менша за попередню, то параметр швидкосп настройки зб!льшуеться, i навпаки. Алгоритм GDM модиф!куе (2) з урахуванням параметра збурення mc i реал!зуе наступне сшввщношення для збшьшення вектора параметр!в, що настроюються
Awk = mcAwk-i + (1 - mc)agk. (3)
Таким чином, алгоритми град!ентного спуску коригують параметри, як1 настроюються, в напрямку антиград!енту. Однак такий напрямок далеко не завжди е самим сприятливим, щоб за можливо мале число крок1в забезпечити зб!жшсть до мшмуму функцюнала якосл. Спряжен! напрямки i вщповщний метод оптим!заци - метод спряжених град!енпв дозволяють визначити необхвдний мшмум набагато швидше.
Розглянемо наступш алгоритми методу спряжених град!енпв: Флетчера-Р!вса CGF (М-функц!я -traincgf); Полака-Р!бейри CGP (traincgp); Пауелла-Б!ель CGB (traincgb); Моллера SCG (trainscg). Bti алгоритми методу спряжених град!енпв на першш гтерацп починають пошук у напрямку антиград!енту:
Ро =- g0. (4)
Для визначення розм!ру кроку уздовж спряженого напрямку виконуються спещальш одном!рш процедури пошуку мшмуму. Коли вибрано напрямок спуску, потр!бно визначити оптимальну ввдстань (крок пошуку), на величину якого слщ змшити настроюванш параметри:
wk+1 = wk +akPk • (5)
Попм визначаеться наступний напрямок пошуку як лшшна комбшащя нового напрямку найшвидшого спуску i вектора руху в зв'язаному напрямку:
Рк = - ёк + РкРк-ь (6)
Рiзнi алгоритми методу сполученого градieнта розрiзняються способом обчислення константи вк . Алгоритм СвБ використовуе такий вираз для обчислення константи методу:
т
Рк = ёкёк . (7)
ёк-1ёк-1
Алгоритм Полака-Рiбейри СвР обчислюе константу вк як скалярний добуток приросту гpадieнта на
поточний градiент, подiлене на квадрат норми гращента на попереднiй ггерацп:
т
вк = ^кёк . (8) ёк-1ёк-1
Для всiх алгоритмiв методу спряжених градiентiв напрямок пошуку перюдично перевстановлюеться заново на напрям антигращенту, тобто виконуеться рестарт. Це ввдбуваеться в тих випадках, коли виникають проблеми зi збiжнiстю. Одна з таких стратегш рестарту реалiзована в алгорттш CGВ. Вiдповiдно до ще! стратеги рестарт виконуеться, якщо поточний та попереднiй напрямок градiентiв слабкооргогональш, i ця умова визначаеться наступним чином:
ёкёк
и ..2
^ 0.2gk . (9)
Bri алгоритми, як1 заснованi на методi спряжених градiентiв, реалiзують на кожнш iтерацiï процедуру одновимiрного пошуку. Ця дорога в обчислювальному вiдношеннi процедура вимагае на кожнiй iтерацiï калька разiв обчислювати реакц!ю мереж!. Алгоритм SCG, який запропонований Моллером, дозволяе уникнути зайвих витрат, об'еднуе методу спряжених градiентiв з квазшьютошвськими методами.
Експериментальнi досл1ди
В робот! запропоновано використовувати багатошаровий персептрон (multilayer perceptron - MLP) засобами бiблiотеки Neural Networks Tool середовища MATLAB R2010b .
У якосп навчально1 множини для нейронно1 мереж! запропонованi значения функцш, як1 вiдповiдають модельним сигналам, одержаним при скануванш поверхш композипв [5], у точках x= -2, - 1.9, ..., 2:
y(x) = exp(-1,5x2) - k ■ exp(-3x2) , (10)
де k зм!нюеться в!д 0 до 1. Вираз (10) при змш значень k описуе р!зш форми сигнал!в: вузький ушмодальний сигнал, який характеризуе довп трщини, довжина яких перебшьшуе зону контролю; положистий ушмодальний сигнал - для трщин меншоï розм!рностц б!модальний сигнал мають маленьк! трщини (при k = 1 - точковий дефект) [6].
За допомогою нейронноï мереж! - багатошаровий персептрон - класифшуемо отримуваш сигнали на три класи. Для ошгашзацп алгоритмiв навчання спочатку використовуемо градiентнi методи: traingd, traingdm i traingda, traingdx .
Для виршення поставленого завдання використовувалась трехшарова мережа зворотного поширення, яка включае 41 нейрон у вхщному шарi (за к1льк1стю компонент входного вектора) з передатною функцiею logsig, 20 нейронiв у другому шарi з гiперболiчним тангенсом tansig i 3 нейрони у вих1дному шарi (за к!льшстю компонент вихщного вектора) з лшшною функцiею purelin. Вх!дний i вих1дний шари переважно здшснюють тдготовку даних для подальшого використання, а також перетворення отриманих результапв. Приxоваиi шари виконують ва основш обчислення, тому 1'х функцiею активацп обираемо лопстичну сигмовдальну функцш або гiперболiчний тангенс.
Для обчислення функцюнала якосп навчання, який залежить вщ похибок мережi е, в робот!
N
використовуеться сума квадратiв похибок: SSE = ^ î
i=1
Спочатку проводилось навчання мережi на модельних сигналах до досягнення допустимо!' середньо1' квадратично!' похибки, яка дорiвнюе 0.01. Пот!м проводилось навчання при наявносп шуму !з середшм значенням а = 0 + 0.4. При навчаинi з шумом припустиму похибку збшьшили до 0.06.
Дат використовуемо знов трьохшарову мережу зворотного поширення, але в якосп алгоритмiв навчання беремо методи спряжених градiентiв: traincgf, trainscg, traincgp, traincgb
Перевiрка нейронних мереж для визначення точност! виявлення дефектiв здшснювалась шляхом подачi на вх!д навчених нейронних мереж сигнал!в з шумом. Для кожного значення шуму виконувалося 1000 вим!рювань i визначалися загальш в!дносн! помилки роботи:
n
P = — х 100,% (11)
N
де n - число помилок розтзнавання, N - загальна к!льк!сть вим!рювань.
e}
Результати дослвдження наведеш на рис. 1 та рис. 2. 60 50
о
g 40
^ 30
I
о 20 а
10 0
GD GDA GDM GDX
0.1
0.2
PiBeHb шуму
0.3
0.4
Рис. 1. Залежшсть похибок мереж в1д р1вня шуму (градаентт алгоритми навчання)
50
40
о с;
о о. IZ
30
щ. 20
10
CGF CGP -CGB SCG
0.1 0.2
PiBeHb шуму
0.3
0.4
Рис. 2. Залежшсть похибок мереж в1д р1вня шуму (спряжет алгоритми навчання)
Висновки
У робот! проведен! дослщження алгорштшв оптишзацц навчання багатошарового персептрона при розв'язаш задач! класифжацп сигнал!в, як1 отримують при проведен! неруйшвного контролю композипв.
За результатами комп'ютерного експерименту можна зробити так практичш висновки: використання методу спряжених град!енпв дозволяе швидше навчити нейронну мережу. У навчальних алгоритмах град!ентного спуску управлшня зб!жшстю здшснюеться за допомогою параметра швидкосп настроювання, а в алгоритмах методу спряжених град!енпв розм!р кроку коригуеться на кожнш гтерацп i тому алгоритми метода спряжених град!енпв значно перебшьшують за швидк1стю навчання град!ентш алгоритми, однак для !х реал!зацп необхвдний значний обсяг пам'ят! Пор!вняльний анал!з алгоршмв GD, GDM i GDA, GDX для задач! класифжаци сигнал!в з шумом показав, що швидшсть зб1жносп i значення функцш помилок краще всього для алгоритму GDX, тому що вш метить в соб! параметри адаптацп та збурення.
Список використаиоТ лiтератури
1. Виноградов А.П. Электродинамика композитных материалов / А.П. Виноградов.- К.:Едиториал УРСС, 2001. - 208 с.
2. Дорофеев А.Л. Электромагнитная дефектоскопия / А.Л. Дорофеев, Ю.Ф. Казаманов. - М. Машиностроение, 1980. - 232 с.
3. Хайкин С. Нейронные сети: полный курс, 2-е издание.: Пер. с англ. - М.: Издательский дом "Вильямс", 2006. - 1104 с.
4. Аксенов С.В. Организация и использование нейронных сетей (методы и технологии) / С.В. Аксенов, В.Б. Новосельцев. - Томск: Изд-во НТЛ, 2006. - 128 с.
0
0
0
5. Медведев В.С. Нейронные сети. MATLAB 6 / В.С. Медведев, В.Г. Потемкин - М.: ДИАЛОГ-МИФИ, 2002. - 496 с.
6. Хандецкий В.С. Спектральная идентификация сигналов в дефектоскопии композитов с использованием теории статистических испытаний / В.С. Хандецкий, В.В. Герасимов // Вюник ДНУ: Фiзика. Радюелектрошка. - 2003. - № 10. - С. 128-132.
7. Матвеева Н.А. Алгоритми оптишзацд навчання для задач класифжаци дефеклв / Н.А. Матвеева // Системш технологи. - 2012. - Вип. 1(78). - С. 56-63.
8. Матвеева Н.А. Моделирование нейросети для решения задачи классификации в дефектоскопии / Н.А. Матвеева // Системш технологи. - 2011. - Вип. 1(72). - С. 37-44.
