CC BY
179
Огляди
ОГЛЯДИ
УДК621.3.011.74
ШТУЧНІ НЕЙРОННІ МЕРЕЖІ В ЗАДАЧАХ РЕАЛІЗАЦІЇ МАТЕРІАЛЬНИХ ОБ’ЄКТІВ
ЧАСТИНА 1. ПРИНЦИПИ ПОБУДОВИ ТА КЛАСИФІКАЦІЯ
Адаменко В.О., аспірант, Мірських Г.О., к.т.н., доцент
Національний технічний університет України ”Київський політехнічний інститут ”, м. Київ, Україна
Вступ
Практична реалізація матеріальних об’єктів передбачає, серед іншого, розв’язання відповідних задач синтезу, що на сьогодні здебільше здійснюється на основі методів оптимізації. При цьому математична модель об’єкту має не лише адекватно описувати фізичні процеси, що забезпечують отримання необхідних вихідних характеристик цього об’єкту, але й дозволяти реалізувати сам процес оптимізації. Програмне забезпечення, що на сьогодні використовується для розв’язання подібних задач характеризується або вузькою спеціалізацією (що суттєво обмежує можливості проектувальників), або має універсальний розрахунковий апарат і при складних об’єктах потребує неприйнятно великого часу розрахунку, навіть за умови використання найсучасніших обчислювальних засобів. Одним з варіантів реалізації швидких та гнучких методів розв’язання задач синтезу є використання апроксимаційних властивостей штучних нейронних мереж. Більшість досліджень пов’язаних зі штучними нейронними мережами зосереджена в області розпізнавання образів, розв’язку задач комбінаторної оптимізації та прогнозування, тому дослідження застосування нейронних мереж для аналізу та синтезу матеріальних об’єктів (і, зокрема, мікрохвильових пристроїв, математичні моделі яких зазвичай характеризуються підвищеною складністю та потребують значних обчислювальних потужностей) є актуальним. Більше того, використання апарату штучних нейронних мереж в перспективі дозволяє внести в розрахунковий апарат відсутні у відомих математичних моделях притаманних інженеру складових інтуїції та досвіду, які нерідко стають головними, визначальними факторами успішності розв’язання задач проектування.
Історичний дискурс
Продуктивність комп’ютера значно перевищує продуктивність людського мозку, якщо рахувати у FLOPS (абревіатура англ. Floating point OPerationsper Second). Продуктивність сучасного суперкомп’ютера вимірюється у петафлопсах (тобто 1015), а навіть якщо рахувати продуктивність
176
Вісник Національного технічного університету України "КПІ" Серія — Радіотехніка. Радіоапаратобудування.-2011.-№47
Огляди
людського мозку, як це зроблено в[1], то величина буде максимум 1014 FLOPS, хоча в реальності в кращому випадку від 1 до 5 FLOPS в залежності від складності рівняння, яке потрібно людині розв’язати. Але ще жодному комп’ютеру не вдалося пройти тест Тюрінга [2].
Одним з напрямів розвитку методів реалізації штучного інтелекту є створення математичної моделі людського мозку. І складовою такої моделі є штучний нейрон, який являє собою спрощену модель біологічного нейрону.
Вперше математична модель штучного нейрону була запропонована нейрофізіологом Уореном Маккалохом (Warren McCulloch) та математиком Уолтером Пітсом (Walter Pitts) разом з моделлю нейронної мережі у 1943 році [3]. Приблизно в той же час значний вклад в розвиток нейронних мереж зробив нейропсихолог Дональд Геб (Donald Hebb), який в 1949 році запропонував правило, покладене в алгоритми навчання штучних нейрон-них мереж [4]. Праці цих вчених викликали першу хвилю зацікавленості нейронними мережами, яка зросла ще більше, завдяки роботам Френка Ро-зенблата (Frank Rosenblatt), Марвіна Мінскі (Marvin Minsky), Сеймур Пей-перт (Seymour Papert), Бернарда Відроу (Bernard Widrow), Марсіана Хоффа (Marcian Hoff).
Так Ф. Розенблат в 1958 році запропонував схему перцептрона — штучного нейрону з пороговою функцією активації [5]. Нейронні мережі Розе-нблата складалися з трьох типів елементів:
- S-елемент (сенсорний) — чутливий елемент, який під дією будь-якого з видів енергії (світла, звуку, тиску, тепла тощо) рівень якої перевищує певний поріг Т, виробляє сигнал рівний 1, в іншому випадку — 0;
- А-елемент (асоціативний) — логічний елемент, який дає вихідний сигнал рівний 1, коли алгебраїчна сума його вхідних сигналів дорівнює або перевищує деяку граничну величину Т;
- R-елемент (реагуючий) — елемент, який видає сигнал 1, якщо сума його вхідних сигналів є строго позитивною, і сигнал -1, якщо сума його вхідних сигналів є строго негативною. Якщо сума вхідних сигналів дорівнює нулю, вихід вважається або рівним нулю, або неви-значеним [6].
Рис. 1. Схема перцептрона Розенблата
Вісник Національного технічного університету України "КПІ" Серія — Радіотехніка. Радіоапаратобудування.-2011.-№47
177
Огляди
Один з варіантів схеми перцептрона Розенблата зображено на рис. 1.
У 1960 році в Корнельському університеті(Cornell University, USA) був продемонстрований перший нейрокомп’ютер «Марк - 1», який був здатен розпізнавати деякі літери англійської абетки [7].
В тому ж році у Стенфордському університеті (Stanford University, USA) Б. Відроу та М. Хоффом був розроблений адаптивний лінійний нейрон ADALINE (англ. Adaptive Linear Neuron) [8], який при з’єднанні в мережу, MADALINE (англ. Multiple ADALINE — багато ADALINE), значно спрощує розв’язок задач нелінійної класифікації. Системи MADALINE використовувалися як адаптивні фільтри для усунення відлуння під час телефонних розмов. На відміну від перцептрону Розенблата в Адалін похибка навчання визначається відносно сигналу, отриманого до функції активації
[9].
Поряд з успіхами використання перших нейронних мереж, все частіше почали з’являтися невдачі, які спонукали до більш ґрунтовного математичного дослідження. В своїй роботі «Перцептрони» Марвін Мінскі та Сеймур Пейперт продемонстрували не лише недоліки одношарових перцепт-ронів, а ще й розглянули теоретичні аспекти паралельних обрахунків та основні можливості лінійної роздільності розпізнавання різних графічних образів [10]. Високий авторитет авторів призвів до того, що науковий інтерес до нейронних мереж майже зник [4].Основним недоліком роботи
М. Мінскі та С. Пейперта вважається неправильне трактування перцептро-ну Розенблата. В розумінні цих авторів перцептрон Розенблата є одношаровим, бо ваги між S та A елементами фіксовані та не приймають участь в подальшому навчанні (саме тому для нього було застосоване правило лінійної роздільності). Хоча насправді ці ваги забезпечують розв’язання більшості лінійно нероздільних задач [11], в тому числі так званої проблеми «виключного або», постановку якої традиційно також приписують Мінскі, хоча в книзі «Перцептрони» безпосередньо ця проблема не згадується.
В 1974 році незалежно один від одного Пол Дж. Вербос (Werbos P. J.)
[12] та А. І. Галушкин [13] розробляють алгоритм зворотного поширення помилки для навчання багатошарових перцептронів. Але справжній інтерес до нейронних мереж повертається лише на початку 80-х, після того, як у 1982 році Дж. Хопфілд (John Joseph Hopfield) довів, що нейронна мережа зі зворотнім зв’язком здатна мінімізувати енергію [14]. В той же час Т. Кохонен розроблює нейронну мережу, яка здатна до самонавчання та застосовується для кластеризації та візуалізації даних. В 1986 році дві незалежні групи вчених (Д. І. Румельхарт, Дж. Е. Хінтон і Р. Дж. Вільямс [15] та С. І. Барцев і В. А. Охонін [16]) повторно винайшли та вдосконалили метод зворотного поширення помилки.
Стрімкий розвиток комп’ютерної техніки призвів до поширення використання нейронних мереж в різних галузях науки та техніки, адже тепер
178
Вісник Національного технічного університету України "КПІ" Серія — Радіотехніка. Радіоапаратобудування.-2011.-№47
Огляди
для їх моделювання не потрібно розроблювати спеціальну апаратуру, а можна використовувати програмні моделі. Правда такий підхід в більшості нівелює одну з основних переваг штучної нейронної мережі, а саме паралельність обробки даних, так як вона не сумісна з принципами роботи сучасної обчислювальної техніки. Тому подальший розвиток нейронних мереж пов’язаний не тільки з розробкою нових алгоритмів та архітектур, а й з якісним удосконаленням сучасних персональних комп’ютерів, тобто переходом на паралельні обчислення.
Математична модель елементарного нейрону Сьогодні не існує стандартизованого позначення штучного нейрону, тому на рис. 2а наведене найпоширеніше графічне зображення. Таке зображення використовується для відображення одного нейрону під час пояснення його принципів роботи, а при зображенні нейронної мережі суматор та функція активації позначаються як один елемент рис. 2б.
Математично подібний нейрон описується за допомогою системи рівнянь:
У = f (s)
S = ІХ ■ w + T
i=1
де: xi - вхідні сигнали; wi - вагові коефіцієнти; Т- пороговий рівень нейрону; f - функція активації нейрону.
а)
X W Y
Рис.2.Графічне зображення нейрону (а) та нейронної мережі (б)
Тобто штучний нейрон складається з двох частин — адаптивного суматора та нелінійного перетворювача, який ще називають функцією активації
[17] . Навчання такого нейрону в більшості випадків зводиться до корекції вагових коефіцієнтів, так як одночасна корекція вагових коефіцієнтів і параметрів функції активації призводить до різкого зростання часу навчання
[18] .
Вісник Національного технічного університету України "КПІ" Серія — Радіотехніка. Радіоапаратобудування.-2011.-№47
179
Огляди
Якщо провести аналогію між біологічним та штучним нейроном, то входи х1—хп відповідають дендритам нейрону. Саме до них надходять сигнали через синапси, які розділяються на збуджуючі та гальмуючі, що відповідає перемноженню вхідних сигналів х1-хп на вагові коефіцієнти w\-wn. При цьому якщо ваговий коефіцієнт має знак плюс, то даний вхід збуджуючий, якщо ж мінус — то гальмуючий. Далі сигнали поступають на суматор та функцію активації, що в природі відповідає складенню сигналів в тілі нейрону та відправлення певного відлуння по аксону [19].
Однією з проблем розвитку нейронних мереж є відсутність єдиної термінології та графічних зображень, адже навіть немає однозначної відповіді на питання скільки шарів має нейронна мережа, зображена на рис. 2б. Крім того, як вже згадувалося перцептрон Розенблата не можна вважати одношаровим, хоча більшість сучасних посібників при визначенні перцептрону акцентують увагу на його одношаровості. Першою спробою до загальної ґрунтовної класифікації нейронних мереж можна вважати роботу Є. М. Міркеса «Нейрокомпьютер. Проект стандарта» [17], в якій присутні наступні графічні елементи нейронних мереж табл. 1.
Таблиця 1
1 a х Xа Синапс, має два входи: вхід сигналу х та вхід синаптичної ваги а, вихідний сигнал буде рівний добутку цих значень.
„ х і Xn Точка розгалуження, має один вхід х та декілька виходів х1, х2, хп. Причому х=х.
X Ґ a ■~No(X,a) ° У*" Нелінійна сигмоїдальна функція активації, має один вхідний сигнал х та один параметр а.
х sign(x) Пороговий перетворювач, який реалізує функцію визначення знаку.
хі/х2 Х 2 Нелінійний Паде перетворювач. Якщо вхідні сигнали х1, х2, то вихідний сигнал буде рівний х1/х2
X1 Х2 * 1 Xy X 2 Помножувач. Має два входи та реалізує функцію множення.
X1—» х 2—»■ X3—S. Xn * І n I Xi —^ i=1 Суматор. Якщо х1, х2,.., хп входи суматора, то на вихід рів- n ний ^ x і=і
В теорії побудови нейронних мереж крім звичайного суматора виділяють поняття адаптивного та квадратичного суматора. Так в нейроні, який
180
Вісник Національного технічного університету України "КПІ" Серія — Радіотехніка. Радіоапаратобудування.-2011.-№47
Огляди
зображено на рис. 2а використовується адаптивний суматор, тобто його вихід обраховується за формулою s = ^”=0xi • wt. Квадратичний суматор визначає суму зважених добутків квадратів вхідних сигналів:
ZH
. „х • х • w.
i=0 i i i
Відсутність єдиного стандарту в нейронних мережах ускладнює роботу з ними, особливо на етапі вибору архітектури мережі, адже в різних посібниках наводяться різні визначення та графічні зображення елементів та мереж в цілому.
Функції активації
Важливим елементом штучної нейронної мережі є функція активації від вибору якої залежить не тільки швидкість, але й метод навчання нейронної мережі. Останнє пов’язане з ти, що відомі алгоритми навчання накладають певні обмеження на функцію активації.
Більшість функцій активації мають стискаючі властивості, тобто вихідні значення нейрону завжди належать певному інтервалу, який залежить від типу функції активації [4].
В теорії побудови нейронних мереж застосовують велику кількість функцій активації, серед них слід виокремити чотири, які використовуються найчастіше.
Функція Хевісайда
Перший штучний нейрон (Перцептрон, запропонований Ф. Розенбла-том у 1957 році) мав функцію активації у вигляді порогової функції (інша назва - функція Хевісайда), яка на думку авторів першої математичної моделі найкраще відповідала характеристикам біологічного нейрону (рис. 3 а) [3]: значення виходу нейрона рівне нулю до тих пір, доки на виході суматора не буде значення, яке перевищує пороговий рівень. Як тільки це сталося - нейрон переходить в збуджений стан і на виході з’являється одиниця:
f (s)
0 s < T
1 s > T
(2)
Рис. 3 Функції активації:
а -Хевісайда при Т=0,5; б - лінійна з насиченням, при Т=0,5
Вісник Національного технічного університету України "КПІ" Серія — Радіотехніка. Радіоапаратобудування.-2011.-№47
181
Огляди
До переваг функції (2) слід віднести простоту описання та швидкість розрахунку. З недоліків є непридатність для роботи з неперервними сигналами (вихід приймає значення або 0, або 1), а відсутність першої похідної не дозволяє використовувати деякі з методів навчання. Крім того при використанні функції Хевісайда наявність прихованих шарів у нейронній мережі є надлишковою, так як вони не впливають на роздільну здатність ней-ронної мережі та на швидкість навчання.
Лінійна функція активації з насиченням
На відміну від функції Хевісайда лінійна функція з насиченням має проміжні значення в діапазоні від 0 до 1 (Рис. 3б), що дає змогу більш широкого використання в системах класифікації образів, також таку функцію інтерпретують, як апроксимаційну характеристику нелінійного підсилювача.
f (s)
s <-T s > T
s -T < s < T
(3)
Недоліком залишається відсутність першої похідної [19].
Сигмоїдальна функція активації
Сигмоїдальні функції активації відносяться до стискаючих нелінійних функцій. Введення нелінійності в роботу нейронної мережі дозволяє будувати ефективні багатошарові нейронні мережі, які здатні до апроксимації складних функцій. На відміну від порогової, сигмоїдальні функції диференційовані на всій числовій осі та мають властивість до підсилювання слабких сигналів краще, ніж великих, і тому запобігають насиченню нейронної мережі великими вхідними сигналами [18]. Використання сигмоїдальних функції дозволило перейти від дискретних сигналів до неперервних [20].
До сигмоїдальних функцій відноситься логістична функція рис. 4а, яка в залежності від значення а приймає різний кут нахилу, що можна використовувати для регулювання підсилення слабких сигналів та зміни швидкості навчання мережі.
f (s) = —1— (4)
1 + eaa
де а - коефіцієнт крутизни логістичної функції.
До переваг функції (4) відноситься зручне вираження першої похідної
І
через значення функції: f (s) = af (s)(1 - f (s)), що дозволяє ефективно ви-
182
Вісник Національного технічного університету України "КПІ" Серія — Радіотехніка. Радіоапаратобудування.-2011.-№47
Огляди
користовувати алгоритм зворотного поширення помилки під час навчання.
Крім логістичної функції до сигмоїдальних відноситься і гіперболічний тангенс, який на відміну від попередньої функції має діапазон вихідних значень, який лежить в інтервалі (-1;1) рис 4б, що дозволяє нейронній мережі працювати не лише з додатними, але й з від'ємними величинами [21].
/(О
а =2 ш ж * ./ ё Ж ё а = 0.5
# д # 7 Сі II
10 -5 0 5 10
г
а)
б)
Рис.4 Сигмоїдальні функції активації: а - логістична; б - гіперболічний тангенс.
В якості функції активації іноді використовують експоненціальну, модульну, квадратичну, радіально-базисну та інші функції [19].
Вибір функції активації та її параметрів залежить від діапазону вхідних та вихідних значень мережі і методу навчання. На сьогодні ще не розроблено способу визначення необхідної функції активації [18]. Особливо це стосується задач, які не відносяться до класичних (з огляду на використання нейронних мереж).
Класифікація нейронних мереж
Для вибору найбільш придатних для розв’язання конкретних задач типів нейронних мереж, необхідно розробити їх класифікацію. При цьому, зважаючи на широту області використання нейронних мереж, а відповідно й різноманіття їх типів, така класифікація неминуче матиме розгалужений характер та суттєво залежатиме від прийнятих класифікаційних критеріїв (рис 5). Перш ніж перейти до викладення результатів розроблення авторами такої класифікації, доцільно визначитися з деякими широковживаними (але не стандартизованими) на сьогодні термінами.
Елементарний нейрон — адаптивний або квадратичний суматор з функцією активації. Має декілька входів, зважена сума яких потрапляє на єдиний вихід через певну функцію активації.
Шар нейронів - сукупність нейронів з єдиними вхідними сигналами
Вісник Національного технічного університету України "КПІ" Серія — Радіотехніка. Радіоапаратобудування.-2011.-№47
183
Огляди
[19]. Кількість нейронів шару не залежить від сусідніх шарів.
Вхідний шар — іноді вхідним шаром вважають точки розгалуження, але все ж таки доцільно вважати вхідним шаром перший шар повноцінних нейронів, які мають вагові коефіцієнти. Кількість нейронів у вхідному шарі не залежить від розмірності вхідного вектора [1, 4].
Вихідний шар — виходи нейронів цього шару вважаються виходом мережі, тому їх кількість визначається розмірністю вихідного вектора.
Прихований шар — всі шари нейронів, що знаходяться між вхідним і вихідним шаром.
За топологією нейронні мережі можна поділити на повнозв’язані, шаруваті та слабко зв’язані рис. 6 [19].
До повнозв’язаних мереж можна віднести мережу Хопфілда [22] та мережу Коско [23], вони характеризується тим, що кожен нейрон передає свій вихідний сигнал решті нейронів. Вхідні сигнали потрапляють на всі нейрони, а вихідними можуть бути сигнали як частини, так і всіх нейронів після декількох циклів функціонування.
У слабко зв’язаних мережах нейрони розміщуються у вузлах прямокутної чи гексагональної решітки. Кожен нейрон пов’язаний з чотирма (околиця фон Неймана), шістьма (околиці Г олея) або вісьмома (околиці Мура) сусідніми нейронами.
Шаруваті мережі містять шари нейронів, і в свою чергу за характером зв’язків між ними поділяються на мережі прямого поширення — нейрони вхідного шару отримують сигнали, перетворюють їх і передають нейронам наступного прихованого шару, і так далі до вихідного шару, та рекурентні мережі, тобто мережі зі зворотними зв’язками.
Серед рекурентних мереж за глибиною зв’язку розрізняють:
- шарувато-циклічні, в яких шари замкнені в кільце —вихідний шар передає значення своїх виходів до вхідного шару;
- шарувато-повнозв’язані, кожен шар являє собою повнозв’язану систему, де сигнали передаються як між шарами, так і в середині них. Функціонують в три етапи: прийом сигналів з попереднього шару, обмін сигналу в середині шару, передача результату наступному шару;
- повнозв’язано-шаруваті, по структурі аналогічні до попередніх, тільки в них не розрізняють обробку в шарі і між шарами, а процес відбувається одночасно.
184
Вісник Національного технічного університету України "КПІ" Серія — Радіотехніка. Радіоапаратобудування.-2011.-№47
Огляди
Штучні нейронні мережі
і
За топологією нейронної мережі
г у t
Повнозв’язані Слабко зв’язані
У г
Шаруваті
н ч
Рекурентні Прямого поширення
Шарувато-циклічні Ч-Шарувато-повнозв’язані Ч-Повнозв’язано-шаруваті Ч- УГ Ч •« я о о СЯ СЯ сй сй в а ° 2 * й ч 2 О я W
уг
За характером налаштування синапсів
> г УГ
З динамічними зв’язками З фіксованими зв’зками
> Г
За характером навчання
V S (D ч (D Н К Я Ю со Ч Я Я ей Я ю ей К Навчання без вчителя Ч— Навчання з підкріпленням Ч—
За часом передачі сигналу
> г У Г
Синхронні Асинхронні
За типом структури нейронів
-► За вхідним сигналом
у г у 1 у Г У Г
Г омогенні Г етерогенні Аналогові Двійкові
Рис. 5 Класифікація нейронних мереж
Наступним важливим критерієм для класифікації являється характер налаштування синапсів. За яким розрізняють нейронні мережі з фіксованими зв’язками, у яких вагові коефіцієнти на початку роботи з мережею розраховуються за формулою і залишаються незмінні протягом її функціонування; та мережі з динамічними зв’язками, у яких вагові коефіцієнти визначаються випадковим чином, а потім змінюються в процесі роботи відповідно до певного характеру навчання [9]:
- навчання з вчителем — для кожного набору навчальної вибірки відомі вихідні значення;
- навчання без вчителя — формування вагових коефіцієнтів відбувається виключно по вхідним значенням, такі мережі ще називають мережами,
Вісник Національного технічного університету України "КПІ" Серія — Радіотехніка. Радіоапаратобудування.-2011.-№47
185
Огляди
які самоорганізуються;
- навчання з підкріпленням — система призначення штрафів та заохочень середовища.
Рис. 6. Архітектура нейронних мереж: а - повнозв’язана; б - багатошарова; с - слабко зв’язана.
За часом передачі сигналу розрізняють синхронні та асинхронні ней-ронні мережі. До синхронних мереж відносяться такі, в яких час передачі сигналу між нейронами рівний нулю, або має певну однакову для всіх фіксовану величину. В асинхронних мережах час затримки сигналу різний для різних зв’язків.
За вхідним сигналом мережі поділяються на двійкові та аналогові. У двійкових мережах використовують порогову функцію активації, а у аналогових — будь-яку з неперервних.
За типом структури нейронів розрізняють гомогенні мережі, в яких всі нейрони однакові, та гетерогенні, які поєднують нейрони з різними активаційними функціями.
Відсутність єдиної класифікаційної ознаки дещо затрудняє розуміння відмінностей між певними архітектурами нейронних мереж, тому важливим етапом при використанні нейронних мереж для будь-яких завдань є вибір оптимальної архітектури, який необхідно проводити опираючись на накопичений досвід інших науковців, власні розсуди та експерименти, так як на сьогодні не існує методу визначення оптимальної конфігурації ней-ронної мережі [24].
Висновки
Історично склалося, що нейронні мережі розроблялися та удосконалювалися в напрямку розпізнавання (класифікації) образів та асоціативної пам’яті, тому саме ці області найбільш досліджені. Проте в останній час все більше уваги приділяється використанню нейронних мереж, як універсального математичного апарату з елементами штучного інтелекту та здатністю до асоціації та класифікації при розробці матеріальних об’єктів. Таке застосування нейронних мереж дозволяє перейти на більш високий рі-
186
Вісник Національного технічного університету України "КПІ" Серія — Радіотехніка. Радіоапаратобудування.-2011.-№47
Огляди
вень проектування, адже за таких умов сама модель «підказуватиме» проектувальнику найбільш ефективне (при даних обмеженнях) рішення.
Здатність нейронних мереж до навчання та самоорганізації, можливість закладення в основу процесу дослідження (проектування) елементів штучного інтелекту приваблює фахівців та науковців з різних галузей науки та техніки до їх широкого використання. Це ускладнює оцінку ефективності та доцільності використання нейронних мереж під час розв’язання конкретних задач з визначеної галузі, адже результати робіт пов’язані зі штучними нейронними мережами друкуються в наукових журналах різної спрямованості. Крім того, як правило, публікується інформація виключно про успішні експерименти з наведенням конкретної архітектури нейронної мережі без прискіпливого аналізу та обґрунтування причин вибору саме такого рішення.
Наведене призводить до того, що при використанні нейронних мереж в галузях відмінних від тих, які на сьогодні вважаються традиційними для них, виникають труднощі на всіх етапах від вибору функції активації до закінченої архітектури. Тому аналіз формулювання принципів прийняття ефективних рішень щодо вибору архітектури, функції активації, відповідних кількісних характеристик тощо нейронних мереж є важливим етапом на шляху поширення елементів штучного інтелекту на задачі реалізації матеріальних об’єктів.
Література
1. Заенцев И.В. Нейронные сети: основные модели: учебное пособие для студентов / Заенцев И.В.— Воронеж:ВГУ, 1999. — 76с.
2. Turing A.M. Computing machinery and intelligence / Turing A.M. // Mind. — 1950.— vol. 59, №236. — P. 433—460.
3. McCulloch W.S. A logical Calculus of Ideas Immanent in Nervous Activity / McCulloch W.S., Pitts W. // Bull. Mathematical Biophysics. — 1943. — vol. 5 — P. 115— 133.
4. Уоссермен Ф. Нейрокомпьютерная техника: теория и практика / Уоссермен Ф.; пер. с англ. Ю. А. Зуев, В. А. Точенов. — М.:Мир, 1999. — 184с. — ISBN 5060040941.
5. Rosenblatt F. The Perceptron: a probabilistic model for information storage and organization in the brain / F. Rosenblatt // Cornell Aeronautical Laboratory, Psychological Review — 1958 — vol.65, No. 6 — P. 386—408c.
6. Розенблатт Ф. Принципы нейродинамики. Перцептроны и теория механизмов мозга / Ф. Розенблатт. — М.: Мир, 1965. — 175с.
7. Estebon M.D. Perceptrons: An Associative Learning Network / M.D. Estebon // Virginia Tech. — 1997.
8. Widrow B. Adaptive switching circuits / B.Widrow, M.E. Hoff // IRE WESCON Convention Record. — 1960. — P. 96—104.
9. Бодянский Е.В. Искусственные нейронные сети: архитектуры, обучение, применения / Е.В. Бодянский, О.Г. Руденко. — Харьков: Телетех, 2004. — 369с. — ISBN 966-954116-2-2.
10. Минский М. Л. Персептроны / М. Л. Минский, С. Пейперт. — М.: Мир, 1971 —
Вісник Національного технічного університету України "КПІ" Серія — Радіотехніка. Радіоапаратобудування.-2011.-№47
187
Огляди
262с. — УДК 62-506.222.001.57.
11. Аркадьев А. Г. Обучение машины классификации объектов / А. Г. Аркадьев,
Э. М. Браверман. — М.: Наука, 1971 — 192с.
12. Werbos P. J. Beyond regression: New tools for prediction and analysis in the behavioral sciences / P. J. Werbos // Ph.D. thesis, Harvard University, Cambridge — 1974.
13. Галушкин А. И. Синтез многослойных систем распознавания образов /
A. И. Галушкин. — М.: «Энергия», 1974 — 368с.
14. Hopfield J. J. Neural networks and physical systems with emergent collective computational abilities / J. J. Hopfield // Proceedings of National Academy of Sciences. — 1984. — vol. 79. —P.2554—2558.
15. Rumelhart D. E. Learning Internal Representations by Error Propagation In: Parallel Distributed Processing / D. E. Rumelhart, G. E. Hinton, R.J. Williams // Cambridge, MA,
MIT Press. — 1986. — vol. 1 — P. 318—362.
16. Барцев С. И. Адаптивные сети обработки информации / С. И. Барцев, В. А. Охонин. — Красноярск: Ин-т физики СО АН СССР, 1986. — 20 с. — (Препринт/ Красноярск: Ин-т физики СО АН СССР; N 59Б. ).
17. Миркес Е. М. Нейрокомпьютер. Проект стандарта / Е. М. Миркес. — Новосибирск: Наука, 1999. — 337 с. — ISBN 5-02-031409-9.
18. Крючин О. В. Реализация параллельного алгоритма подбора активационных функций искусственной нейронной сети / О. В. Крючин, А. А. Арзамасцев. — ЭФТЖ — 2011. — т.6 — С.52— 61.
19. Круглов В. В. Искусственные нейронные сети. Теория и практика /
B. В. Круглов, В. В. Борисов. — М.: Горячая линия — Телком, 2002. — 382с. — ISBN 5-93517-031-0.
20. Ясницкий Л. Н. Введение в искусственный интеллект: Учеб. пособие для студ. высш. учеб. заведений / Л. Н. Ясницкий. — Издательский центр «Академия», 2005. — 176 с. — ISBN 5-7695-1958-4.
21. Хайкин С. Нейронные сети. Полный курс / С. Хайкин — М.: Вильямс, 2006 — 1104с. — ISBN5-8459-0890-6.
22. Hopfield J.J. Neurons with graded response have collective computational properties like those of two-state neurons / J.J. Hopfield // Proceedings of the National Academy of Sciences of the USA. — 1984. — vol.81 — P. 3088—3092.
23. Kosko B. Bi-directional associative memories / B. Kosko // IEEE Transactions on Systems, Man and Cybernetics. — 1987. — vol.18 — P.49—60.
24. Горбань А.Н. Нейронные сети на персональном компьютере / А. Н. Горбань,
Д. А. Россиев. — Новосибирск: Наука, 1996 — 276 с. — ISBN 5020311960.
Адаменко В.О., Мірських Г.О. Штучні нейронні мережі в задачах реалізації матеріальних об’єктів. Частина 1. Принципи побудови та класифікація. В роботі наведено основні історичні етапи розвитку штучних нейронних ме-реж. Розглянуто математичну модель штучного нейрону та основні складові елементи нейронних мереж. Охарактеризовано типові функції активації з визначенням їх переваг та недоліків. Представлено один з можливих варіантів розв'язання задачі класифікації нейронних мереж згідно різних класифікаційних ознак. Обґрунтовано доцільність використання нейронних мереж в задачах реалізації матеріальних об ’єктів. Це в перспективі дозволить внести в розрахунковий апарат складові інтуїції та досвіду, притаманні інженеру.
Ключові слова: штучні нейронні мережі, функція активації, класифікація нейрон-них мереж.
188 Вісник Національного технічного університету України "КПІ"
Серія — Радіотехніка. Радіоапаратобудування.-2011.-№47
Огляди
Адаменко В.А., Мирских Г.А. Искусственные нейронные сети в задачах реализации материальных объектов. Часть 1. Принципы построения и классификации. В
работе приведено основные исторические этапы развития искусственных нейронных сетей. Рассмотрено математическую модель искусственного нейрона и основные составные части нейронных сетей. Охарактеризованы типичные функции активации, приведены их преимущества и недостатки. Представлен один из возможных вариантов решения задачи классификации нейронных сетей согласно разным классификационным признакам. Обоснована целесообразность использования нейронных сетей в задачах реализации материальных объектов. Это в перспективе позволит внести в расчетный аппарат составляющие интуиции и опыта, присущие инженеру.
Ключевые слова: искусственная нейронная сеть, функция активации, классификация нейронных сетей.
Adamenko V., Mirskykh G. Artificial neural networks in problems of material objects implementation. Part 1. Networking principles and Classification. The main historical development stages of artificial neural networks are presented. The mathematical model of artificial neurons and the basic elements of neural networks are considered. Typical activation functions are characterized with their advantages and disadvantages. One of possible problem solution of the neural networks classification is given according to different classification features. Expediency of neural networks using in problems of material objects implementation is substantiated. That will allow in the nearest future to bring engineering intuition and experience components in the calculations.
Keywords: artificial neural networks, activation function, neural networks classification.
Вісник Національного технічного університету України "КПІ" Серія — Радіотехніка. Радіоапаратобудування.-2011.-№47
189
