Нейромережеві методи розв'язання задачі класифікації Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 004.832 Астр. Я.В. Бренич - Схдноевропейський НУ M. Леа Укратки;

доц. П.В. Тимощук, д-р техн. наук - НУ "Львiвська полтехтка "

НЕЙРОМЕРЕЖЕВ1 МЕТОДИ РОЗВ'ЯЗАННЯ ЗАДАЧ1 КЛАСИФ1КАЦН

Виконано стислий огляд наявних нейромережевих моделей, призначених для розв'язання задачi класифжаци. Описано алгоритм та прошюстровано блок-схему класифiкатора, який функцiонуe на основi апарату штучних нейронних мереж. На прикладi багатошарового персептрона продемонстровано розв'язок задачi класифжа-ци. Описано процес тренування мережi з застосуванням рекурсивного навчального алгоритму типу "back-propagation". Проаналiзовано iстотнi переваги та недолжи нейромежевого пiдходу до розв'язання задачi класифжаци.

Ключовг слова: задача класифжаци, нейромережева модель, нейромережевий класифiкатор, багатошаровий персептрон.

Постановка проблеми. Ыдомо, що класифжащя - це формал1зована задача, математична постановка яко! мае такий вигляд: нехай задано a: X ^ Y, що е множиною опишв об'екпв, а Y - це множина номер1в (най-

менувань) клашв й юнуе деяке вщображення y* = X ^ Y , значення якого вь доме тшьки на об'ектах юнцево! навчально! виб1рки Xm = {(xj, yi),...,(xm, ym)}, необхщно побудувати алгоритм a: X ^ Y, що класиф1куе довшьний об'ект M [1].

Серед численних застосувань задач! класифжацп, можна видшити тага: класифжащя зображень; класифжащя даних; розтзнавання рукописного тексту; розтзнавання мови; медичне д1агностування; прогнозування бан-крутства; виявлення несправностей. 1снуе значна кшьюсть п1дход1в щодо розв'язання задач1 класифжацп, зокрема:

1. Байесовий класифжатор.

2. Класифжащя з використанням дерева ршень.

3. Класифжащя за допомогою нейронних мереж.

4. Статистичш класифжатори.

5. Класифжащя за допомогою генетичного алгоритму.

6. Класифжащя з використанням методу опорних вектор1в.

7. Класифжащя методом найближчого сусща.

8. 1ншг

Кожен 1з цих тдход1в мае сво! як переваги, так i обмеження. Зокрема, у традицшнш статистичнiй процедурi класифжацп, що Грунтусгься на теорп прийняття ршень Байеса, головним обмеженням е залежнють методу вiд велико: кшькосп умов та станiв, згiдно з якими ця модель функцюнуе. Щодо дерев прийняття ршень, особливо з великою кшьюстю гiлок, то вони характеризуются складнiстю для реалiзацil та розумiння, часовим витрачанням у тренувальнш фазi. Класифiкацiя методом найближчого сусща досить часто е неточною за умови надлишковосп або невщповщносп характерних ознак. Генетичний алгоритм не ефективний для знаходження оптимального значення, розрахований на вщшукання зального результату [4].

Серед перелiчених методiв можна видшити нейромережевий тдхщ до розв'язання задачi класифжацп, якого розглянуто у багатьох наукових досль дженнях [3-6]. Було створено багато нейромережево1 архиектури класифжа-

тор1в, як1 тепер широко застосовуються для розвязання задач медичного д1-агностування [3], класифшаци зображень [8], класифшаци даних [4], прогно-зування банкрутства [5] тощо. Ц технологи стають незамшними у сфер1 бгз-несу, промисловост та науки.

Розв'язання задачi класифжаци на основi нейронних мереж. Ведомо, що штучна нейронна мережа е сукуптстю з'еднаних м1ж собою нейротв (вузл1в, модул1в), що моделюють структуру й функци бюлопчних нейротв. У загальному випадку, нейронна мережа може мютити вхщний шар, на який надходять зовтшт сигнали, вихщний, що вщображае результуючу реакщю мереж на вхщт сигнали, а також приховат шари [6].

Важливою характеристикою нейронних мереж е 1х здаттсть до навчан-ня або тренування, яке полягае у визначенн таких параметр1в мереж1, при яких вона формуе необхщт вихщт сигнали. Протягом цього процесу шфор-мащя поширюеться в мереж^ спричиняючи процес адаптаци синаптичних ваг, що залежить вщ значень вихщних сигнал1в та найменувань вщповщних клас1в.

Узагальнену блок-схему нейромережевого класифшатора, що визна-чае до якого з М клас1в однозначно вщноситься деякий статичний сигнал, який належить до множини N вхщних сигнал1в, подано на рис. 1. Цей класи-фшатор характеризуеться паралельтстю подання вхщних { виведення вихщ-них сигнал1в, а також сигнал1в, отриманих внаслщок внутрштх обчислень [6]. Класифшатор функцюнуе наступним чином. На вхщ подаеться N сигна-л1в х0, х1,..., xN-1, що надходять до наступних шар1в, у нейронах яких вщбува-ються пром1жт обчислення. Отримат вихщт сигнали подаються через Мланок ¿о,¿1,...,гМ-1, де М - кшьюсть клас1в, до наступно! стадп класифша-ц11, де визначаеться та тдсилюеться сигнал з максимальним значенням. Ви-хщний шар мютить Мвиход1в у0,у1,...,уМ-1, та кожному класу вщповщае один з них. Шсля визначення максимального сигналу активуеться лише один вщповщний вихщ. Це свщчить про належтсть сигналу до коректного класу. Тод1 шформащя про нього та шш1 виходи може бути надюлана до першо! стадп класифшатора з метою адаптаци синаптичних ваг [6]. Цей процес { е тренуванням або навчанням мереж^ яке дае змогу тдвишувати точтсть кла-сифшаци вхщних даних.

Обчислення вщповщних значень синаптичних ваг

Прсишжш

Визначення 1 шдсилення сигналу з максимальним значенням

Уо

У1

! Ум-1

| обчислення Активащя виходу Адаптащя синаптичних ваг ^ одного ¡з клаа в вщповщно до коректних клаав ____________**

Рис. 1. Блок-схема нейромережевого класиф'жатора

Як можна побачити з1 схеми, подано! на рис. 1, кожному з М клас1в вщповщае один певний вихщ для однозначного розр1знення вхщних даних за класами. У найпростших класифшаторах щ виходи вже е результатом робо-

ти системи. У складтших випадках щ дат використовуються для наступних стадiй роботи системи.

Як було вщзначено, другий блок представлено! схеми визначае макси-мальний сигнал. Для цього можуть використовуватись рiзнi нейромережевi методи. Зокрема, одна з найбшьш вiдомих нейронних мереж е так звана MAXNET, що генеруеться на основi M лопчних вузлiв. Вихiднi сигнали по-переднього шару мережi, серед яких необхщно визначити максимальний, по-даються на И входи. У мережi MAXNET вихiднi сигнали стабiлiзуються шсля певного перiоду збiжностi та сигнал, що мае не нульове позитивне значення, i е максимальним [2, 6]. Як вщомо, нейроннi мереж^ якi визначають максимальний серед n невiдомих сигналiв, називаються Winner-take-all (WTA). Узагальнення такого типу мереж^ що iдентифiкуе к серед n невiдомих вхщ-них сигналiв, де 1 < к < n, е к WTA нейронна мережа [2].

Серед шших методiв визначення максимальних сигналiв видшяеться пiдхiд, що грунтуеться на основi аналогового компаратора - нейронна мережа без зворотних зв'язюв "binary tree" [6]. Вона складаеться з N -1 субмереж, що розмщуються приблизно в log2 N шарiв для визначення максимального з N вхщних сигналiв. Проте така система мае недолжи, серед яких можна ви-дiлити обмежену точшсть оброблення неточно заданих сигналiв i низьку швидкiсть збiжностi [2].

Нейромережевi моделi задач класифжащ'Т o6pa3iB. Перелiк найпоши-ренiших моделей, що використовуються для розв'язання задачi класифжаци, подано на рис. 2. Нейромережевi класифiкатори подiляються насамперед за типом вхщних сигналiв, що можуть бути бшарними або набувати неперервних значень. Наступним фактором для розрiзнення моделей е тип навчання, який вони шдтримують. Видшяють навчання з учителем i без учителя [6]. 1снують також iншi фактори, на основi яких здiйснюеться систематизацiя моделей, але тут приймаються до уваги найважливiшi показники !х функцiонування.

Нейромережев! технологи класифкацй образ1в

Двшков1 вхщш сигнали

Неиерервш вхщш сигнали

3 учителем

Без учителя

Мережа Хопфшда Мережа Хеммшга Мерою на OCHOBi адаптивного резонансу

i

Машина Больцмана

3 учителем Без учителя

Персеп-трон Багато-шаровий персеп-трон Мережа векторного квантування Самоорга-шзащйна карта Кохонена

Рис. 2. Нейромережевi методи розв'язання задачi класифшаци образiв

До нейромережевих моделей класифiкаторiв, в яких вхщш сигнали мають бшарне значення та використовуеться навчання з учителем, належить мережа Хопфшда, машина Больцмана та мережа Хамшга. В iнших мережах, як базуються на основi адаптивного резонансу, використовуеться навчання без учителя. Для оброблення неперервних сигналiв застосовуються таю мо-

делi класифiкаторiв, як мережа векторного квантування, персептрон, багато-шаровий персептрон. Самоорганiзацiйна карта Кохонена е моделлю, яка ба-зуеться на навчаннi без учителя, а вхщт сигнали е неперервними [6].

Розв'язання задачi класифнкацп за допомогою багатошарового пер-септрона. Як вщомо, багатошаровий персептрон - це клас нейронних мереж без зворотних зв'язюв, у яких нейрони розмщуються в одному або бшьшш кiлькостi шарiв. За допомогою синаптичних зв'язюв, яю е однонапрямленими, нейрони кожного шару з'еднаш з нейронами сусщшх шарiв. Кожен зв'язок мае синаптичну вагу [2]. Зазвичай перший шар прийнято називати вхщним i вш виконуе функцiю передавання шформаци до наступних шарiв, останнiй - ви-хiдним, його завданням е виведення результату. Т шари, що знаходяться мiж ними, е прихованими шарами i виконують промiжнi обчислення.

У [6] проанашзовано класифiкатор, який функщонуе на основi багатошарового персептрона i мiстить 3 шари. Модель тришарового персептрона зображено на рис. 3.

Перший прихований шар (Ихнейроюв)

Рис. 3. Модель тришарового персептрона

На вхiд подаеться вектор вхщних сигналiв хьх2,...,хП(0, де п0 - юль-

юсть сигналiв, що надходить до першого прихованого шару, на виходi якого отримуються сигнали X/. Сигнали х'у поступають на вхщ другого прихованого шару, тобто [6]:

X] = Уу [ I ЩХ-в\ у = (1,2,...,П1), (1)

^ /=о )

де: Щу1 - синаптичнi ваги; х{ - вхiдний сигнал; п0 - кiлькiсть нейронiв на входц в у - зовнiшнiй порщ у у - активацiйна функцiя. Аналопчно обчислю-ються виходи хУ другого прихованого шару:

ху =¥)II Щ'п-ву \ у =(1,2,...,П2)

та знаходять вихiднi сигнали у,- [2]:

пз-1

Уу = У/1 I Щ"их!-в \ у = (1,2,...,пз)

(2)

(3)

У матричнш формi залежнiсть вхiд-вихiд тришарового персептрона подаеться у виглядг

y = v [x] = w(3) [w(3V(2) [w(2V(1) [w«x]]], (4)

де: x = [,x2,...,xn0] - вектор вхщних сигналiв; v(1)[.] = Vj[.], v(2)[] = V/[], V(3) [ ] = vj [ ] - дiагональнi нелiнiйнi оператори з сигмо!дними активацiйними функщями; w(1) = [wji ], w(2) = [ w'ji ], w(3) = [ w} ] - матрицi взаемозв'язкiв синап-тичних ваг вiдповiдно у 1, 2 та 3 шарах; y = [[,y2,...,ущ] - вектор вихiдних сигналiв [7].

Тренування багатошарового персептрона здiйснюеться на основi рекурсивного навчального алгоритму типу "back-propagation", який також нази-вають узагальненим дельта-правилом [2]. Суть навчання полягае в адаптацп синаптичних таким чином, щоб рiзниця мiж необхiдними й отриманими ви-хщними сигналами зводилась до мiнiмуму. Алгоритм "back-propagation" мю-тить такi кроки [6]:

1. Присвоення усш синаптичним вагам певного шару Wjt малi випадковi значення.

2. Обчислення фактичних вихiдних сигналiв, використовуючи поточш значення синаптичних ваг i модель.

3. Визначення необхiдних вихщних сигналiв i локальних похибок Sj для усiх шарiв.

S(3) = (5)

S ejp du f ' l J

де u f) знаходиться аналогiчно до уj рiвнянням (3).

S(2) = 8v.;2) - S(3)w(3) (6)

Sj d} t?iWij, (6)

де u j2) = Xj з рiвняння (2).

S =dj wj>, (7)

де uj = xj з рiвняння (1).

4. Корегування синаптичних ваг за формулою

Awf =nSfx(s) s = (1,2,3). (8)

5. Перехщ до ново! моделi та повернення до кроку 2.

Навчання здiйснюеться цикшчно до досягнення похибкою заданого значення [6].

Висновки. Зроблено стислий огляд популярних нейромережевих тд-ходiв до розв'язання задачi класифжацп. Зокрема проаналiзовано моделi кла-сифжацп образiв, а одну з них - багатошаровий персептрон - представлено

детальнiше. Внаслщок проведеного aHani3y виявлено TaKi переваги нейрон-них мереж для розв'язання зaдaчi клaсифiкaцп:

1. Високий рiвень нечyтливостi до зaшyмлених вхiдних сигнaлiв [6].

2. Здaтнiсть клaсифiкyвaти сигали, що були вiдсyтнi у процем тренyвaння.

3. Незaлежнiсть вщ a^^^l оцiнки розподiлy сигнaлiв.

4. Жорстюсть до збо1в фyнкцiонyвaння елеменлв зaвдяки пaрaлельнiй aрхi-тектyрi [8].

Рaзом i3 тим, зaзнaчимо lara обмеження нейронних мереж, призтаче-них для розв'язaння зaдaч клaсифiкaцil:

1. Склaднiсть ви6ору для розв'язaння зaдaчi оптимaльного aлгоритмy тре-нyвaння [6].

2. Громiздкiсть ви6ору ощи^льно! кшькост нейронiв для моделi кгасифь кaторa [4].

3. Склaднiсть aлгоритмiв нейронних мереж для розумшня тa iнтерпретaцil. Рaзом iз тим, методи е aктyaльними для розв'язaння зaдaч y рiзних га-

лузях: економiкa, медицита тощо. Тому розширення обмежень е aктyaльною зaдaчею, розв'язaння яко! дaе змогу пiдвищyвaти ефективнiсть клaсифiкaцil.

Л1тература

1. Айвaзян С.А. Приклaднaя стaтистикa. Клaссификaция и снижение рaзмерности / С.А. Айвaзян, В.М. Бyхштaбер, И.С. Енюков, Л.Д. Мешaлкин. - М. : Изд-во "Фи^нсв! и сга-тистикa", 1989. - 607 с.

2. Тимощук П.В. Штучш нейронш мереж1 / П.В. Тимощук. - Льв1в : Вид-во НУ "Львiвськa полiтехнiкa", 2011. - 441 с.

3. Benchaib Y. Specialized Learning for Neural Classification of Cardiac Arrhythmias / Y. Benchaib, M.A. Chikh // Journal of Theoretical and Applied Information Technology. - 2009. -Vol. 6, No 1. - Pp. 92-100.

4. Han J. Data Mining: Concepts and Techniques / J. Han, M. Kamber. - Edition 2, San Francisco : Elsevier Inc., 2006. - 743 p.

5. Kadhim Al-Shayea Q. Neural Networks in Bank Insolvency Prediction / Q. Kadhim Al-Sha-yea, G.A. El-Refae, S.F. El-Itter // International Journal of Computer Science and Network Security. - 2010. - Vol. 10, No 5. - Pp. 240-245.

6. Lippman R.P. An Introduction to Computing with Neural Nets / R.P. Lippman // IEEE ASSP Magazine. - 1987. - Vol. 3. No 4. - Pp. 4-22.

7. Narendra K.S. Identification and control of dynamic systems using neural networks / K.S. Narendra, K. Pathasarthy // IEEE Trans. Neural Networks. - 1990. - Vol. 1, No 1. - Pp. 1-27.

8. Seetha M. Artificial Neural Network and Other Methods of Image Classification / M. Seet-ha, I.V. Muralikrishna, B.L. Deekshatulu // Journal of Theoretical and Applied Information Technology. - 2008. - Vol. 4, No 11. - Pp.1039-1053.

Бренич Я.В., Тимощук П.В. Нейросетевые методы решения задачи классификации

Сделaн крaткий обзор существующих нейросетевых моделей, предтазтачен-ных для решения зaдaчи клaссификaции. Описaн aлгоритм и проиллюстрировaнa блок-схемa клaссификaторa, который функционирует та основе искусственных нейронных сетей. Ha примере многослойного персептрота продемонстрировaно решение зaдaчи клaссификaции. Описaн процесс тренировки сети с использовaнием рекурсивного aлгоритмa обучения тита "back-propagation". Проведен aнaлиз существенных преимуществ и недостaтков нейросетевого подходa к решению зaдaчи клaссификaции.

Ключевые слова: зaдaчa клaссификaции, нейросетевaя модель, нейросетевой клaссификaтор, многослойный персептрон.

Brenych Ya.V., TymoshchukP.V. Neural network methods of solving of classification problem

The overview of existing neural network models which are suitable for solving classification problem is done. The algorithm and the flowchart that are based on artificial neural networks are depicted. The solution of classification problem is performed by multilayer perceptron as an example. The training process on base of recursive back-propagation algorithm is described. The main advantages and disadvantages of neural network approach for solving classification problem are analyzed.

Keywords: classification problem, neural network model, neural network classifier, multilayer perceptron.

УДК 338.27 Доц. А.М. Гзатулт, канд. екон. наук;

Mazicmp 1.Л. Клеванська - Донецький НТУ

СТОХАСТИЧНА МОДЕЛЬ ГРОШОВИХ ПОТОК1В ШДПРИЕМСТВ АВТОМОБ1ЛЕБУДУВАННЯ

Розглянуто пш^ння отримaння достсгарних стaтистичних дaних про грошовi потоки та пiдприемствaх aвтомобiльноi промисловосп, яга не мaють достaтньоi галь-косп стaтистичних дaних для проведення повноцшних стaтистичних дослщжень, з yрaхyвaнням фaкторa невизтаченостг У детермiновaнy економiко-мaтемaтичнy модель було додaно стохaстичнy компоненту, якa вiдобрaзилa вплив змши цiн нa ви-робничi ресурси: електроенергiю, сировину, пaливо, вaртiсть оплaти прaцi.

Ключовг слова: економiко-мaтемaтичнa модель, сто^стита модель, грошовi потоки, ризик, невизтачешсть, мaтемaтичне очiкyвaння.

Актуальнiсть теми дослщження. Ha сyчaсномy етaпi свого розвитку aвтомобiльнa гaлyзь Укрaiни демонструе стрiмкий спaд. Ha сьогоднi та тери-торп держaви прaцюе чотири виробники легкових aвтомобiлiв: ЗАЗ, КрАЗ, "Богдaн" тa "Eurocar". Зaвaнтaження вичизняних пiдприемств стaновить всього 22 %% номiнaльних потужностей. Hезвaжaючи нa свое випдне геогрa-фiчне стaновище, нaявнiсть ресyрсiв тa нaбaгaто бiльш низьку вaртiсть робо-чо! сили, порiвняно з крaiнaми Свросоюзу, зa дaними Мiжнaродноi оргaнiзa-цп aвтовиробникiв (OICA), y^arna посiдaе одне з осганшх мiсць y свiтi з ви-робництвa aвтомобiлiв нa душу таселення [1]. Окрiм цього, що необхщно покрaщyвaти подaтковий клiмaт ^arn^ пiдвищyвaти рiвень локaлiзaцii вгг-чизняного aвтопромy, полiпшyвaти технiчнy бaзy виробництв, тaкож вкрaй вaжливою зaлишaеться необхiднiсть полшшення якостi стaтистичних досль джень, пов'язaних з плaнyвaнням сaмого виробництвa. Але через те, що су-чaсний етaп економiчного розвитку висyвaе новi вимоги до повноти тa досто-вiрностi гaлyзевоi iнформaцii, ll основних стaтистичних покaзникiв, для ефек-тивного yпрaвлiння тa прийняття рiшень необхщний комплексний CTaraCTm-ний aнaлiз нaйвaжливiших покaзникiв, дослiдження структурних зрушень, тенденцш тa перспектив розвитку aвтомобiльноi гaлyзi.

Постановка проблеми. Для повноцiнного фyнкцiонyвaння тд-приемствa необхiднi динaмiчнi дослщження рiзних aспектiв процесу вироб-ництвa - починaючи вiд внyтрiшньоцехових погазниюв, i зaкiнчyючи ком-плексним оцтЕ^н^м прибyтковостi всього економiчного сyб'ектa. Одним з тaких мехaнiзмiв, який зaбезпечyе фiнaнсовy рiвновaгy пiдприемствa в про-