CC BY
58
2. Verma B. A new compression technique using an artificial neural network / Verma B., Blumenstein M., Kulkarni S. // Faculty of Information and Communication Technology, Griffith University / Australia. - 2004. - С. 172-178.
3. Ткаченко Р.О. Нова парадигма штучних нейронних мереж прямого поширення / Р.О. Ткаченко // Вюник Державного ушверситету '^bBiBCbra полiтехнiкам. - Сер.: Комп'ютерна ш-женерiя та шформацшт технологп. - 1999. - № 386. - С. 43-54.
4. Сергеенко В.С. Сжатие данных, речи, звука и изображений в телекоммуникационных системах / В.С. Сергеенко, В.В. Баринов. - М. : Изд. предп. "РадиоСофт". - 2009. - С. 163-173.
5. Сэломон Д. Сжатие данных, изображений и звука / Д. Сэломон // Техносфера. - М., 2004. - С. 123-128.
6. Osovski S. Sieci neuronowe dla przetwarzania informacji / S. Osovski // Oficyna wydaw-nicza Politechniki Warszawskiej. - Warszawa. - 2000. - PP. 83-92.
Полищук У.В. Компрессия звука с помощью нейросетевых моделей геометрических преобразований
Описываются особенности компрессии и декомпрессии данных (на примере звуковых сигналов, в частности, речевых сообщений) с использованием автоассоциативных нейроподобных структур геометрических преобразований для реализации процедуры выделения главных компонент и восстановление исходных данных на их основе. Подаются элементы архитектуры разработанной нейросетевой системы для компрессии данных. Рассмотрены примеры компрессии разнотипных звуковых файлов с помощью программной модели компрессии звуковой информации, разработанной на базе нейросетевых структур модели геометрических преобразований.
Polishchuk i/.KAudio compression using neurolike geometrical transformation machine structures
The features of data compression and decompression (for example, audio signals, including voice messages) using autoassociative neurolike geometrical transformation machine structures for principal component anylizing and restore the data based on them are being described. The architecture elements of the developed neural network system for data compression are being served. An examples of the polytypic audio files compression using audio compression program on the basis of neurolike geometrical transformation machine structures is concidered.
УДК378.681.952 Астр. С.1. Степанюк1 -Волинський НУм. Леа Укратки
РОЗП1ЗНАВАННЯ ОБРАЗ1В НА ОСНОВ1 АНАЛОГОВИХ НЕЙРОННИХ МЕРЕЖ ВИЗНАЧЕННЯ МАКСИМАЛЬНИХ
СИГНАЛ1В
Розглянуто деяю тдходи до розв'язання задач розтзнавання образiв на основi аналогових WTA-мереж. Зокрема, наведено мюце WTA-мереж у розтзнаванш ста-тичних зображень фшсовано!' розмiрностi, сегментацп зображень, отриманих за до-помогою магттно-резонансно!' томографа. Дослщжено переваги та обмеження таких пiдходiв, сформульовано вщкрстп питання в цш область
Ключов1 слова: штучна нейронна мережа, розтзнавання образiв, сегментащя зображень, енергетична функщя, математична модель мережi.
1. Вступ. Автоматичне розтзнавання, класифжащя, групування обра-зiв е ключовими задачами рiзних iнженерних та наукових дисциплш, таких як: бiологiя, медицина, маркетинг, комп'ютерний зiр, штучний штелект та ш-
1 Наук. кер1вник: доц. П.В. Тимощук, д-р техн. наук - НУ "Льв1вська полтгехшка"
шi. В [1] розшзнавання образiв визначаеться як процес вщнесення вiзуального чи лопчного образу до класiв, що видшяються за деякими властивостями цих образiв (об,ектiв). Наприклад, видiлення обличчя людини на зображеннi, роз-пiзнавання рукописного тексту, природно! мови, аналiз вщбитюв пальцiв, об-роблення графiчноl шформаци, отримано! супутником. Зазвичай, процес роз-пiзнавання здiйснюеться у кiлька еташв, основнi з яких наведено на рис. 1.
* Накопичення даних —> Реестращя
Попередне оброблення —*• Сегментац1я
—к Вторинне оброблення —*• Нормал1защя
Видшення ознак Класифжащя / Кластер1защя -
Рис. 1. Блок-схема системи розшзнавання образЬв
Бшьшють математичних методiв розшзнавання образiв подiляють на двi групи: дискримiнантнi [2-4] та синтаксичш або структурнi [5]. У межах першо! групи образи характеризуются наборами чисел - результатiв деяких вимiрювань, якi називаються властивостями або ознаками. У дискримшан-тному пiдходi розпiзнавання образiв, зазвичай, виконують за допомогою роз-биття простору ознак на область
Синтаксичний шдхщ до розшзнавання обр^в дае змогу класифжува-ти велику множину складних об'ек^в шляхом використання деяко! множини первинних елеменпв та граматичних правил. При цьому пiдходi образи буду-ються iз сполучених рiзними способами пiдобразiв, використовуючи спещ-альнi формальнi мови опиЫв.
Особливе мiсце в розшзнаванш належить методам, якi грунтуються на використанш штучних нейронних мереж [6-8]. Таю методи в лiтературi вщ-носять до дискримiнантних методiв або видшяють в окрему групу. Застосу-вання нейронних мереж забезпечуе таю властивост систем розпiзнавання об-разiв: нелiнiйнiсть, вiдображення вхщно! шформаци у вихщну, адаптивнiсть, контекстнiсть шформаци, паралельшсть обчислень, аналогiю з нейробюло-пею, унiверсальнiсть в предметних областях. Шдвищення ефективностi роз-пiзнавання образiв досягаеться за допомогою нейронних мереж, призначених для знаходження максимальних сигналiв з множини N невщомих сигналiв або так званих "-шппеМаке-аП" (WTA) мереж [9]. 1снують рiзнi WTA-мережi [9-14]. WTA-мережi подiляють на двi групи - конкуруючi мережi i таю, що базуються на аналогових компараторах. До першо! групи, зокрема, належать вiдомi нейроннi мережi типу Хопфшда [15]. Такi мережi не забезпечують едино! точки рiвноваги, а тому !хш вихiднi сигнали можуть приймати супе-речливi значення або ж щ мережi можуть мiстити багато обмежень на пара-метри для отримання коректних вихщних сигналiв [16, 17]. Мережi потребу-ють наявност усiх затримувальних взаемозв,язкiв, а тому з погляду схемно!
реалiзацiï вщзначаються надлишковою складнiстю. Для оброблення наступ-hoï множини сигналiв необхiдно додатковий режим вщновлення. Реалiзацiя режиму вщновлення мережi пов'язана з використанням додаткового апарат-ного забезпечення i часу для виконання процедури вiдновлення, що зменшуе швидкiсть оброблення сигналiв.
Друга група об'еднуе мережi, що грунтуються на аналогових компараторах, як, наприклад, "feed forward" нейронна мережа "binary tree" [17]. Для зменшення кшькосл вузлiв побудована мережа, використовуючи субмережi, якi розмiщенi у виглядi багатошаровоï структури, мiстить N -1 субмереж. Оскшьки мережа реашзуеться на основi компараторiв, вона мае обмежену точшсть оброблення реальних сигнашв. Швидкiсть збiжностi вихiдних сигна-лiв нейронних мереж, побудованих на компараторах високо'' точностi, е низь-кою. З iншого боку, високошвидкiснi компаратори мають невисоку роздiльну здатнiсть вхщних сигналiв [17].
У дослiдженнi стисло розглянуто основт пiдходи до розв'язання задач розпiзнавання образiв на основi аналогових WTA-мереж. Дослiджено переваги та обмеження таких пiдходiв, сформульовано вщкрш! питання у цiй областi.
2. Розтзнавання образ1в на основ1 WTA-мереж
2.1. Розтзнавання статичних зображень фжсовано*1 розмiрностi. У [18] обгрунтовано доцшьтсть використання WTA-мережi як функщонально-го блоку нейромережево'' системи розпiзнавання статичних зображень фжсо-вано'' розмiрностi. Розглянуто роль WTA-мережi у такiй систем^ зокрема пiд час проектування системи розтзнавання чотирьох рiзних зображень, кожне з яких представляе числовий символ (рис. 2), i перевiрено функщонування системи в умовах зашумлених зображень (рис. 3).
Рис. 2. Еталонш образи Рис. 3. Зашумлеш образи
yd зображення представлено у виглядi матриць розмiрностi 5 х 5 Наприклад, матриця для образу P1 мае такий вигляд:
^11 dl2 dl4 ^21 d22 ^23 d24 d25 р = dзl dз2 dзз dз4 dз5 , (1)
d4l d42 d4з d44 d45 d5l d52 d5з d54 d55
де значення dij дорiвнюе 1, якщо точка у вiдповiднiй позици зображення за-фарбована, та - 1, якщо ш. Кожна матриця конвертуеться до векторного представлення, як приклад для образу р1:
Р1 =[<^11,---, d15, d21,•••, d25, ^Ъ---, d35, d41, d45, ^Ъ---, d55] (2)
Еталоннi образи позначаються векторами Р1, Р2, Р3, Р4, зашумленi -Х1, х2, х3, х4 вщповщно-
Система розшзнавання мiстить два шари нейронно! мережi - шар по-переднього оброблення i шар WTA-мережi (рис- 4)- Шар WTA-мережi скла-даеться iз чотирьох нейронiв: у1((),у2((),у3((),у4(() - виходiв мережа
ваги |
XI
12 чотири-
\%чХ. / ~— неПронна
13 \\ТА-мережа
14 V« <М
х25#"----4-
шар попереднього оброблення Рис. 4. Нейромережева система розшзнавання образiв
Ус еталонш образи використовуються як ваги wr,s шару попереднього оброблення, як визначаються iз такого сшввщношення:
wг
р\ 2
(3)
де: г - шдекс елемента вектора зображення, 5 - номер образа- Пор^ нейронно! мережi Ь задаеться так:
и и Ь = 2-
(4)
де м - загальна кiлькiсть елементiв у векторi зображення- У шарi попереднього оброблення обчислюеться подiбнiсть зашумлених образiв Х1, Х2, Х3, Х4 до кожного з еталонних образiв за виразом
25
Ь = Ь + X ,
Г=1
(5)
де прямо пропорцшна подiбностi вхiдного образу до еталонного i е вхщ-ним сигналом для другого шару - WTA-мережi. WTA-мережа визначае найбшьш подiбний до вхiдного еталонний образ. У [18] представлено схему тако! мереж^ побудовано! на так званих одноелектронних транзисторах (рис. 5). Як можна побачити iз наведено! схеми, збуджуючi або затримуючi сигнали вщ сусiднiх нейронiв надходять на основний вхщний сигнал ¡1 i два ДOПOмiжHИX входи v-1(/) i v+1(().
Рис. 5. WTA-мережа, побудована на ocHoei так званих одноелектронних mpaH3^mopie b зовшшшми затримувальними зв'язками
В основу мережi покладено математичну модель, що описуеться ди-ференцшним рiвнянням виду [19]:
С^- = -Gvi + It¿(v.Vj), i = 1,2,...,N, (6)
Ul i ф j
де G = 1/R - провiднiсть резистора.
= (7)
Kvj2,vj > Q,vi>vj — VT ß, ¡накше,
де: VT - напруга джерела живлення, K - фiзичний параметер, який визна-чаеться поверхнею провiдника. Подаються необхщт умови iснування точок рiвноваги сташв моделi. Результати моделювання показали, що WTA-шар мережi однозначно iдентифiкуе кожен iз вхiдних образiв, що дае змогу вико-ристовувати запропоновану вище схему (рис. 5) як макроблоки у VLSI-схе-мах. Схема вщзначаеться незначними затратами енерги i простотою апарат-но'' реалiзацiï, що дае можливють ïï застосування у разi розроблення нанопро-цесорiв [20, 21]. Мережа передбачае обмеження на вхщш сигнали. Ця WTA-мережа характерна тим, що шд час оброблення кожного наступного набору сигнашв потребуе вщновлення до початкового стану, а це вимагае додатково-го апаратного забезпечення.
2.2. Сегментащя зображень, отриманих за допомогою магштно-ре-зонансно1 томографы. Як вiдомо, магштно-резонансна томографiя - це то-мографiчний метод дослiдження внутрiшнiх органiв i тканин з використан-ням фiзичних властивостей ядерного магнiтного резонансу. Метод грун-туеться на вимiрюваннi електромагштного вiдгуку ядер атомiв кисню на збу-дження !х певною комбшащею електромагнiтних хвиль у постiйному магшт-ному полi високо! напруги. Магштно-резонансна томографiя дае змогу отри-мувати багатоконтрастш зображення (рис. 6) для автоматично! сегментацй i класифiкацi! дшянок внутрiшнiх тканин людини. Цi зображення можна аналь зувати методами, що грунтуються на критерi! визначення таких властивостей, як насичешсть зображення або структура.
Рис. 6. Зображення головного мозку, отримаш за допомогою магштно-резонансно'1 томографы
У [21] представлено схему сегментацй магшгно-резонансних зображень, функщонування яко! базуеться на мiнiмiзацi! енергетично! функцй, що задаеться так:
N N N
Е = ЪЪТыУкУ1 -^1кУк, к=11=1 к=1
(8)
де N - кшьюсть нейрошв, Ук - вихщ к -го нейрона, 1к - елемент змщення, Ты - вага зв'язку мiж вiдповiдними нейронами. Таким чином пропонуеться вико-ристання сегментованих дшянок зображення у системах автоматичного вста-новлення паталогш внутршшх органiв людини. Використовуючи нейронну мережу Хопфшда [7], проводиться мiнiмiзацiя енергетично! функцп (8), що досягаеться внаслщок розв'язання тако! системи рiвнянь:
ди{ дЕ
31
д¥г
(9)
де и - вхщ I -го нейрона.
Задача сегментацй полягае у видшенш N пiкселiв, кожен з яких задаеться Р -вимiрним вектором, та вiднесеннi !х до одного з М класiв таким чином, щоб була мiнiмiзована енергетична функщя (8). Вiдстань мiж к -м шкселем та класом I обчислюють за спiввiдношенням:
Rkl =
Xk - Xl
Al-1, (10)
де: Xk - P -вимiрний вектор ознак k -го шкселя, Al - позитивно визначена матриця ваг розмiрностi P х P, Xl - P -вимiрний вектор ознак пiкселя, що знаходиться в ^rnpi класу l, ||x||a = XTAX. Тодi енергетична функцiя набу-вае вигляду:
1 N N
E=2 TTRkVÏ (11)
2 k=11=1
Динамжа сташв нейронноï мережi задаеться за допомогою такоï системи рiвнянь:
dUkl
dt
■-RklVkl (12)
де Uki i Vki - вхщ i вихщ k -го нейрона вiдповiдно, k = 1,...,N. На основi такоï мережi, в [21] будуеться мережа розмiрностi N х M. Збiжнiсть ïï сташв дося-гаеться в разi виконання умови
dU « 0. (13)
dt v 7
Часова складшсть звичайного K - means алгоритму для розв'язання описаноï задачi становить O(NMP), при цьому складнiсть даного нейромере-жевого алгоритму - O(P + log NM), що значно покращуе швидкiсть функщ-онування таких систем сегментаци. Робота алгоритму перевiрялася на робас-тнiсть на однопроцесорнш машинi i було зроблено висновок, що його пара-лельна реалiзацiя в аналоговiй базi на основi WTA-мережi при розв,язаннi поставленоï задачi е достатньо ефективною.
Оскшьки енергетична функцiя (8) мiстить локальш мiнiмуми через складнiсть поверхнi, на якш вона визначена, то розв'язок даноï задачi неод-нозначний. У [21] показано, що стани використовуваноï WTA-мережi е збiж-ними, однак питання скшченнос^ часу збiжностi не розглядаеться. Для га-рантування локальноï збiжностi станiв мережi значення коефщенпв пiдси-лення активацiйних функцiй мережi повиннi прямувати до безмежностi. Ос-танне ускладнюе схемотехнiчну реалiзацiю в аналоговш елементнiй базi.
Висновки. Отже, ми розглянули суть задачi розтзнавання образiв i кiлька з наявних методiв ïï розв'язання. Зокрема, коротко описали деяю мето-ди розтзнавання образiв, якi грунтуються на використанш нейронних мереж визначення найбiльших сигналiв. Наведено основнi переваги i обмеження таких методiв. Розглянуто розв'язання задачi розпiзнавання статичних зображень фiксованоï розмiрностi за допомогою WTA-мереж^ яка дае змогу отри-мати однозначний розв'язок задач^ вiдзначаеться незначними затратами енерги i простотою апаратноï реалiзащï\ Однак, пiд час оброблення кожного наступного набору сигналiв мережа потребуе вiдновлення до початкового стану, що потребуе додаткових затрат часу i апаратного забезпечення. Мережа передбачае обмеження на вхщш сигнали.
Стисло описано отримання розв'язку задачi сегментацй магшгно-резо-нансних зображень на основi нейрошв, що визначають максимальнi значення деяко! енергетично! функцii. Застосування нейронно! мережi визначення мак-симальних сигналiв для розв'язання тако! задачi дае змогу шдвищити швид-кiсть функцiонування таких систем сегментацй, зокрема за допомогою пара-лельно! реалiзацii WTA-мережi в аналоговш елементнiй базi. Залишаються невиршеними питання неоднозначностi станiв мережi, часу !х збiжностi до встановлених режимiв i адекватно! схемотехнiчноi реалiзацii мережь
На основi розглянутих пiдходiв до розв'язань задач розпiзнавання ста-тичних зображень фжсовано! розмiрностi i сегментацй магштно-резонансних зображень з допомогою WTA-мереж, можна зробити висновок, що наявш пiдходи передбачають необхiднiсть вiдновлення сташв мережi, що потребуе додаткових апаратного забезпечення та затрат часу на таке вщновлення. Од-нозначнiсть розв'язання тако! задачi не гарантуеться.
Лггература
1. Neural network systems, techniques and applications in pattern recognition : Research reports B1 / Laboratory of computational engineering Helsinki university of technology; J. Lampinen, J. Laaksonen. - Helsinki, 1997. - 61 p.
2. Andrew H.C. Introduction to Mathematical techniques in pattern recognition / H.C. Andrew. - New-York : Wiley, 1972. - 256 p.
3. Chen C.H. Statistical pattern recognition / C.H. Chen. - Washington : Hayden, 1973.
4. Patrick E.A. Fundamentals of pattern recognition / E.A. Patrick. - New Jersey: Prentice-Hall Engle-wood Cliffs, 1972. - 246 p.
5. Fu K.S. On syntactic pattern recognition / K.S. Fu, P.H. Swain. - New-York : Academic Press, 1971.
6. Haykin S. Neural networks: A comprehensive foundation / S. Haykin. - New-York : Mac-millan, 1999. - 823 p. - ISBN 81-7808-300-0.
7. Grossberg S. Adaptive pattern recognition and universal recoding I: parallel development and recoding of neural detectors / S. Grossberg // Biological Cybernetics. - 1976. - Vol. 23. - Р. 121-134.
8. Kohonen T. Self-organized formation of topologically correct feature maps / T. Kohonen // Biological Cybernetics. - 1982. - Vol. 43. - Р. 59-69.
9. Feldman J.A. Connectionist models and their properties / J. A. Feldman, D.H. Ballard // Cognitive Science. - 1982. - Vol. 6. - Р. 205-254.
10. Suter B.W. On a magnitude preserving iterative maxnet algorithm / B.W. Suter, M. Kab-risky // Neural Computation. - 1992. - Vol. 4. - Р. 224-233.
11. Kwan H.K. One-layer feedforward neural network for fast maximum/minimum determination / H.K. Kwan // Electronics Letters. - 1992. - Vol. 28. - Р. 1583-1585.
12. Wang J. Analogue winner-take-all neural networks for determining maximum and minimum signals / J. Wang // Int. J. Electronics. - 1994. - Vol. 77, № 3. - Р. 355-367.
13. Kaski S. Winner-take-all networks for physiological models of competitive learning / S. Kaski, T. Kohonen // Neural Networks. - 1994. - Vol. 7, № 6. - Р. 973-984.
14. Тимощук П.В. Основи теорп проектування нейронних мереж : навч. поабн. / П.В. Тимощук, М.В. Лобур. - Львiв : Вид-во НУ "Львiвська полггехшка", 2007. - 328 с. -ISBN 978-966-553-627-7.
15. Hopfield J.J. Neurons with graded response have collective computational properties like those of two-state neurons / J.J. Hopfield // Proc. Natl. Acad. Sci. - 1984. - Vol. 81. - Р. 3088-3092.
16. Vanderplaats G.N. Numerical optimization techniques for engineering design / G.N. Van-derplaats. - New-York : McGraw-Hill, 1984.
17. A comparison of Hamming and Hopfield neural nets for pattern classification : Technical report TR-769 / Massachusetts ints of tech Lexington Lincoln laboratory; R.P. Lippmann, B. Gold, M L. Malpass. - 1987. - Р. 41. - ADA182255.
18. Guimaraes J.G. Single-electron winner-take-all network / J.G. Guimaraes, H. C. do Car-mo, J. C. da Costa // Microelectronics Journal. - 2004. - Vol. 35. - Р. 173-178.
19. Fang Y. Dynamics of a winner-take-all neural network / Y. Fang, M.A. Cohen, T.G. Kin-caid // Neural Networks. - 1996. - Vol. 9. - Р. 1141-1154.
20. Costa da J.C. Considerations about nanoelectronic GSI processors / J. C. da Costa, J. Ho-ekstra, M.J. Goossens, C. J.M. Verhoeven // Analog integrated circuits and signal processing. - 2000. - Vol. 24. - No. 1. - Р. 59-71.
21. Hoekstra J. The application of neural networks for nanoelectronic circuits / J. Hoekstra, J. C. da Costa, M.J. Goossens, C. J.M. Verhoeven, A. H.M. Van Roermund // Proceedings of the international conference on neural networks and their applications. - 1998. - Р. 27-30.
22. Amartur S.C. Optimization neural networks for the segmentation of magnetic resonance images / S.C. Amartur, D. Piraino, Y. Takefuji // IEEE Transactions on medical imaging. - 1992. -Vol. 11, № 2. - Р. 215-220.
Степанюк С.И. Распознавание образов на основе аналоговых нейронных сетей определения максимальных сигналов
Рассмотрены некоторые подходы к решению задач распознавания образов на основе аналоговых WTA-мереж. В частности, приведено место WTA-мереж в распознавании статических изображений фиксированной размерности, сегментации изображений, полученных с помощью магнитно резонансной томографии. Исследовано преимущества и ограничения таких подходов, сформулированы открытые вопросы в этой области.
Ключевые слова: искусственная нейронная сеть, распознавание образов, сегментация изображений, энергетическая функция, математическая модель сети.
Stepanyuk S.I. Pattern recognition by analog neural networks of determining maximum signals
Some existing approaches of solving pattern recognition problems by analog winner-take-all networks are briefly considered in the paper. Particularly, a place of WTA-net-works in recognition of fixed-dimensional static images and segmenting images obtained by magnetic resonance tomography is given. There are investigated advantages and limitations of such approaches. Open questions in this field are formulated.
Keywords: artificial neural network, pattern recognition, image segmentation, energy function, mathematic model. _
УДК 004.330.322 Здобувач М.П. Тимощук - Одеський НТУ;
доц. П.В. Тимощук, д-р техн. наук - НУ "Львiвська nолiтехнiка"
1НФОРМАЩЙШ СИСТЕМИ I ТЕХНОЛОГИ В 1ННОВАЦ1ЙНОМУ РОЗВИТКУ П1ДПРИСМСТВ
Проаналiзовано причини необхщносп розроблення шформацшного забезпе-чення шновацшно! дiяльностi. Розглянуто деяю особливосп такого шформацшного забезпечення. Наведено показники, яю можна використовувати для розрахунку ефективносп науково-шформацшно! дiяльностi. Формулюються актуальш напрямки дослщжень в област шформацшних технологий шновацшно! д!яльносп.
Ключов1 слова: шформацшна технолопя, шновацшна дiяльнiсть, система тд-тримки, коефщент ефективносп, умовний економiчний ефект.
Вступ. В шновацшному розвитку шдприемств актуальною проблемою е створення штегрованих систем шформацшного забезпечення, необхщ-них для шдтримки перетворення нових корисних щей у новi вдосконалеш продукти (послуги, технологи). Вагомий внесок у дослщження проблем шновацшно! дiяльностi та !! шформацшного забезпечення зробили таю вчеш як Ю. Бажал, В. Геець, Н. Гончарова, А. Пригожин, Б. Твюс, Й. Шумпетер та ш-шь Однак, стан шформацшного забезпечення шновацшно! дiяльностi вггчиз-няних шдприемств залишаеться на недостатньо високому рiвнi.
