CC BY
14
Из рис.4а видно, что по сравнению с цифровым алгоритмом определения границ, нейросетевой увеличивает уровень зашумленности всего на 3-5%.
При этом толщина контурных линий также увеличивается (до 100%).
На рис.46 представлены результаты обработки исходной полутоновой матрицы нейронной сетью с сигмо-идальной активационной функцией передачи, показанной на рис.2.
Сравнивая исходную полутоновую матрицу (рис.3а) с полученной нелинейной нейронной сетью (рис.46), можно сделать вывод о том, что в данном случае имеет место уменьшение общего уровня зашумленности изображения (на 5-10%), искажений в толщине контурных линий не происходит. Это объясняется нелинейным характером нейронных активационных функций.
Таким образом, решение задачи определения границ объектов на изображениях с использованием нелинейной нейронной сети является наиболее предпочтительным по сравнению с линейной сетью и цифровой обработкой.
ЗАКЛЮЧЕНИЕ
Представленные в работе результаты моделирования алгоритма выделения границ объектов на изображениях в присутствии шумов свидетельствуют об обоснованности применения нейросетевого подхода к подобным задачам и принципиальной возможности замены традиционных алгоритмов обработки существенно более качественными -
нейросетевыми. Нейронная сеть для оптимального решения задачи выделения границ является достаточно простой, имеет один слой нейронов, у нее отсутствуют алгоритмы обучения и настройки весовых коэффициентов. Однако даже такая нейронная сеть обеспечивает намного более качественное решение задачи выделения границ объектов с уменьшением уровня шумов.
ПЕРЕЧЕНЬ ССЫЛОК
1. Кревецкий A.B. Распознавание трехмерных объектов по форме пространственных контуров // Автометрия. -2001. №2. -C.21-30.
2. Злобин В.К., Еремеев B.B., Васильев B.M. Стохастическая модель спутниковых изображений и ее использование для сегментации природных объектов // Автометрия. -2001. №2. -C.41-50.
3. Бобков В.А., Казанский A.B., Морозов M.A. Выделение размытых контуров на примере определения скорости течений по спутниковым изображениям // Автометрия. -2001. №2.- С.3-12.
4. Попело B.Ä., Сирота A.A., Маслов O.B. Сравнительный анализ оптимального и нейросетевых алгоритмов определения границ раздела случайных полей при обработке изображений // Радиотехника (журнал в журнале). 2001. №10. -С. 81-85.
5. Уоссермен Ф. Нейрокомпьютерная техника: Теория и практика /Пер. с англ. Зуев ЮА, Точенов B.A. - М.: Мир, -1992. - 178 с.
6. Горбань A.H., Дунин-Барковский B.A., Миркес Е.М. и др. Нейроинформатика. - Новосибирск: Наука, 1998. - 224 с.
7. Бакут n.A., Колмогоров Г.С., Bорновицкий И.Э. Сегментация изображений: методы пороговой обработки // Зарубежная радиоэлектроника. 1987. №10. -С.6-24.
8. Бакут n.A., Колмогоров Г.С. Сегментация изображений: методы выделения границ областей // Зарубежная радиоэлектроника. -1987. № 10. -С.25-47.
УДК 007.52
АЛГОРИТМИ КЛАСТЕР-РЕГРЕС1ЙН01АПРОКСИМАЦИ ТА IX НЕЙРОМЕРЕЖЕВ! ШТЕРПРЕТАЦИ
С.О.Субботш
Запропоновано алгоритми, яш дозволяють будувати моде-ëi кглькгсних залежностей за точковими даними, що врахо-вують топологiчнi та статистичш властивостi даних. Розроблено нейромережевi ттерпретацп запропонованих алгоритмiв.
Предложены алгоритмы, позволяющие строить модели количественных зависимостей по точечным данным, учитывающие топологические и статистические свойства данных. Разработаны нейросетевые интерпретации предложенных алгоритмов.
The algorithms for construction of models of quantitative relations on a dot data are proposed. They includes topology and statistic properties of a data. The neural network interpretations of proposed algorithms are developed.
ВСТУП
Нехай задана навчальна виб1рка екземпляр1в x = {xs} , де xs - значення j -oï ознаки s -го
екземпляру, s = 1,2,...,S; S - кшьюсть екземпляр1в у навчальнш виб1рщ. Кожному екземпляру навчально! виб1рки ствставлене значення прогнозованого параметру
ys . Тод1 залежшсть y в1д x можна записати у вигляд1: У = f(w , x) + Err, де f( w, x) - деяка функщя, вид яко! задаеться алгоритмом апроксимаци або користувачем, w -множина параметр1в, що дозволяють налагодити (навчити) функщю на виршення певно! апроксимацшно! задач1, Err - деяка помилка, що виникае завдяки неповно! в1дпов1дност1 виду апроксимуючо! функцп виду реально 1снуючо! залежност1 та похибкам у визначенн1 значень параметр1в апроксимуючо! функцИ'.
Для знаходження параметр1в апроксимуючо! функцГ! можна використовувати засоби регресшного анал1зу [1]. При використанш одновим1рних л1н1йних регрес1йних моделей для апроксимаци багатовим1рних нел1н1йних залежностей, як правило, не вдаеться забезпечити бажану
С.О.Субботт: АЛГОРИТМИ КЛАСТЕР-РЕГРЕС1ЙН01 АПРОКСИМАЦ11 ТА IX НЕЙРОМЕРЕЖЕВ1 1НТЕРПРЕТАЦП
точн1сть прогнозування, але параметри апроксимуючга функц1! розраховуються за один прох1д у не1теративному режим1. 3 1ншого боку, у певних областях у простор1 ознак значення прогнозованого параметру може визначатися в основному якоюсь одшею ознакою, що е найб1льш сильно корельованою з прогнозованим параметром у ц1й область
Тому, узагальнюючи сказане вище, можна заключити, що кусочно-л1н1йна регрес1я, яка представляе собою систему л1н1йних одновим1рних регрес1йних моделей, побудованих для кожно! област1 окремо за наб1льш 1нформативною для дано! област1 ознакою, може забезпечити кращу апроксимац1ю та б1льшу точн1сть, н1ж л1н1йна регрес1йна модель для яко!сь одн1е! ознаки на ус1й навчальн1й виб1рц1. Побудова кусочно-регрес1йно! модел1 вимагае вид1лення областей компактно згрупованих екземпляр1в у простор1 ознак з близькими значеннями прогнозованого параметру - кластер1в.
1 АЛГОРИТМ КЛАСТЕР-РЕГРЕС1ЙН01
АПРОКСИМАЦ11
Алгоритм побудови кластер-регрес1йно! апроксимац1! запишемо у наступному вид1.
Крок 1. 1н1ц1ал1зац1я: задати навчальну виб1рку екземпляр1в х та наб1р ствставлених !м значень
прогнозованого параметру у .
Крок 2. На основ1 екземпляр1в навчально! виб1рки сформувати кластери С1, ч = 1,2,...,Q , де Q - к1ль-к1сть сформованих кластер 1в. Для вид1лення кластер1в пропонуеться використовувати описаний нижче алгоритм формування кластер1в.
Крок 3. Розд1лити екземпляри навчально! виб1рки на групи, що в1дпов1дають кожному кластеру за м1н1мумом в1дстан1 в1д екземпляру до центру кластера у простор1 ознак.
Крок 4. Для екземпляр1в кожно! групи знайти значення коеф1ц1ент1в кореляц1! !хн1х ознак та значень прогнозованого параметру:
£
г1( х]-,у) =
Г
* = 1
£
х* - — Г х
1 £Ч I ,
Я = 1
— Г у
£Ч I
^ = 1
£
N
с5 еС1,
Г
л = 1
х* - — Г х
1 £Ч \ 1
3 = 1
£
ул -1 Г у
С £1 \
* = 1
Крок 6. Для кожно! групи екземпляр1в оц1нити значення параметр1в р1вняння л1н1йно! регрес1! для прогнозованого параметру за ознакою gq .
Якщо р1вняння л1н1йно! регресГ! прогнозованого параметру за ознакою для екземпляр1в ч -го кластеру мае
вид: Уч = Ь^0 + ¿ч 1 , тод1 значення коеф1ц1ент1в Ъ^ та
¿Ч1 можуть бути знайден1 за допомогою формул [2]:
V =
Ьч 1 =
1 Ч Ч а: - аАа
11 1 а 4 а 2 - а 3 а
1 Ч Ч а; - аАа
Ч ■ Ч Ч 1
1- / а 4 - а 3 а 3
1 = 1 Г У** >х' е СЧ,
л = 1
аЧ = — Г ул,х* еСЧ, 2 БЧ *
л = 1
£
аЧ = — Г х* ,х* е С1, 3 £1 I gq
* = 1
£
а 1 = - Г (х\)2,х* е С1 .
4 £Ч I ё1
л = 1
1 = 1,2,...,^, де N - к1льк1сть ознак, £Ч - к1льк1сть екземпляр1в, що в1дносяться до Ч -го кластеру.
Крок 5. Для кожно! групи екземпляр1в знайти номер ознаки, модуль коеф1ц1енту кореляци котрого з прогнозованим параметром е найб1льшим:
gq = а^шах| гЧ (х, у )|, ч = 1,2,...,Q; 1 = 1,2,...,N.
Алгоритм розрахунку значення прогнозованого параметру на основ1 кластер-регрес1йно! апроксимац1! запишемо у наступному вигляд1.
Крок 1. 1н1щал1зац1я: Задати виб1рку екземпляр1в, для котрих здшснюеться прогнозування х = {х*} . Задати
к1льк1сть кластер1в Q та координати !хн1х центр1в
С = {С} . Для кожного кластеру задати номер ознаки
gq та значення параметр1в р1вняння регрес1! ¿40 та ¿ч 1 .
Крок 2. Для кожного екземпляру визначити в1дстан1 в1д екземпляру до центр1в ус1х кластер1в
К(хСР), * = 1,...,£; р = 1 ,...1,0 .
Крок 3. Для кожного екземпляру знайти:
1 = а^ штК(хСР), * = 1,...,£; р = 1,...,Q .
Р
Крок 4. Значення прогнозованого параметру для кожного * -го екземпляру визначити за формулою:
у* = у'Ч = ЬЧ 0 + ЬЧ1, * = 1,...,£.
£
2 АЛГОРИТМ ФОРМУВАННЯ КЛАСТЕР1В
Для формування кластер1в (компактних областей групування екземпляр1в у простор1 ознак) пропонуеться використовувати наступний алгоритм [3].
Крок 1. 1шщал1защя параметр1в алгоритму побудови навчально!' виб1рки. Задати вихщну виб1рку екземпляр1в хвих та сшвставлеш !м номери клаав або значення
прогнозованого параметру увих , а також Ь - юльюсть
разбитпв вихщно!' виб1рки. Занести у змшну N кшьюсть ознак, що характеризують екземпляри, а у змшну £ -юльюсть екземпляр1в вихщно!' виб1рки. Прийняти ширину допустимого штервалу вар1аци прогнозованого параметру:
¿у = |тах(увих) - т1п(Увих) /Ь ,
де тт(а) та тах(а) - мш1мальне та максимальне значення вектору а, вщповщно. Установити л1чильник пе-^^ = 1 .
Крок 2. Обчислити вщсташ м1ж екземплярами вихщно! виб1рки:
R (p, q) =
(xP -xf) ,p Ф q;
j = 1
RealMax, p = q,
s = 1,...,S; p = 1,...,Q,
де RealMax - максимально число, що може бути представлене у EOM , xp - значення j -о! ознаки p -го екземпляру.
Крок 3. Знайти у матрищ в1дстаней R м1н1мальний елемент minx та його шдекси q та p , а також максимальний елемент maxx, за умови, що при знаходженш мШмуму й максимуму тут i далi iгноруються елементи, якi дорiвнюють RealMax .
Крок 4. Прийняти a = |maxx - minx| /(2L). Крок 5. Якщо minx < RealMax , тодi перейти на крок 6, у противному випадку - перейти на крок 13. Крок 6. Прийняти:
С(newrnd) = xвих(q) ^y*(newind) = Увих(q) ,
де C та у* - масиви еталонних екземплярiв кластерiв та ствставлених ним прогнозованих значень, вщповщно. Установити: newind = newind + 1 , значення текучого мШмального елементу у рядку yteck=R(q, p) . Зайти мШмальний елемент mminx та його шдекси mqmin та mpmin серед елементiв q -го рядку матрищ R .
Крок 7. Якщо mminx<Realmax , тодi перейти на крок 8, у протилежному випадку - перейти на крок 11.
Крок 8. Установити значення покажчика видаленого екземпляру iз стовпця deleted = 0 (у матрищ R нуме-ращя рядюв та стовпщв повинна начинатися з 1).
Крок 9. Якщо |yteck=R(q, mpmin)| < a , тодi перейти на крок 10, шакше прийняти: deleted = mpmin, R (q,mpmin)=Realmax, R( mpmin,q )=Realmax , та перейти на крок 11.
Крок 10. Якщо увих(mpmin) -увих(q) < dy | тодi прийняти:
R(v, mpmin) = realmax , R(mpmin, v) = realmax v = 1 ,...,M, у противному випадку - прийняти:
C(newind) = xвих(mpmin), У*(newind) = увих(mpmin), newind = newind + 1 , R (v, mpmin) = Realmax, R( mpmin, v) = Realmax, v = 1,..., S.
Крок 11. Знайти мШмальний елемент mminx та його шдекси mqmin та mpmin серед елеменпв q -го рядку матрищ R .
Крок 12. Перейти на крок 7.
Крок 13. Прийняти: R(v, q) = Realmax, R( q, v) = Realmax, v = 1,...,S, покажчик видаленого екземпляру iз рядку dstr = q . Знайти у матрищ вщстаней R мШмальний елемент minx та його шдекси q та p .
Крок 14. Перейти на крок 5.
Крок 15. Якщо (deleted Ф dstr) та (deleted > 0), тодi прийняти:
C(newind) = x^(deleted),у*(deleted) = увих(deleted).
Крок 16. Зупинення.
У результат виконання цього алгоритму для вихщно! вибiрки xвих та спiвставленого !й набору значень увих . ми отримаемо множину еталонних екземплярiв кожного кластеру C та ствставлений ним наб1р значень у* . Шсля цього необхiдно здiйснити роздiлення на кластери для вах екземплярiв вихщно! вибiрки за M мiнiмумом близькосп до еталонних екземпляр1в кластеру, а попм для кожного кластеру прийняти координати центру кластеру рiвними:
С.О. Субботт: АЛГОРИТМИ КЛАСТЕР-РЕГРЕС1ЙН01 АПРОКСИМАЦП ТА IX НЕЙР0МЕРЕЖЕВ1 1НТЕРПРЕТАЦП
1£
С1 = — Г х*,х* еС1, а = 1,...,Q; 1 = 1,...,N;
1 сад I 1 ' -1
£1
* = 1
де £Ч - к1льк1сть екземпляр1в вих1дно! виб1рки, що належать до ч -го кластеру, Q - к1льк1сть сформованих кластер1в.
П1сля формування кластер1в алгоритм кластер-регре-с1йно! апроксимац1! можна використовувати для синтезу та налагоджування вагових коеф1ц1ент1в п'ятишарово! НМ.
3 НЕЙРОМЕРЕЖЕВА 1НТЕРПРЕТАЦ1Я АЛГОРИТМУ 0ДН0ВИМ1РН01Л1Н1ЙН01 КЛАСТЕР-РЕГРЕ С1ЙН01АПР0КСИМАЦ11
Якщо сформовано Q кластер1в, тод1 дискрим1нантн1 функц1! нейрон1в мереж1 будуть задаватися формулами:
N
^'^(х^) = С wjxj + М>0,1 = 1,2,...,Q ;
1 = 1
N
ф(Щх^) = [ х - wJ)2,1 = Q+1,Q+2,...,2Q ;
1 = 1
2
^'^(х^) = С wJxJ + w0,1 = 1,2,...,Q2 ;
1 = 1 Q
ф(3'г')(X'W) = С wJxJ + w0,i = 1,2,...,Q ;
1 = 1
2
ф(4'0(х^) = П wJxJ, i = 1,2,..., Q ;
1 = 1
ф(5'i)(X'W) = ^ w■x■ + Wo,i = 1 ;
1 = 1
де ф- дискримшантна функц1я i -го нейрону | -го 0ару.
Функц1! активац1! нейрон1в будуть визначатися виразами:
у(т)(а) =
0, а< 0,
т = 2, 3;
1, а> 0;
у(т)(а) = а,т = 1,4,5 .
Схема НМ, синтезовано! та навчено! на основ1 запропонованого алгоритму, зображена на рис. 1. Ваговий коеф1ц1ент ] -го входу i -го нейрону | -го шару мереж1 буде розраховуватися за формулою:
w (Ii)=
0, | = 1,т = 1,т = 1 - Q, 1,т = 0, | = 1,т = - 1,т
Ьч 0>т Ьч 1>| 0, | =
5, i = 1,] = 0; 5, i = 1,1 > 0; 4, V/', ] = 0; | = 3, i = 1,1 = 0; 3, i = 1,1 = 0; 2,"^ ] = 0; 2, Vi,} = 2; = 2, Vi,] = 1;
= 1, i = q,} = gq, Ч = ^
., Q; , Q;
= 1, i = ч, 1 = 0, Ч = 1, 1, i = Ч, 0 > 1 Фgq, Ч = 1,...,Q;
= 1, i = Q +1, Q + 2,...,20,] = 1,
..., N.
Рисунок 1 - Схема НМ, синтезованог на основ1 алгоритму кластер-регресшног апроксимацИ (випадок лтшног
одновим1рног регреси)
2
Розглянутий алгоритм дозволяе досягнути суттево б!льшо! точност!, н!ж метод л!н!йно! одновим!рно! регрес!!, проте в!н мае таку ж простоту та ефективн!сть обчислювальних процедур.
НМ, що отримуеться у результат! синтезу й навчання на основ! розглянутого алгоритму, е лог!чно прозорою та легко перетворюеться у дерево р!шаючих правил "Якщо -то", що дозволяе використовувати !"! для видобування знань з даних. Точн!сть класиф!кац!! та швидк!сть навча-ння НМ, сформовано! на основ! запропонованого алгоритму, е достатн!ми для багатьох прикладних задач д!аг-ностики та прогнозування.
4 АЛГОРИТМ БАГАТОВИМ1РНО1Л1Н1ЙНО1
КЛАСТЕР-РЕГРЕС1ЙНО1АПРОКСИМАЦИ'
У випадку, коли запропонований алгоритм однови-м!рно! л!н!йно! кластер-регрес!йно! апроксимац!! не дозво-ляе отримати модель залежност! прогнозованого параметру в!д набору ознак !з заданою точн!стю, тод! кроки 5 та 6 алгоритму побудови кластер-регрес!йно! апроксимац!! можна зам!нити на наступн!.
Крок 5. Для кожного q -го кластеру ус! ознаки
екземпляр!в, для яких |г(х^, у)| < P , де P - заданий порог, 0 < Р < 1 , вилучити !з набору ознак екземпляр!в, що належать до q -го кластеру.
Крок 6. Для кожного q -го кластеру оц!нити параметри багатовим!рно! л!н!йно! регрес!! прогнозованого параметру:
у8 = [ Ь^х8, х? е СЧ ,
] = 1
Ь = (хТ,х)-1 хТу ,
де тч - к!льк!сть ознак екземпляр!в q -го кластеру, для ч
яких | Г(Ху,у)| < Р .
Розглянемо багатовим1рний випадок л1н1йно! регрес1й-
но! модел1 [4].
Нехай х =
Хр 1 хр2 ••• хрт_
спостер1гаються, т )Т _
констант та вектор член1в помилки (залишк1в), в1дпов1дно.
Оц1нкою найменших квадрат1в е такий вектор пара-метр1в Ь , що м1н1м1зуе суму квадрат1в регрес1йних зали-шк1в Е :
Е = иТи = (у - хЬ)Т(у - хЬ) .
Виходячи з умови м1н1м1зац1! суми квадрат1в регре-с1йних залишк1в:
дЬ,
= 0 ,
матриця р значень, що
зм1нних х1, х2, хт,
вектор значень пояснювально!
у = (Ур у2' ур)
зм1нно!, що спостер1гаються, де Т - символ транспонува-ння, тод1 загальна л1н1йна регрес1йна модель може бути представлена в стандартному вигляд1 так:
т
= ^ ЬjXjj + ы,1 = 1,2,..., або у = хЬ + и ,
] = 1
де Ь = (Ь1, Ь2, ..., Ьт)Т та и = (и^, и2, ..., ир)Т - вектор
де I = 1,2,...,т, одержуемо систему нормальних р1внянь:
дЕ = -2 (хТу - хТхЬ) = 0, дЬ
зв1дки Ь = (хТх) 1 хТу , де (хТх) 1 - матриця, зворотна
матриц1 хТх , що за припущенням 1снуе.
Для знаходження зворотно! матриц1 рекомендуеться використовувати узагальнений метод виключення з вибором ведучого елемента матриц1, заснований на використанн! 1теративно! формули Бен-1зраеля [4].
Узагальненою зворотною матрицею А + для дов1льно!
матриц1 А розм1ру (т X п) називаеться матриця, що задовольняе наступним умовам:
АА+А = А ,
А +АА + А + ,
АА+ = (АА+)Т,
А + А = (А+А)Т.
Теорема Пенроуза говорить, що для будь-яко! матриц1 1снуе матриця, що задовольняе вс1м цим умовам 1 притому едина.
Нехай 1* - максимальне характеристичне значення
2
матриц1 ААТ. Тод1 покладемо а = ;—0,8 . Якщо
|1*1
позначити через А +) I -е наближення, найближче до узагальнено! зворотно! матриц1 А+ для матриц1 А , то ми зможемо одержати А+ з рекурентного сп1вв1дношення:
А+0) = аА;А + + 1) = А 21 - АА+0) Таким чином, 11т А+() = А+.
(9)
г ® ~
Максимальне характеристичне значення 1* можна знайти за допомогою наступного алгоритму.
C.O. Субботт: AËTOPÈTMÈ KËACTEP-PErPECIÉHOÏ AÏPOKCÈMAÔIÏ TA ÏX HEЙPOMEPEЖEBI IHTEPnPETAÔIÏ
KpoK 1. Iнiцiaлiзaцiя. Уcтaнoвити: к = 1 , zi = 1 ,
i = 1,2,..., m . Зaдaти знaчeння Kprnepto збiжнocтi X .
mn
KpoK 2. Oбчиcлити y i = J' J' AjAid, i = 1,2,...,m . ] = 1 d = 1
KpoK З. Якшр Ук = О , тo rnpem^ иг KpoK 4, iнaкшe rnpem^ нa KpoK б.
Kpoê 4. Якшр к < m , то к = к + 1, rnaKme к = 1 . KpoK 5. Пepeйти m KpoK З.
_ y i
Якщo cфopмoвaнo Q клacтepiв, тoдi диcкpимiнaнтнi функцп нeйpoнiв мepeжi 6удуть зaдaвaтиcя фopмyлaми:
Ук
i = 1,2,..., m , тa
i**
Ук
-1
>X,
KpoK б. Oбчиcлити
ycтaнoвити i* = Ук .
KpoK 7. Пepeвipкa збiжнocтi: Якщo
пepeйти нa KpoK 2, taKme - зyпинeння.
Ha ocнoвi poзpaxoвaниx bqj визнaчити кoeфiцieнти для
q]
y^ore виxiднoгo нaбopy oзнaк eкзeмпляpiв q -ra KnaCTepy:
О, якщo |r(x.,y)| < P; ß . = ' ' J '
qq |bqk, У пpoтилeжнoмy випaдкy;
дe к - нoмep oзнaки з нaбopy oзнaк, вpaxoвyвaлиcя пpи визнaчeннi пapaмeтpiв бaгaтoвимipнoï peгpeciï для q -ra KnaCTepy, ям вiдпoвiдae j -й oзнaцi iз виxiднoгo нaбopy oзнaк.
Aлгopитм poзpaxyнкy знaчeння пpoгнoзoвaнoгo пapaмeтpy нa ocнoвi клacтep-peгpeciйнoï aпpoкcимaцiï для витадку бaгaтoвимipнoï лiнiйнoï peгpeciï зaпишeмo y нacтyпнoмy виглядi.
KpoK 1. Iнiцiaлiзaцiя: Зaдaти вибipкy eкзeмпляpiв для
кoтpиx здiйcнюeтьcя пpoгнoзyвaння x = {xs}. Зaдaти кшькштъ клacтepiв Q тa кoopдинaти ïxmx цeнтpiв C = {Cq}. Для кoжнoгo клacтepy зaдaти знaчeння rnpa-мeтpiв бaгaтoвимipнoï лiнiйнoï peгpeciï ßq
N
j(l'i)(x,w) = С WjXj + wО,i = 1,2,...,Q ;
] = 1
N
<p(l>0(x,w) = f (x. - w.)2, i = Q+1 ,Q +2,...,2 Q ;
] = 1
2
j(2'l)(x,w) = С WjXj + wО,i = 1,2,...,Q2;
] = 1 Q
<(З,i)(x,w) = С w.x. + wО,i = 1,2,...,Q ;
] = 1
2
j(4'i)(x,w) = ^Q wjx.■,i = 1,2,...,Q ;
] = 1 2
j(5'i)(x,w) = ^ WjXj + Wo,i = 1 ;
] = 1
дe j(m,i) - диcкpимiнaнтнa фyнкцiя i -гo нeйpoнy m -TO 0apy.
Фyнкцiï aктивaцiï нeйpoнiв будуть визнaчaтиcя виpa-зaми:
y(m)(a) =
О, a < О,
m = 2, З ;
qj
KpoK 2. Для ^жгого eкзeмпляpy визначити вiдcтaнi вщ eкзeмпляpy дo цeнтpiв ycix клacтepiв R (xs, Cp), s = 1,..., S ; p = 1,...,Q .
KpoK З. Для ^жгого eкзeмпляpy знaйти:
q = arg min R (xs, Cp ), s = 1,..., S; p = 1,..., Q .
p
KpoK 4. Знaчeння пpoгнoзoвaнoгo пapaмeтpy для ^жгого s -то eкзeмпляpy в^ючити зa фopмyлoю:
N
ys = С ßq]xs, Xs e Cq,s = 1,...,S.
] = 1
Poзглянyтий aлгopитм клacтep-peгpeciйнoï aпpoкcимaцiï для витад^ бaгaтoвимipнoï лiнiйнoï peгpeciï мoжнa викopиcтoвyвaти для cинтeзy тa нaлaгoджyвaння вaгoвиx кoeфiцieнтiв п'ятишapoвoï HM.
1, a> О; y(m)(a) = a,m = 1,4,5 .
Bагoвий кoeфiцieнт ] -гo вxoдy i -гo нeйpoнy m -ro rna-py мepeжi бyдe poзpaxoвyвaтиcя зa фopмyлoю:
ГО, m = 5, i = 1,j = О; 1, m = 5, i = 1, j > О; l,m = 4, "i,j = О; 1 - Q, m = З, i = 1,j = О; 1, m = З, i = 1,j = О;
0, m = 2, "i,j = О;
1,m = 2, "i, j = 2; -l,m = 2, "i, j = 1; ß i] m = 1 ,i=l,..., Q ,j=l,..., N; О, m = 1, i = q, О > j ф gq, q = 1,..., Q ; C]q,m = 1, i = Q +1, Q + 2,...,2Q,j = 1 ...,N.
Cxeмa HM, cинтeзoвaнoï тa нaвчeнoï нa ocнoвi зaпpoпo-нoвaнoгo aлгopитмy, зoбpaжeнa нa pиc. 2.
Зaпpoпoнoвaний aлгopитм дoзвoляe дocягнyти бiльшoï тoчнocтi, нiж мeтoди лiнiйнoï pe^ecu, пpoтe вiн мae дocтaтньo витоку eфeктивнicть тa пpocтoтy oбчиcлювaль-ниx пpoцeдyp.
wjm,i)=
Рисунок 2 - Схема HM, синтезованоЧ на ocHoei алгоритму кластер-регресшноЧ апроксимацй (випадок лтшноЧ
6агатовим1рноЧ регреси)
5 АЛГОРИТМ БАГАТОВИМ1РНО1НЕЛ1Н1ЙНО1
КЛАСТЕР-РЕГРЕС1ЙНО1 АПРОКСИМАЦЙ'
У випадку, коли алгоритм кластер-регрес!йно! апроксимац!! для випадку багатовим!рно! л!н!йно! регрес!! не дозволяе отримати модель залежност! прогнозованого параметру в!д набору ознак !з заданою точн!стю, тод! кроки 5 та 6 алгоритму побудови кластер-регрес!йно! апроксимац!! можна зам!нити на наступний крок.
Крок 5. Для кожного ч -го кластеру оц!нити параметри багатовим!рно! нел!н!йно! регрес!! прогнозованого параметру:
1
1 + exp
N
- Г
bqjXj
j = 1
,Xsе cq,
де Ь^ - ваговий коеф!ц!ент ] -о! ознаки для ба-гатовим!рно! нел!н!йно! регрес!! прогнозованого параметру у ч -му кластер!.
У тих випадках, коли р1вняння регреси е нел1н1йним щодо оц1нюваних параметр1в, використовуеться нел1н1йний метод найменших квадрат1в [4].
Нехай у - зм1нна, що пояснюеться; у1, у2, ..., ут - на-б1р !! спостережень; х 1, х2, ...,х^ - зм1нн1, що пояснюють, I -те спостереження за якими являе собою вектор:
(х11, х12, •••,х1к)Т .
Необх1дно зм1нну, що пояснюеться, у виразити через
х 1, х2, ...,х^ за допомогою функц1! /, вигляд яко! в1до-
мий, однак нев1дом1 деяк1 !! параметри ^1, м2, ...,:
де Fi - в1дхилення. Попереднш вираз можна записати 6i-льш компактно, як yt = ft(w^ ...,w ) + Fi, i = 1, 2, ...,m,
залишивши лише Ti параметри, що будемо шукати за методом найменших квадраив, тобто мiнiмiзуючи
m
Е = i f2. i = 1
Введемо вектори:
w = (w1, w2, ...,wn)T,f = (f1,/2, ...,/m)T ,
F = (F1. F2' ...,Fm)T,У = (У1.У2> ...'Ут)T .
Тепер сформулюемо задачу нелшшного регресiйного аналiзу: знайти w*, таке, що при F = y - f щльова функ-щя (сума квадратiв залишкiв) Е = FTF мiнiмiзуeться.
Наближене значення wt, що одержуеться на t -ому крощ iтеративного процесу i наступне наближене значення wt + 1 зв'язаш мiж собою вектором поправки Aw :
wt + 1 = wt + Aw . Формула вектора поправки Aw вщпо-
вщно до умови мiнiмiзацi'i виводиться з рiшення системи лшшних рiвнянь:
(ATA )Aw = ( -ATF ),
звщки
Aw = -(ATA)-1ATF .
Уi = f (w 1> ..., wn ;xi 1> ...,xik) + Fi, i = 1 2' ...,m ,
s —
С.О.Субботт: АЛГОРИТМИ КЛАСТЕР-РЕГРЕС1ЙН01 АПРОКСИМАЦ11 ТА IX НЕЙРОМЕРЕЖЕВ1 1НТЕРПРЕТАЦП
Тут А - Якоб1ан Р (матриця перших часткових похщних):
А =
Э Р1 Э м
Э1т Эм>.
щ
Эм,
ЭР1
Эм ^
Эм,
У'
1 + ехр
N
-,Xх е С,,5 = 1,...,5.
г 3
ф(4>г)(х,м) = П М]х],' = 1,2,...,б ;
3 = 1 2
ф(5>г)(х,м) = ^ м-х- + м0,' = 1 ;
з = 1
де ф(т'г) - дискримшантна функщя /' -го нейрону т -го 0ару.
Функцп активаци нейрошв будуть визначатися виразами:
М1шм1защя цшьово!' функци Е здшснюеться за допомогою град1ентних метод1в оптим1зацп.
Алгоритм розрахунку значення прогнозованого параметру на основ1 кластер-регресшно!' апроксимацп для ви-падку багатовим1рно! нелшшно! регреси запишемо у наступному видь
Крок 1. 1шщал1защя: Задати виб1рку екземпляр1в, для
котрих здшснюеться прогнозування х = {х5} . Задати
кшьюсть кластер1в Q та координати !'хшх центр1в
С = {Сд}. Для кожного кластеру задати значення пара-
метр1в багатовим1рно! нелшшно! регреси { Рд-}.
Крок 2. Для кожного екземпляру визначити вщсташ вщ екземпляру до центр1в уах кластер1в Я (х5, Ср),
- = 1,...,5;р = 1,...,Q .
Крок 3. Для кожного екземпляру знайти:
д = arg ш1пЯ(х5, СР), 5 = 1,...,5; р = 1,...,Q .
Р
Крок 4. Значення прогнозованого параметру для кожного 5 -го екземпляру визначити за формулою:
1
у(т)(а) =
1
1 + е -
т = 1;' = 1 ,...,Q
у(т)(а) =
т -го
м (т' )=
- Г Р,
у = 1
Розглянутий алгоритм кластер-регресшно!' апроксимацп для випадку багатовим1рно! лшшно! регреси можна використовувати для синтезу та налагоджування вагових коефщ1ент1в п'ятишарово! НМ.
Якщо сформовано Q кластер1в, тод1 дискримшантш функцп нейрошв мереж1 будуть задаватися формулами:
N
ф(1,')(х,м) = С мх + м0,1 = 1,2,...,Q ;
3 = 1
N
ф(1,')(х,м)= \ (х- - м-)2,' = Q+1,Q+2,...,2Q ;
3 = 1
2
ф(2'г)(х,м) = С 3 + м0,' = 1,2,...,Q2 ;
3 = 1
ф(3,0(х,м) = ^ м3х3 + м0,' = 1,2,...,Q ;
3 = 1
у(т)(а) = а,т = 1;' = Q + 1 ,...,2Q ; ;0,а< 0,
т = 2,3;
1, а> 0;
у(т)(а) = а,т = 4,5 .
Ваговий коефщент 3 -го входу ' -го нейрону шару мереж1 буде розраховуватися за формулою: (-0, т = 5,' = 1,3 = 0; 1, т = 5,' = 1,3 > 0; Хт = 4, V/,3 = 0; 1 -Q,т = 3, / = 1,3 = 0; 1, т = 3, / = 1,3 = 0; -0,т = 2, V/',3 = 0; Хт = 2,"/', 3 = 2; -1,|т = 2,"/', 3 = 1; Ру,|т = 1,i=1,...,Q,j=1,..., N
0, т = 1,' = д, 0 > 3 ^ gд, , = 1,..., Q;
= 1,' = Q +1, Q + 2,...,20,3 = 1, ...,N.
Схема НМ, синтезовано'' та навчено'' на основi запропонованого алгоритму, буде виглядати також, як i зображена на рис. 2.
Запропонований алгоритм дозволяе досягати ще бiльшоl точностi у порiвняннi iз лiнiйною регресieю, але необхщшсть розв'язання задачi багатовимiрноl нелшшно! оптимiзацii для кожного кластеру призведе до суттево бiльших витрат часу у процеи навчання мережi.
ПЕРЕЛ1 К ПОСИЛАНЬ
1. Дрейпер Н., Смит Г. Прикладной регрессионный анализ: В 2-х книгах, Кн. 1.-М.: Финансы и статистика, 1986.-366с., Кн. 2.-М.: Финансы и статистика, 1987.-351 с.
2. Гринчишин Я.Т., Ефимов В.И., Ломакович А.Н. Алгоритмы и программы на бейсике.-М.: Просвещение, 1988.-160 с.
3. Субботин С.А. Алгоритм планирования он-лайнового эксперимента в нейросетевой диагностике // Нейроинформа-тика и ее приложения / Материалы IX Всероссийского семинара, 5-7 октября 2001 г. / Под ред. А.Н.Горбаня. Отв. за выпуск Г.М.Цибульский.- Красноярск: КГТУ, 2001.-С.180-181.
4. Математическая экономика на персональном компьютере: Пер. с яп. / М. Кубонива, М. Табата, С. Табата, Ю. Хасэбэ; Под ред. М. Кубонива.-М.: Финансы и статистика, 1991.304 с.
2
