CC BY
14
УДК 621.391
Штовба С. Д.1, Галущак А. В.2
1Д-р техн. наук, професор, професор кафедри комп'ютерних систем управлння, Внницький нацюнальний технiчний
ушверситет, Вiнниця, Украна
2Асистент кафедри комп'ютерних систем управлння, Внницький нац/ональний технiчний унiверситет, Вiнниця, УкраТна
КРИТЕРИ НАВЧАННЯ НЕЧ1ТКОГО КЛАСИФ1КАТОРА НА ОСНОВ1 В1ДСТАН1 М1Ж ГОЛОВНИМИ КОНКУРЕНТАМИ
Класифiкацiя це вiднесення об'екта за деякими ознаками до одного з клаав. До класифжаци зводяться рiзномаштш задачi прийняття рiшень в шженери, економiцi, медицинi, соцюлоги та в шших областях. В нечiтких класифжаторах залежнiсть «входи -вихщ» описуються за допомогою лiнгвiстичних правил <Якщо - тодi>, антецеденти яких мютять нечiткi терми «низький», «середнш», «високий» тощо. Для пiдвищення безпомилковостi нечгткий класифiкатор навчають за експериментальними даними. В данш роботi запропоновано новi критери навчання нечiткого класифiкатора, яга враховують рiзницю належностей нечiткого висновку лише до головних конкуренпв. За правильно! класифжаци головним конкурентом прийнятого ршення е клас, що мае другий за величиною стушнь належностi. У випадку неправильно! класифжаци помилково прийняте рiшення е головним конкурентом правильного класу. Проведет комп'ютерш експерименти iз навчання нечiткого класифжатора для розпiзнавання трьох сортiв ггалшських вин засвiдчили суттеву перевагу нових критерй'в. Серед нових критерi!в помiрну перевагу мае критерiй на основi квадратично! вiдстанi мiж головними конкурентами з штрафом за помилкове ршення. Новi критери можуть застосовуватися не лише для навчання нечггких класифжатс^в, але i для навчання деяких шших моделей, наприклад, нейронних мереж.
Ключовi слова: класифжащя, нечiтка база знань, навчання, критери навчання, головш конкуренти.
НОМЕНКЛАТУРА
aij - нечггкий терм, яким ощнюеться ознака Xi в .-му правил^ г = 1, п , ] = 1, k;
Д г (К) - мгтка коректноста класифжацп г-го об'екту за нечеткою моделлю з параметрами К;
ц j („X * ) - стутнь виконання .-го правила з бази знань;
(У*) - стутнь належност вхщного вектору X* до класу /,;
* *
ц. (Хг ) - стутнь належност значення х* нечеткому терму ;
Ц/3 (Уг) - стутнь належност г-го об'екту навчально! виб1рки до класу /,;
ц, (К, X г ) - стутнь належност висновку до класу / , який розраховано за неч1ткою моделлю з параметрами К для вхщного вектора X г;
ц м,г„ (Хг ) - стутнь належност вхщного вектора X г класу переможцю;
Цугсемт (Xг ) - стутнь належност вхщного вектора Xг до класу з другим рангом;
ц( х) - функщя належност для змшно! х;
л - /-норма;
Ь - координата максимуму гаусово! функцп належ-ностц
с - коефщент концентрацп гаусово! функцп належ-ност1.
Сг^1 - перший критерш навчання;
Сг^2 - другий критерш навчання;
СгЫз - третш критерш навчання;
Crit^ - четвертий критерiй навчання;
Crit 5 - п'ятий критерiй навчання;
Dr (K) - вщстань мiж бажаною та дiйсною вихщни-ми нечеткими множинами при класифжацп r-го об'екту на основi нечгтко1 бази знань з параметрами ;
dj - категх^альне значення консеквента j-го правила;
F - нечiтка модель;
k - кiлькiсть правил;
K - вектор параметрiв нечгтко1 бази знань, яю налаш-товуються;
lm - мгтка класа з номером m;
M - обсяг навчально1 вибiрки;
p - штрафний коефщент;
P - вектор параметрiв функцш належностi термiв бази знань;
smax - операщя знаходження другого за величною елемента множини;
T - обсяг тестово1 вибiрки;
Vicewin - клас з другим за величиною ступенем на-лежностц
W - вектор вагових коефшденпв правил нечгтко1 бази знань;
win - клас-переможець з максимальним ступенем належностi;
wj - ваговий коефiцiент j-го правила;
X - вектор вхщних атрибулв;
Xr - вхiднi атрибута r-го об'екту;
У - результат класифжацп;
yr - клас r-го об'екту.
ВСТУП
Класифiкацiя це вщнесення об'екта за деякими ознаками до одного з кламв. До класифжацп зводяться рiзно-манiтнi задачi прийняття рiшень в шженери, економщ, медицинi, сощологл, полiтицi, спортi та в шших областях.
© Штовба С. Д., Галущак А. В., 2016 DOI 10.15588/1607-3274-2016-2-9
р-К8К 1607-3274. Радюелектронжа, шформатика, управлiння. 2016. № 2 е-ЕЗБЫ 2313-688Х. Каёю Е1еойоп^, Сошриег Баепое, Сопйо1. 2016. № 2
Останшм часом все бшьш популярними стають нечпта класифжатори, тобто класифжатори, в процем функцю-нування або навчання яких використовуються неч1тю множини [1]. Сьогодш переважно застосовуються нечпта класифжатори на основ! лопчного виведення по баз1 продукцшних правил, антецеденти яких м1стять неч1тю терми «низький», «середнш», «високий» тощо. Кожне правило задае область вх1дних атрибутав, в межах яко! об'екти належать одному класу. Границ цих областей нечпта, тому один [ той же об'ект може одночасно нале-жати декшьком класам, але з р1зним ступенем.
Для тдвищення безпомилковост неч1ткий класифь катор навчають по експериментальним даним. Для цьо-го зм1нюють його параметри, щоб мшм1зувати вщстань м1ж експериментальними даними та результатами не-ч1ткого виведення. Цю вщстань, яку назвемо критер1ем навчання, можна визначити у р1зний спомб [2]. Критерп навчання впливають на зм1ну параметр1в нечеткого кла-сифжатора на кожнш ггерацп алгоритму налаштування 1, вщпов1дно призводять до р1зних результапв. Тому, метою стат1 е знаходження такого критер1я, використання якого забезпечуе найкращу результативтсть навчання неч1ткого класифжатора.
1 ПОСТАНОВКА ЗАДАЧ1
Нечгткий класифжатор являе собою в1дображення X = (, х2,..., хп ) ——^ у е{/1,12, ..., /т }, яке реал1-зуеться лопчним виведенням по баз1 неч1тких правил. Навчання нечгтко! бази знань здшснимо за експериментальними даними. Вщповщно до принципу зовтшнього доповнення [3] експериментальт дат роз1б'емо на на-вчальну виб1рку з М рядюв «входи - вихщ» та тестову виб1рку з Т таких рядюв:
(Xг, уг), г = 1,М , (Xг, Уг), г = 1Т Г = 17Т,
(1)
(2)
де Хг = (хг1, хг2,, хгп); Уг е{/Ь /2, /т}.
Задача полягае у знаходжент такого критер1ю навчання СгЫ, застосування якого тд час налаштування нечетко! бази знань Р на виб1рщ (1) забезпечуе мшмальну частоту помилок класифжацп на тестовш виб1рщ (2). 2 ОГЛЯД Л1ТЕРАТУРИ
Класифжащя на основ1 неч1тких множин була зап-ропонована 50 роюв тому в статл [4]. Перш1 роботи 1з щентифжаци залежностей за допомогою нечетких класи-фжатор1в з'явилися в середин 90-х роюв. Вперше задача структурно! щентифжаци шляхом вщбору правил нечшсо-го класифжатора за показниками безпомилковоста та склад-носп бази знань розглянута в робот [5]. Шзтше в [6] на основ! критерго безпомилковоста здшснили \ параметрич-ну вдентифжащю шляхом налаштування ваг правил. При змш лише ваги правил можна отримати швидю алгорит-ми навчання [7], але вони не гарантують високо! безпо-милковост! нечпкюго класиф1катора. Для тдвищення без-помилковост нечеткого класифжатора на етат парамет-рично! щентифжаци налаштовують не лише ваги правил, а й функцп належноста. Першими роботами з налашту-
вання функцш належност нечпкюго класифжатора е статл [8, 9, 10]. В них критер1ем навчання виступае квадратична нев'язка м1ж двома нечеткими множинами - бажаними та реальними результатами класифжацп. В сучасних роботах навчання нечетких класифжатор1в здшснюють саме за цим критер1ем (дивись, наприклад, [11]).
В робота [7] запропоновано новий критерш навчання, який поеднуе частоту помилок та квадратичну не-в'язку м1ж нечеткими бажаними та дшсними результатами лопчного виведення. У випадку помилково! класи-фшащя квадратична нев'язка зважуеться штрафним коефщентом. Комп'ютерт експерименти в роботах [2, 7] показали перевагу цього критер1ю навчання над частотою помилок та над квадратичною нев'язкою. Але ця перевага е незначною \ навчання нечетких класиф1катор1в не завжди е результативним. Тому виникае защкавлешсть у нових критер1ях, навчання за якими забезпечуе кращу безпомилков1сть нечеткого класифжатора.
Змша параметр1в неч1ткого класифшатора може в1дбуватися за лог1чним висновком для одного об'екту навчально! виб1рки або за результатами лог1чного виведення за умею навчальною виб1ркою [6]. Ми розглядае-мо пакетний режим навчання, коли параметри класифь катора модиф1куються за лог1чними висновками за умею виб1ркою (1).
Грунтуючись на [2] базу правил нечеткого класиф1ка-тора запишемо так:
Якщо (х^ = та Х2 = ~2у та ... та хп = ~пу з вагою ^), тод1 у = а у, у = , (3)
де е [0,1], у = ; а} е {/1, /2, ..., /т}.
Класиф1кац1я об' екта з атрибутами X = |Х1, Х2, Хп I зд1йснюеться таким чином. Спо-
чатку розраховуеться ступ1нь виконання у-го правила з бази (3):
цу (Х*) = -( цу (х*) лцу (х*) л... л цу (Х
] = 1к . (4)
Стутнь належност1 X* до кламв /1, /2, /т розра-ховуеться так:
ц; (у*) = шах (ц (X*)) -—
У у. =//у ', 5 =1 т.
(5)
Неч1тким ршенням задач1 класиф1кац1! буде неч1тка множина
(
У* =
ц/,(У*) ц/2 (У*) ц/т (У*)
Л
2
/т
(6)
Кшцевим результатом виведення оберемо ядро не-ч1тко! множини (6), тобто клас з максимальним ступенем належноста:
у* =
агв шах ( ц^ (у*)). {/„/2,...,т} 5=1,т
Навчання нечеткого класифiкатора полягае в знаход-женш такого вектора К = (P,W), який мiнiмiзуе частоту помилок класифжацп на тестовiй вибiрцi. При цьому для змiни координат вектора К використовуеться лише на-вчальна вибiрка (1). Координати вектора К змiнюемо на кожнiй гтерацп алгоритму оптишзацп за вiдстанню мiж результатами лопчного виведення та експерименталь-ними даними з вибiрки (1). Цю вщстань, яку назвемо кри-терiем навчання, можна визначити у рiзний спомб.
Сьогоднi найвiдомiшими е 3 критерш навчання нечгтко-го класифiкатора: на осжда частоти помилок [6], на ос-новi вiдстанi мiж нечеткими результатами класифжацп i експериментальними даними [8-11], та 1х комбшаци [2, 7].
Критерш 1 - частота помилок класифжацп:
1
Crit! =ТТ LAr (K),
M
(7)
r=1, M
де A r (K) =
1, якщо yr Ф F(K, Xr) 0, якщо yr = F(K, Xr)
Переваги критерж> полягають в його простота та яснш зм^товнш штерпретацп. Але цiльова функцiя в задачi оптишзацп за цим критерiем приймае дискретнi значен-ня, що ускладнюе застосування швидких градiентних метседв оптишзацп, особливо за малих вибiрок даних.
Критерш 2 - квадратична нев'язка мiж двома нечiтки-ми множинами - бажаними та реальними результатами класифжацп. Для 11 розрахунку значення вихвдно! змшно! У в навчальнiй вибiрцi фаззифiкують таким чином:
f
У = У =
У =
f
1 0 -1
/1' V /т у
0 1 - 1
/1' V /т у
0 0
/1' V /т у
якщо У = /1 якщо У = /2
якщо y = /т
(8)
Критерш навчання враховуе вщстань мiж лопчним висновком у формi неч^ко! множини (6) та бажаним нечетким значенням вихщно! змшно! (8):
Crit2 = LD r (K).
r=1, M
(9)
Для розрахунку Dr (K) використовуеться евклдава метрика:
Dr (K) = (Уг) -Pi, (K, Xr ))2,
(10)
s =1, т
Перевага критeрiю Crit 2 полягае в урахуванш мiри впeвнeностi в прийнятому рiшeннi на основi ступeнiв налeжностi об'екту рiзним класам. В критерп Crit1 вва-жаеться, що результат класифжацп об'екту е абсолютно достсдарним, тобто неважливо наскшьки ступiнь належ-
ностi у ршення бiльший, нiж у шших альтернатив - на 0,0001 чи на 1. Крiм того, щльова функцiя в задачi навчання за критерiем (9) не мае довгих плато, тому вона придатна до оптишзацп градiентними методами. Але близью до границь класiв об'екти вносять майже однако-вий вклад в критерш навчання (9) як за правильно!, так i за помилково! класифжацп, тому навчання може бути нерезультативним.
Критерш 3 - квадратична нев'язка мiж нечеткими бажаними та реальними результатами класифжацп з до-датковим штрафом за помилкове ршення. 1дея полягае в збiльшеннi вщсташ О для помилково класифiкованих об'ектав:
Crit3 = L(A r (K) • p + 1)-Dr (K^
r=1, M
(11)
де p > 0 .
3 МАТЕР1АЛИ I МЕТОДИ
Нижче пропонуються жда критерп навчання нечгтко-го класифжатора, якi враховують рiзницю належностей нечеткого висновку лише до головних конкурента.
Критерш 4 - вщстань мiж головними конкурентами з штрафом за помилкове ршення. 1дея цього нового кри-тeрiю полягае у врахуванш рiзницi належностей нечгтко-го висновку лише до головних конкуренлв. За алгоритмом виведення ршенням обираеться клас з максималь-ним ступенем налeжностi. Позначимо цей клас-переможець через win. У випадку правильно1 кла-сифжацп головним конкурентом прийнятого ршення е vicewin - клас з другим за величиною ступенем належ-носта. Чим бшьша рiзниця мiж налeжнiстю до кламв win та vicewin, тим бшьша впевнешсть у логiчному висновку, i тим далi об'ект знаходиться вщ границi роздiлу класiв.
Для r-го об'екту з вибiрки (1) pwin (Xr) = max (р./ (Xr))
s=1, m
та pvjcewjn (Xr) = smax(p/ (Xr)). Вдаовдао, рiзниця мiж
s=1, m
дорiвнюе
головними конкурентами
рwin (Xr ) — рvicewin(Xr X
В критерп навчання враховуватимемо вiдноснi показ-ники, роздшивши рiзнипю на ступiнь належност класу-переможцю. За правильно1 класифжацп вiдносна рiзни-
D1 рwin (Xr ) — pvicewin (Xr ) . .. 4 r =-, а за непра-
р win (Xr )
_0 Рwin (Xr ) -рyr (Xr ) T. . вильно1 - Dr =-. Крiм того,
р win (X r )
аналогiчно до (11), за помилково! класифжацп зважимо рiзницю штрафним коeфiцiентом p > 1. Математично критерш навчання запишемо таким чином:
Crit4 = p • L D0(K) - L D1(K).(12)
yr Ф F ( K, X,) r=1, M
yr = F ( K, X r) r=1, M
Критерш 5 - квадратична вщстань мiж головними конкурентами з штрафом за помилкове ршення. Цей
p-ISSN 1607-3274. Радюелектронжа, шформатика, управлiння. 2016. № 2 e-ISSN 2313-688X. Radio Electronics, Computer Science, Control. 2016. № 2
критерш е модифжащею попереднього. BiAMiHHiCTb по-лягае у використанш не вiдносних рiзниць, а гх квадратiв:
Crit5 = p • X D0(K)2 - X D1(K)2.
yr *F(K, Xr) yr = F(K, Xr)
r=1, M r=1, M
Пщнесення до квадрату в Crit5 дозволяе, як i в метсед найменших квадратiв, збiльшити важливiсть великих рiзниць - тобто грубих промахiв. 4 ЕКСПЕРИМЕНТИ
Метою експериментiв е виявлення критерiю навчан-ня, який забезпечуе найкращу безпомилковiсть. Розгля-даеться тестова задача Wine Dataset з UCI Machine Learning Repository. Вона полягае у виявленш сорту винограду (y), з якого виготовлено вино. База даних метить результати лабораторних аналiзiв по 13-ти показникам 178 зразюв iталiйських вин, виготовлених в одному реп-ош. Для кожного зразка вказано, з якого iз з трьох сорпв винограду виготовлено вино.
Навчальну вибiрку сформуемо з рядкiв бази даних з граничними значеннями кожного iз 13 атрибутiв. Додат-ково в навчальну вибiрку включимо всi непарш рядки бази даних. Всi iншi данi занесемо в тестову вибiрку В результатi отримаемо навчальну вибiрку з 1ГГ рядкiв i тестову - з 78. Побудуемо нечикий класифiкатор вин за трьома ознаками: Х7 - flavanoids, X1r - color intensity та x13 - proline. Експерименти проведемо для нечiткого кла-сифiкатора з базою знань з табл. 1. Нечггю терми задамо гаусовою функцieю належностi:
Таблиця 2 - Початага параметры функцш належностi TepMiB He4iTKoro класифiкатоpа
x) = exp
(x - b)
2 ^
2c
2
де c > 0 .
Параметры функцiй налeжностi початкового нечеткого класифiкатоpа наведено в табл. 2.
Таблиця 1 - Нечгтка база знань класифжатора вин [6]
№ x7 x10 x13 У
1 - - Високий Сорт 1
2 Високий Високий Середнш Сорт 1
3 - Низький Низький Сорт 2
4 Низький Низький Середнш Сорт 2
5 Низький Високий - Сорт 3
Вхщна змшна Терм Параметри
b c
x7 Низький 2 0,34
Високий 2 5,08
x10 Низький 6 1,28
Високий 6 13
x13 Низький 3 2,78
Середнш 3 10
Високий 3 16,8
Для кожного критерж> проведемо 1000 експерименпв i3 навчання нeчiткоi бази знань на осжда квазшьютош-вського алгоритму. Пiсля навчання кожний класифжа-тор пepeвipимо на тeстовiй вибipцi за частотою помилок (кpитepiй Crit 1). Пщ час навчання налаштуемо ваговi ко-ефщенти перших чотирьох правил. Достсдаршсть п'ято-го правила не викликае сумнiвiв, тому його ваговий ко-eфiцiент залишимо piвним 1. Налаштуемо також коефщ-ieffra концeнтpацii (c) функцii належност кожного нeчiткого терма. Для збереження iнтepпpeтуемостi бази знань згiдно до [11] налаштуемо координати максимумв (b) функцiй налeжностi лише не крайшх тepмiв. В базi знань 1 некрайнш терм - «Середнш», координату максимуму якого i будемо змiнювати. Таким чином, загаль-на кiлькiсть паpамeтpiв для налаштування становить 4 + 7 +1 = 12. Початковi точки для навчання оберемо випадково - для вагових коефщенпв правил з дiапазону [0,1], а для паpамeтpiв функцiй налeжностi в межах ±30% вщ значень з табл. 2.
Проведемо 2 серп експерименпв. Першу серж> для нечикого класифiкатоpа з peалiзацiею t-норми мшму-мом (min), а другу - з peалiзацiею /-норми добутком (prod). В експериментах з кpитepiями Crit3, Crit4 та Crit5 спочатку визначимо прийнятний piвeнь штрафного кое-фiцiенту. Для цього проведемо по 200 ощночних експерименпв для p = 1,3,...,9. Результати цих eкспepимeнтiв наведено в табл. 3. В нш напiвжиpним шрифтом видше-но за яких значень штрафного коефщенту навчання вiдбуваеться краще. Саме за таких значень штрафного коефщенту проведемо решту eкспepимeнтiв.
Таблиця 3 - Вплив штрафного коефщента в критери навчання на безпомилковють класифiкатоpа на тeстовiй вибipцi
(статистика 200 експерименпв)
t-норма Критерш Середня безпомилковють
P = 1 P = 3 P = 5 P = 7 p = 9
min Crit3 0,0856 0,0915 0,0912 0,0910 0,0960
Crit 4 0,0732 0,0640 0,0662 0,0736 0,0770
Crit5 0,0690 0,0604 0,0602 0,0688 0,0657
prod Crit3 0,0727 0,0656 0,0665 0,0681 0,0649
Crit 4 0,0565 0,0512 0,0493 0,0499 0,0527
Crit 5 0,0448 0,0443 0,0456 0,0486 0,0446
5 РЕЗУЛЬТАТИ
Результати eкспeримeнтiв наведено на рис. 1-3 та в табл. 4.
Рисунок 1 - Розподш результата навчання нечтсого класифжатора (статистика 1000 експерименпв)
1 ^ i
OS ов
.6 3<м I о
Б 2М 1
- СЛ2 " » 900 1 em f. 400
_ Тгн 1 200 ё л
0 2 0.3 0.4 ОБ 0.6 0.7
Crtt(. тестоэа
- — |—1 Сп^ .
Г "Т—
ПЭ 0 3
Ой [17
Рисунок 2 - Розподш якосп навчання класифжатора, t-норму якого реал1зовано м1шмумом
Рисунок 3 - Розподш якосп навчання класифжатора, t-норму якого реал1зовано добутком
Таблиця 4 - Статистика навчання нечпких класифжатор1в (нашвжирним видшено найкращ1 результати)
t-норма Критерш навчання Частота помилок (CriU ) на тестовш виб1рщ
мш1мальне середне мед1анне максимальне
min Crit1 0,0256 0,3194 0,3333 0,7179
Crit2 0,0256 0,0900 0,0641 0,4487
Crit3 0,0256 0,0921 0,0769 0,3462
Crit4 0,0128 0,0680 0,0513 0,4615
Crit5 0,0128 0,0680 0,0513 0,4744
prod Crit1 0,0128 0,2459 0,2308 0,7179
Crit2 0,0385 0,0631 0,0641 0,1795
Crit3 0,0128 0,0663 0,0641 0,4487
Crit4 0,0128 0,0503 0,0513 0,1667
Crit5 0,0128 0,0454 0,0385 0,2821
p-ISSN 1607-3274. Радюелектронжа, шформатика, управлшня. 2016. № 2 e-ISSN 2313-688X. Radio Electronics, Computer Science, Control. 2016. № 2
6 ОБГОВОРЕННЯ
Результата експерименпв на рис. 1 вказують на коре-льованiсть значень критерпв Crity - Crit5 на навчальнш вибipцi з частотою помилок на тестовш вибipцi. Вщпов-iдно щ критерп можна застосовувати для навчання не-чiткого класифiкатоpа. Щодо результативност навчання (див. табл. 4 та рис. 2, 3), то вона суттево краща при вико-ристанн нових критерпв Crit4 та Crit^. Новi критерп за-безпечують кращу бeзпомилковiсть як в середньому, так i за кiлькiстю найкращих випадкiв навчання. Серед нових критерпв жмрну перевагу мае Crit5. ВИСНОВКИ
У pоботi запропоновано жга критерп навчання не-чiткого класифжатора, якi враховують piзницю належ-ностей нечеткого висновку лише до головних конкуpeнтiв. За правильно1 класифжацп головним конкурентом прий-нятого ршення е клас з другим за величиною ступенем налeжностi. У випадку неправильно1 класифжацп помил-ково прийняте ршення е головним конкурентом правильного класу.
Проведет нами експерименти iз навчання нeчiткого класифiкатоpа для UCI-задачi iз pозпiзнавання гталшсь-ких вин засвiдчили суттеву перевагу нових критерпв. Серед нових критерпв помipну перевагу мае критерш на основi квадратично1 вiдстанi мiж головними конкурентами з штрафом за помилкове ршення. Вiдповiдно, мету дослщження досягнуто - встановлено, що для налашту-вання нeчiтких класифiкатоpiв доцшьно використовува-ти новi критерп навчання на основi piзницi налeжностi ршення до головних конкуpeнтiв. Новi критерп можуть застосовуватися не лише для настроювання нeчiтких кла-сифiкатоpiв, але i для навчання деяких iнших моделей, наприклад, нейронних мереж. ПОДЯКИ
Публiкацiя метить результати дослiджeнь, проведе-них при грантовш пiдтpимцi Державного фонду фунда-ментальних дослiджeнь за конкурсним проектом №62/201-2015.
СПИСОК ЛГГЕРАТУРИ
1. Kuncheva L. I. Fuzzy classifier design / L. I. Kuncheva //Studies in Fuzziness and Soft Computing. - Berlin - Heidelberg: SpringerVerlag, 2000. - Vol. 49. - 314 p.
2. Shtovba S. Analyzing the criteria for fuzzy classifier learning / S. Shtovba, O. Pankevich, A. Nagorna // Automatic Control and Computer Sciences. - 2015. - Vol. 49, № 3. - P. 123-132.
3. Madala H. R. Inductive learning algorithms for complex systems modeling / H. R. Madala, A. G. Ivakhnenko. - Boca Raton : CRC Press, 1994. - 368 p.
4. Bellman R. Abstraction and pattern classification / R. Bellman, R. Kalaba, L. Zadeh // Journal of Mathematical Analysis and Applications. - 1966. - Vol. 13, № 1. - P. 1-7.
5. Construction of fuzzy classification systems with rectangular fuzzy rules using genetic algorithms / [Ishibuchi H., Nozaki K., Yamomoto N., Tanaka H.] // Fuzzy sets and systems. - 1994. -Vol. 65, № 2. - P. 237-253.
6. Ishibuchi H. Classification and modeling with linguistic information granules: advanced approaches advanced approaches to linguistic data mining / H. Ishibuchi, T. Nakashima, M. Nii. - BerlinHeidelberg : Springer-Verlag, 2005. - 307 p.
7. Штовба С. Д. Пор1вняння критерпв навчання нечеткого класи-фжатора / С. Д. Штовба // Вюник Вшницького полггехшчно-го шституту. - 2007. - № 6. - С. 84-91.
8. Abe S. Tuning of a fuzzy classifier derived from data / S. Abe, M. S. Lan, R. Thawonmas // International Journal of Approximate Reasoning. - 1996. - Vol. 14. - P. 1-24.
9. Nauck D. A neuro-fczzy method to learn fuzzy classification rules from data / D. Nauck, R. Kruse // Fuzzy Sets and Systems. - 1997. -Vol. 89, № 3. - P. 277-288.
10. Rotshtein A. P. Design and Tuning of Fuzzy If - Then Rules for Automatic Classification / A. P. Rotshtein, D. I. Katelnikov // Proc. of NAFIPS'98 - International Conf. «Annual Meeting of North American Fuzzy Information Processing Society», Tampa, USA, 1998. - P. 50-55.
^Rudz^s^ F. A multi-objective genetic optimization of interpretability-oriented fuzzy rule-based classifiers / F. Rudzkski // Applied Soft Computing. - 2016. - Vol. 38. - P. 118-133.
12. Shtovba S. Ensuring accuracy and transparency of Mamdani fuzzy model in learning by experimental data / S. Shtovba // Journal of Automation and Information Sciences. - 2007. - Vol. 39, № 8. -P. 39-52.
Стаття надшшла до редакци 21.12.2015.
Шсля доробки 26.01.2016.
Штовба С. Д.1, Галущак А. В.2
'Д-р техн. наук, профессор, профессор кафедры компьютерных систем управления, Винницкий национальный технический университет, Винница, Украина
2Ассистент кафедры компьютерных систем управления, Винницкий национальный технический университет, Винница, Украина
ОБУЧЕНИЕ НЕЧЕТКОГО КЛАССИФИКАТОРА НА ОСНОВЕ РАССТОЯНИЯ МЕЖДУ ГЛАВНЫМИ КОНКУРЕНТАМИ
Классификация - это отнесение объекта по некоторым признакам к одному из классов. К классификации сводятся разнообразные задачи принятия решений в инженерии, экономике, медицине, социологии и других областях. В нечетких классификаторах зависимость «входы - выход» описываются с помощью лингвистических правил <Если - то>, антецеденты которых содержат нечеткие термы «низкий», «средний», «высокий» и т. п. Для повышения безошибочности нечеткий классификатор обучают по экспериментальным данным. В данной работе предложены новые критерии обучения нечеткого классификатора, которые учитывают разницы принадлежностей нечеткого вывода только к главным конкурентам. При правильной классификации главным конкурентом принятого решения является класс со второй по величине степенью принадлежности. В случае неправильной классификации ошибочно принятое решение является главным конкурентом правильного класса. Компьютерные эксперименты по обучению нечеткого классификатора для распознавания трех сортов итальянских вин показали существенное преимущество новых критериев. Среди новых критериев обучения небольшое преимущество имеет критерий в форме квадратичного расстояния между главными конкурентами со штрафом за ошибочное решение. Новые критерии могут применяться не только для обучения нечетких классификаторов, но и для обучения других моделей, например, нейронных сетей.
Ключевые слова: классификация, нечеткая база знаний, обучение, критерии обучения, главные конкуренты.
Shtovba S. D.1, Galushchak A. V.2
'Prof., Dr. Sc., Vinnytsia National Technical University, Vinnytsia, Ukraine
2Assistant, Vinnytsia National Technical University, Vinnytsia, Ukraine
FUZZY CLASSIFIER LEARNING BASED ON DISTANCE BETWEEN THE MAIN COMPETITORS
The classification problem is the assignment an object with certain features to one of classes. Various engineering, management, economic, political, medical, sport, and other problems are reduced to classification. In fuzzy classifiers «inputs - output» relation is described by linguistic <If - then> rules. Antecedents of these rules contain fuzzy terms «low», «average», «high» etc. To increase the correctness it is necessary to tune the fuzzy classifier on experimental data. The new criteria for fuzzy classifier learning that take into account the difference of membership degrees to the main competitors only are proposed. When the classification is correct, the main competitor of the decision is the class with the second largest membership degree. In cases of misclassification the wrong decision is the main competitor to the correct class. Computer experiments with learning the fuzzy classifier of 3 kinds of Italian wines recognition showed a significant advantage of the new criteria. Among new learning criteria the criterion in the form of squared distance between main competitors with the penalty for wrong decision has minor advantage. New criteria can be used not only for tuning fuzzy classifiers but for tuning some other models, such as neural networks.
Keywords: classification, fuzzy knowledge base, tuning, learning criteria, main competitors.
REFERENCES
1. Kuncheva L. I. Fuzzy classifier design, Studies in Fuzziness and Soft Computing. Berlin, Heidelberg, Springer-Verlag, 2000, Vol. 49, 314 p.
2. Shtovba S. Pankevich O., Nagorna A. Analyzing the criteria for fuzzy classifier learning, Automatic Control and Computer Sciences, 2015, Vol. 49, No. 3, pp. 123-132.
3. Madala H. R., Ivakhnenko A. G. Inductive learning algorithms for complex systems modeling. Boca Raton, CRC Press, 1994, 368 p.
4. Bellman R., Kalaba R., Zadeh L. Abstraction and pattern classification, Journal of Mathematical Analysis and Applications, 1966, Vol. 13, No. 1, pp. 1-7.
5. Ishibuchi H., Nozaki K., Yamomoto N., Tanaka H. Construction of fuzzy classification systems with rectangular fuzzy rules using genetic algorithms, Fuzzy sets and systems, 1994, Vol. 65, No. 2, pp. 237-253.
6. Ishibuchi H., Nakashima T., Nii M. Classification and modeling with linguistic information granules: advanced approaches advanced approaches to linguistic data mining. Ishibuchi, Berlin-Heidelberg, Springer-Verlag, 2005, 307 p.
7. Shtovba S. D. Porivnjannja kriteriïv navchannja nechitkogo klasifikatora, Visnik Vinnic 'kogo politehnichnogo institutu, 2007, No. 6, pp. 84-91.
8. Abe S., Lan M. S., Thawonmas R. Tuning of a fuzzy classifier derived from data, International Journal of Approximate Reasoning, 1996, Vol. 14, pp. 1-24.
9. Nauck D., Kruse R. A neuro-fuzzy method to learn fuzzy classification rules from data, Fuzzy Sets and Systems, 1997, Vol. 89, No. 3, pp. 277-288.
10. Rotshtein A. P., Katelnikov D. I. Design and Tuning of Fuzzy If -Then Rules for Automatic Classification, Proc. of NAFIPS '98 -International Conf. «Annual Meeting of North American Fuzzy Information Processing Society». Tampa, USA, 1998, pp. 50-55.
11. Rudzicski F. A multi-objective genetic optimization of interpretability-oriented fuzzy rule-based classifiers, Applied Soft Computing, 2016, Vol. 38, pp. 118-133.
12. Shtovba S. Ensuring accuracy and transparency of Mamdani fuzzy model in learning by experimental data, Journal of Automation and Information Sciences, 2007, Vol. 39, No. 8, pp. 39-52.
