Критерії оптимзації набору спектральних складових перетворення Карунена-Лоєва при розрахунку диференціальної ймовірності правильного розпізнавання Текст научной статьи по специальности «Электротехника, электронная техника, информационные технологии»

УДК 621.391

КРИТЕРІЇ ОПТИМЗАЦІЇ НАБОРУ СПЕКТРАЛЬНИХ СКЛАДОВИХ ПЕРЕТВОРЕННЯ КАРУНЕНА-ЛОЄВА ПРИ РОЗРАХУНКУ ДИФЕРЕНЦІАЛЬНОЇ ЙМОВІРНОСТІ ПРАВИЛЬНОГО РОЗПІЗНАВАННЯ

КАПУСТІЙ Б.О., РУСИН Б.П., ТАЯНОВ В.А.

Розробляється методика для визначення мінімального набору спектральних складових, при якому диференціальна ймовірність правильного розпізнавання досягає прийнятного значення.

1. Вступ. Постановка і актуальність задачі, що розв’язується

Ядром будь-якої системи підтримки прийняття рішення є множина (вектор) ознак. Вміст вектора ознак визначає надійність системи. Ця надійність може бути оцінена за допомогою диференціальної ймовірності правильного розпізнавання, що пов’язана з відповідним коефіцієнтом [3].

Означення. Під диференціальною ймовірністю правильного розпізнавання будемо розуміти ймовірність правильного розпізнавання окремо взятого об’єкта.

У загальному випадку для різних однотипних об’єктів при проведенні кластеризації розміри та вміст векторів ознак є різні. Розмір та вміст вектора ознак для даного об’єкта визначає надійність розпізнавання цього об’єкта. В такому аспекті складність тої чи іншої системи визначається кількістю параметрів, що підлягають оптимізації. Оптимізація параметрів має відбуватися таким чином, щоб у результаті її реалізації забезпечити достатнє значення диференціальної ймовірності правильного розпізнавання [2,3] в n -мірному просторі параметрів. Така задача відноситься до класу варіаційних і в загальному випадку є досить складною. Особливістю використання згаданого підходу є те, що він застосовується при вирішенні задачі оптимізації для кожного окремо взятого об’єкта, який подається на вхід системи підтримки прийняття рішення. Таким чином, система ніби “настроюється” на об’єкт. Цей підхід має за мету покращення надійнісних параметрів різних систем підтримки прийняття рішення.

2. Мета дослідження

Потрібно розробити метод для визначення оптимального набору спектральних складових перетворення Карунена—Лоєва [4], при якому досягається прийнятне значення диференціальної ймовірності правильного розпізнавання.

3. Результати дослідження

Перетворення Карунена—Лоєва приймає як параметр, який можна змінювати для одержання потрібного значення диференціальної ймовірності правильного розпізнавання, набір спектральних складових. В інших алгоритмах, покладених в основу функціонування систем розпізнавання, підлягають оптимізації інші параметри. Залежно від алгоритму і типу об’єкта та чи інша система підтримки прийняття рішення може мати декілька таких параметрів. Проте яким би чином не здійснювалася оптимізація параметрів системи, її мета залишається незмінною—досягнення прийнятного значення диференціальної ймовірності правильного розпізнавання.

Якщо існує довірчий інтервал, у якому з певною ймовірністю знаходиться правильний об’єкт, слід вирішити задачу детектування правильного об’єкта в довірчому інтервалі, де крім нього існують ще й неправильні об’єкти. Це можна зробити з використанням поняття диференціальної ймовірності правильного розпізнавання. З наведеного визначення диференціальної ймовірності правильного розпізнавання випливає, що ймовірність попадання правильного об’єкта в довірчий інтервал може бути набагато більшою від імовірності розташування цього об’єкта на першій позиції. Тому довірчий інтервал вибирається відповідно до рівня надійності, який вимагається технічним завданням на розробку тої чи іншої системи. Чим ширший довірчий інтервал, тим більшою є ймовірність того, що в нього попаде правильний об’єкт. Якість системи при цьому буде оберненопропорційною до ширини довірчого інтервалу. Отже, забезпечення потрібного довірчого інтервалу є першим етапом задачі детектування правильного об’єкта. Другим (і основним) етапом буде визначення правильного об’єкта серед набору правильних і неправильних об’єктів. Тут фактично здійснюється перехід від системи підтримки прийняття рішення до систем розпізнавання, де кінцевий висновок про приналежність об’єкта до того чи іншого класу приймається системою в повністю автономному режимі.

Нехай існує довірчий інтервал It розміром t. У найпростішому випадку, коли розмір всіх класів s = 1, ймовірність знаходження першого об’єкта з і -ї групи в довірчому інтервалі рівна

Pit = 1 - (1 - (P0* (i) 2)(n“1))t, (1)

де n — кількість класів у базі даних; р0і) — початкова ймовірність незаміщення першого об’єкта з і -ї групи.

Якщо ж класи мають однаковий розмір, проте s > 1, то потрібно враховувати статистичний зв’язок між об’єктами в межах одного класу. В даному випадку мається на увазі те, що об’єкти кожного класу після сортування за критерієм зростання іх середньок-вадратичної відстані від вхідного об’єкта [1] займають в посортованій множині об’єктів певні зони.

118

РИ, 2004, № 3

В межах цих зон об’єкти є певною мірою незалежні, а тому їх внесок у спотворення нормального закону розподілу середньоквадратичних відстаней буде незначним. Отже, з врахуванням коефіцієнта статистичного зв’язку р вираз (1) перепишеться у вигляді

PIt = 1 - (1 - (P0ji))(n-1)(1+(1-P)(s-1))}t, (2)

де рє [0,1].

Представимо P((i) як функцію Гауса-Лапласа ®(z)

x Ц x

деякого параметра z , де z =-—. Іут цx та стх

х

- відповідно математичне сподівання та дисперсія нормального закону розподілу середньоквадратичних відстаней об’єктів бази від вхідного об’єкта [2].

Введемо таке представлення: P(ji) =®(z(i)). У ньому реальний дискретний нормальний розподіл згаданих середньоквадратичних відстаней апроксимується неперервним розподілом з параметрами цх та стх . Така апроксимація можлива тому, що дисперсія та математичне сподівання реального дискретного нормального розподілу не змінюються при перевищенні відповідного статистичного розміру даних, що формують цей розподіл [2].

Параметр z(i) можна розглядати як z(i) = f(y(k)), де у(k) — фрагмент спектральних функцій перетворення Карунена — Лоєва розміром k для даного вхідного об’єкта і об’єктів бази. Процес пошуку середньоквадратичних відстаней полягає в знаходженні відстаней між фрагментами спектральних функцій перетворення Карунена—Лоєва для вхідного і базових об’єктів. Ці відстані представляють собою евклідову норму відносно фрагментів даних спектральних функцій і формують нормальний закон розподілу з параметром z(i). Параметр z(i) залежить від розміру відрізків спектральних функцій. Вибір початку відрізків спектральних функцій визначається характером цих функцій. Так, для об’єктів, що описуються спектральною функцією з основною енергією в низькочастотній частині спектру, слід фіксувати початок відрізків на рівні нуля.

У даній статті використовуються низькочастотні фрагменти спектральних функцій. Покажемо, що алгоритм визначення оптимального набору спектральних складових перетворення Карунена-Лоєва, при якому досягається прийнятне значення диференціальної ймовірності правильного розпізнавання, може бути зведений до пошуку:

1) максимуму функції z(i) = f(y(k));

2) максимуму різниць z - параметрів

. (»i1) (»i+11) • г,

Azi,i+1 = z ’ - z ’ між об єктами, що знаходяться на перших місцях в суміжних групах;

3) ..........5®(z(i))

3) максимуму частинної похідної

5z(i)

4) значення k, при якому частинна похідна

5®(z(i))

5z(i)

досягає мінімально допустимого додатнього рівня.

РИ, 2004, № 3

Максимум функції z(i) = f (у(k)) може бути використаний для забезпечення найближчого положення правильного об’єкта до початку списку можливих претендентів, тим самим збільшуючи ймовірність попадання першого правильного

об’єкта в довірчий інтервал It. Максимум різниць

z -параметрів Az; ^ = z(<Bi,1) - z(<Bi+1,1) між об’єктами, що знаходяться на перших місцях в суміжних групах, може бути використаний як критерій визначення правильного об’єкта, що знаходяться на

першому місці в довірчому інтервалі It. Максимум

частинної похідної -

.. 5®(z(i)) oz(i)

може бути використа-

ний для знаходження правильних об’єктів у межах довірчого інтервалу It, які розміщуються не на першому місці. Мінімально допустиме додатне

значення частинної похідної

^(z(i)) cz(i)

може бути

використане як критерій недоцільності подальшого збільшення кількості спектральних складових для реалізації процедури розпізнавання.

Розглянемо два випадки реалізації процесу розпізнавання. Один з них відповідає ситуації, коли на першій позиції в довірчому інтервалі знаходиться правильний об’єкт, а на інших — неправильні. При цьому вважається, що знаходження правильного об’єкта на першій позиції в інтервалі It має зберігатись для діапазону змін довжин фрагментів спектральних функцій у(k). У разі невизначеності розташування правильного об’єкта в довірчому інтервалі It гіпотеза н1 приймається, коли розташування деякого об’єкта в довірчому інтервалі на першій позиції зберігається для діапазону змін довжин фрагментів спектральних функцій у(k). Знайдемо різницю

Azi,i+1

- z(“i,1) _ >i+1,1)

— Z Z j

(3)

(“i 1) (“i+1 1) + ,

де z ’ , z ’ — z - параметри об єктів, які

знаходяться на перших місцях у суміжних групах, що представляють відповідні класи в інтервалі It ( i,j Є [1,П] , Юц, ®i+1,1 є[ІД]).

Отже, якщо правильний об’єкт знаходиться на першій позиції в довірчому інтервалі It, то має виконуватись умова

(z(“i,1)|v(k) -z(“i+1,1)|у(k)) =

sup

ie[1,n],ke[°,kint]

= z(ro1,1)|v(k) -z(“2,1)|y(k),

z(“i+1,1) | ,,,(k) _

(4)

де z(<Bi,1) | у(k) та zv^1+M' | — z -параметри (3)

для діапазону змін фрагментів спектральних функцій у(k), а kint — розмір фрагментів спектральних

функцій ф ження.

(k)

що відповідають інтервалу дослід-

119

Якщо умова (4) не виконується, то приймається гіпотеза H0 про те, що об’єкт, який знаходиться на першому місці в довірчому інтервалі It, буде неправильним.

У другому випадку правильний об’єкт не знаходиться в довірчому інтервалі на першому місці, проте він належить до цього інтервалу з певною довірчою ймовірністю PIt . Гіпотеза Hjc про те, що перший правильний об’єкт знаходиться в довірчому інтервалі It у групі ic , приймається тоді, коли виконується умова:

( 5z(U) ^ 5z(ic’1}

ie[1,n],ke1(0,kint} 3y(k) dy(kopt) , (5)

де z(i,1) — z -параметр для першого об’єкта, що знаходиться в і -й групі, а k0pt — значення пара-

метра k, при якому досягається максимум похідної

53z(ic,1)

ЯтЙсЛ) я 2z(ic,1)

-, тобто -----„ = 0 і

5(у(k))2

5(у(k))3

< 0 .

(k)

Відзначимо, що система ідентифікації об’єктів має будуватись таким чином, щоб для певного значення k фрагментів спектральних функцій у(k) забезпечувався достатній рівень z -параметрів. Тоді система буде придатною для виконання своїх функцій і правильний об’єкт з прийнятною ймовірністю

попаде в заданий довірчий інтервал It. Якщо ж буде

прийнята гіпотеза H0 про те, що в довірчому інтервалі не існує правильного об’єкта, то потрібно розширити довірчий інтервал і продовжити перевірку. Коректність роботи системи буде визначатися також ймовірністю виконання умов (4),(5). Якщо у процесі тестування даної системи ці умови виконуються з недостатньою ймовірністю, то потрібно відкоректувати алгоритм, покладений в основу роботи системи.

Тепер обгрунтуємо доцільність застосування процедури, яка полягає в знаходженні такого значення

k, при якому частинна похідна

5Q(z(i))

5z(i)

досягає

мінімально допустимого рівня. Справа в тому, що

при подальшому збільшенні k у у(k) ця похідна може змінити знак, що є недопустимим. До того ж подальше збільшення k у у(k) стає недоцільним внаслідок надмірного зростання апаратних затрат при несуттєвих якісних покращеннях.

Значення частинної похідної ставити у вигляді:

5Q(z(i))

5z(i)

можна пред-

5Q(z(i)) _ 1

9z(i) -J2/k

Якщо мати на увазі, що z(i) =

_ (z(i))2 2 .

f(y(k)), то

(6)

^(z(1)) = і -Щг(7)

(k) >/2л Зу(k)

Вираз (6) є функцією густини розподілу ймовірностей для нормального закону. Малість частинної похідної (7) при умові достатнього значення ймовірності Plt буде критерієм припинення збільшення розміру відрізків спектральних функцій. Такі задачі є актуальними для невеликих і середніх баз даних.

На завершення введемо параметр SNR(k), що характеризує міру подібності вхідного об’єкта до об’єктів цього ж класу. Для цього використаємо аналогію з відношенням сигнал/шум. Якщо T(s) є [0,1] л s є [0, да) (для спрощення спектральну функцію y(s) позначено як У(k)), то SNR(k) можна представити так:

SNR(k) = 10lg

(k Л

J (y(s))2ds

J (y(s))2ds

V k

(8)

де J(y(s))2ds <да . Як видно з виразу (8),

0

SNR(k) є [0, да). Якщо SNR(k) = 0, то це означає, що порівнювані об’єкти абсолютно несхожі, а якщо SNR(k) = да , то це один і той же об’єкт. Потрібно відзначити, що при визначенні SNR(k) значення k фіксується на межі зміни знаку параметра z з додатнього на від’ємний. Якщо значення k визначається згідно з п.4 наведеного вище алгоритму, то SNR(k) характеризує ступінь економії енергії при класифікації об’єктів.

Приклад. Система працює з базою даних, що налічує 40 класів облич людей по 18 реалізацій на кожний клас — усього 720 об’єктів. Як ознаки використовуються спектральні компоненти ортогонального перетворення Карунена — Лоєва.

Розглянемо два випадки процедури розпізнавання — коли правильний об’єкт знаходиться в довірчому інтервалі It=10 на першому місці та коли він попадає в цей інтервал на інші місця. Задача передбачає перехід до дискретних значень k, у(k) та z . Будемо вважати, що дійсна кількість об’єктів бази, між якими нема статистичного зв’язку, рівна 360. Це пояснюється тим, що посортовані об’єкти бази розташовуються відносно найгіршого об’єкта у межах її половини.

Приймемо Ay(k) = y(k+Ak) - y(k) | Ak = 10.

Табл. 1, 2 ілюструють відповідно перший та другий варіанти процедури розпізнавання.

У табл. 1 позначено: z(i) —

об’єкта в i -й групі;

z -параметр для першого

max

ie[1,n],ke[0,kint]

(Azi,i+1| т(k)) -

120

РИ, 2004, № 3

Таблиця 1

Номер групи, І 1 2 3 4

z(i) 2.62 2.40 2.26 2.05

max (A zu +Цу(k)) ie[1,n],ke[0,kint] 0.38 0.22 0.35 0.06

P | ,,,(40) PIt=10 | V 0.90 0.41 0.13 0.01

максимальна різниця z -параметрів для перших об’єктів суміжних груп на інтервалі змін довжин

фрагментів у(k); PIt=10 | у(40) — імовірність попадання правильного об’єкта в довірчий інтервал t розміром 10 для 40 спектральних складових.

Таблиця 2

Номер групи, І 1 2 3 4

z(i) 2.58 2.37 2.36 2.25

max Az(i) 0.02 0.03 0.04 0.05

max , ie[1,n],ke{0,kint} Ду( )

PIt=10^(40) 0.84 0.34 0.31 0.11

Az(i)

у табл. 2 через is[i„lmsxo.ki„t)^ позначено

максимум частинної похідної для першого об’єкта в і -й групі на інтервалі змін довжин фрагментів

y(k) .

Відзначимо, що в першому випадку правильному об’єкту відповідають найбільші значення z(i) та

max (Azii+і | \у(k)), а в другому —

i^[1,n|,k^[0,kint1 ’

Az(i)

■ г, . . (k) . Оскільки при цьому пра-

ie[1,n|,ke{0,kint)

вильний об’єкт знаходиться на першому місці відповідно в першій та останній групах (на початку та в кінці довірчого інтервалу), то йому відповідають відповідно найбільша й найменша ймовірності PIt=10 І Т(40) • Цим підтверджується коректність функціонування запропонованих процедур розпізнавання.

Оцінимо виграш у часі обчислень середньоквадра-тичних відстаней об’єктів бази від вхідного об’єкта. Якщо в наведеному прикладі розмір вектора спектральних складових N = 644 (зображення об’єкта складає 23 х 28 = 644 дискретні відліки), аймовірність розташування правильного об’єкта на першому місці в списку можливих претендентів при k = 40 є достатньо великою для застосовування виразів (4),(5),

N

то виграш у часі буде становити — «16 раз. Отри-

k

маний результат дає можливість зменшити роздільну здатність зображення об’єкта до певного значення, оскільки вона однозначно пов’язана з його спектральним представленням. В свою чергу, зни-

ження роздільної здатності приводить до зменшення часових затрат на реалізацію алгоритму.

Щодо стратегій змін алгоритму, розміру бази або довірчого інтервалу можна висловити такі міркування. Найкращою стратегією є розробка хорошого алгоритму. Експериментально встановлено, що ймовірність PIt має найбільшу чутливість до зміни z -параметрів, які обумовлюють якість алгоритму. В той же час зміна розміру бази чи довірчого інтервалу впливає на цю ймовірність порівняно мало. Отже, при достатньо великих значеннях z -параметрів можна збільшити базу даних в декілька разів, не спричинивши при цьому суттєвого погіршення надійності роботи системи розпізнавання.

4. Висновки

У даній роботі одержано такі результати:

— побудовано вирази для обчислення ймовірності попадання правильного об’єкта в довірчий інтервал;

— реалізовано й перевірено процедури пошуку правильного об’єкта в довірчому інтервалі;

— отримано вираз для оцінки ступеня економії енергії при класифікації об’єктів;

— оцінено виграш у часі обчислень середньоквад-ратичних відстаней об’єктів бази від вхідного об’єкта;

— визначено пріоритетну стратегію щодо забезпечення довірчої ймовірності.

Література: 1. Капустій Б. О., Русин Б.П., Таянов В.А. Про особливості стохастичних характеристик коефіцієнта надійності розпізнавання для об’єктів з класу R3. // Вісник НУ “Львівська політехніка”: Радіоелектро-

ніка та телекомунікації. 2003. №477. С.69-76. 2. Капустій Б. О., Русин Б.П., Таянов В.А. Розподіл середньок-вадратичних відстаней між об’єктами в просторі R2 // Відбір і обробка інформації. 2003. Вип. 19(95). С. 110-114. 3. Капустий Б.Е., Русын Б.П., Таянов В.А. Новый подход к определению вероятности правильного распознавания объектов множеств. Управляющие системы и машины. 2003. 4. Ту Дж, Гонсалес Р. Принципы распознавания образов: Пер. с англ. М.: Мир, 1978. 278 с.

Поступила в редколлегию 21.05.2004

Рецензент: д-р техн. наук, проф. Зеленський О.О.

Капустій Борис Омелянович, канд. техн. наук, доцент кафедри теоретичної радіотехніки та радіовимірювань ІТРЕ НУ “Львівська політехніка”. Наукові інтереси: розпізнавання зображень та мовних сигналів. Адреса: Україна, 79013, Львів, вул. С. Бандери, 12, тел. 39-81-56.

Русин Богдан Павлович, д-р техн. наук, професор, зав. відділом “Методів та систем аналізу, обробки та ідентифікації зображень” ФМІ НАН України ім. Г.В. Карпенка. Наукові інтереси: аналіз, обробка та розпізнавання зображень. Адреса: Україна, 79601, Львів, вул. Наукова , 5а, тел. 63-41-09, e-mail: rusyn@ipm.lviv.ua

Таянов Віталій Анатолійович, аспірант ФМІ НАН України ім. Г.В. Карпенка. Наукові інтереси: розпізнавання образів. Адреса: Україна, 79601, Львів, вул. Наукова, 5а, тел. 65-45-30, e-mail: vetal@tayanov.medwatch.ca (dep32@ipm.lviv.ua).

РИ, 2004, № 3

121