CC BY
54
УДК 621.8:681.5
А.М. ЧЕРНОДУБ
МЕТОД ВИДІЛЕННЯ ОЗНАК НА ОСНОВІ СПІЛЬНИХ ВЕКТОРІВ ВІДНОСНИХ ФАЗОВИХ ОРІЄНТАЦІЙ МОМЕНТІВ І МОМЕНТІВ ЗЕРНІКЕ ДЛЯ РОЗПІЗНАВАННЯ ОБРАЗІВ
Анотація. Пропонується новий метод отримання векторів ознак на основі теорії інваріантних моментів, векторів відносних фазових орієнтацій моментів для вирішення задачі класифікації двовимірних півтонових зображень. Наводяться дані чисельних експериментів класифікації зображень, що мають різний розмір та різний кут поворота відносно фронтальної осі. Досліджується стійкість запропонованого методу до шуму.
Ключові слова: розпізнавання образів, обробка зображень, теорія моментних інваріантів, поліноми Зерніке.
Аннотация. Предлагается новый метод получения векторов признаков на основе теории инвариантных моментов, называемых векторами относительных фазовых ориентаций моментов для решения задачи классификации двумерных полутоновых изображений. Приводятся данные численных экспериментов по классификации изображений, имеющих разный размер и изменяющийся угол поворота относительно фронтальной оси. Исследуется устойчивость предлагаемого метода к шуму.
Ключевые слова: распознавание образов, обработка изображений, теория моментных инвариантов, полиномы Зернике.
Abstract. A new method for feature vectors extraction called “Relative Moment Phase Orientations” vectors for classification of gray 2D images on the basis of theory of Moments Invariants is proposed. Data of numerical experiments on classification of resized and rotated in frontal plane images are presented. Robustness of the proposed features is studied.
Key words: Pattern Recognition, Image Processing, theory of Moments Invariants, Zernike polynomials.
1. Вступ
Розпізнавання графічних образів є напрямком, що входить у коло задач штучного інтелекту. Цей напрямок має множину практичних застосувань: автоматичне розпізнавання рукописного тексту, біометрична ідентифікація людини по фото і відбиткам пальців, інтелектуальний пошук у базах даних зображень та ін. Для полегшення виконання процедури класифікації та ідентифікації об'єктів використовується препроцесинг зображень, метою якого є виділення найбільш інформативних ознак [1]. Одним із популярних підходів обчислення ознак для об'єктів, які вже є виділеними від заднього фону, є теорія моментних інваріантів [2].
Теорія моментних інваріантів для двовимірних зображень виникла з виходом роботи М.К. Ху [3], в якій було запропоновано спосіб обчислення векторів ознак для півтоно-вих зображень, що не міняються при виконанні афінних перетворень над зображенням: зміні розміру, повороті і переносі (трансляції). Була доведена теорема унікальності, що гарантує взаємооднозначне співвідношення між вихідними зображеннями і векторами ознак, “геометричними інваріантними моментами” (“geometric moments invariants”). Вони з успіхом застосовувалися для розпізнавання друкованого тексту, класифікації силуетів кораблів і літаків. Пізніше М. Тіг [4] запропонував спосіб обчислення інваріантних до афінних перетворень моментів шляхом розкладання функції інтенсивності зображення по ортогональних поліномах Зерніке. Було доведено, що моменти Зерніке зводяться до геометричних моментів, була виведена формула, за якою моменти Зерніке можуть бути отримані з геометричних моментів і навпаки. Продовженням було випробування інших множин поліномів
© Чернодуб А.М., 2010
ISSN 1028-9763. Математичні машини і системи, 2010, № 4
як базисних функцій. Ч. Х. Тех і Р. Т. Чін запропонували використовувати як базисні функції ортогональні поліноми псевдо-Зерніке і поліноми Лежандра [5], Ю. Шенг і Л. Шен запропонували ортогональні моменти Фур'є-Мелліна [б], Р. Мукундан та ін. запропонували моменти на основі поліномів Чебишова [7], П.Т. Яп та ін. запропонували моменти на основі поліномів Кравчука [В], Х.К. Жу й ін. ввели в обіг моменти Рака [9].
У даній статті пропонується новий спосіб обчислення векторів ознак [22] на основі теорії інваріантних моментів, що мають назву векторів відносних фазових орієнтацій моментів, який підходить для всіх Зерніке-подібних моментів. Ця ідея не нова. Розподіл орієнтацій градієнтів для блоків з пикселів використовується для виділення ознак у популярних методах препроцесинга зображень SIFT [17], SURF [18], Chog [19] та ін. Поділ єдиного зображення на кілька незалежних сегментів і виділення ознак кожного з них пропонувався для інваріантних моментів псевдо-Зерніке [20]. Відносні фазові орієнтації моментів здатні поліпшувати якість розпізнавання об'єктів двовимірних зображень. Якщо їх додати до обчислених звичайним способом моментів, вони мають невеликий власний розмір, а також незначні вимоги до додаткових обчислювальних ресурсів.
Зміст статті такий: розділ 1 містить вступ і короткий огляд предметної області, в розд. 2 викладається традиційний спосіб обчислення інваріантних моментів на прикладі моментів Зерніке, в розд. 3 пояснюється спосіб відновлення кута повороту об'єкта за значеннями його моментів, у розд. 4 викладається пропонований спосіб обчислення відносних фазових орієнтацій моментів, а також спосіб їх використання разом з традиційними моментами для вирішення задач розпізнавання, в розд. 5 викладаються результати порівняльних експериментів між запропонованим і традиційним моментними методами по розпізнаванню зображень, розд. б містить висновки.
2. Інваріантні моменти Зерніке
Незважаючи на свою довгу історію, моменти Зерніке залишаються дуже популярними. На їх основі створюються практичні рішення по розпізнаванню образів, а їх властивості продовжують активно досліджуватися [10-13]. У зв'язку з цим використовуються саме моменти Зерніке для опису запропонованого способу обчислення додаткового вектора ознак, відносних фазових орієнтацій моментів.
Розглянемо схему обчислення моментів Зерніке. Нехай чорно-біле півтонове зображення на площині описується функцією інтенсивності f (x, y), що має область значень на відрізку [0; 1]. Значення “0” кодує абсолютно чорний колір, значення “1” - абсолютно білий. Проміжні значення між 0 і 1 відповідають різним відтінкам сірого. На рис.
1, ліворуч, показана функція інтенсивності для білого символу “A”, що перебуває на чорному фоні.
Для забезпечення інваріантності до переносу початок координат для обчислення моментів завжди встановлюється в то-
Рис. 1. Зображення символу “А” у вигляді функції інтенсивності зображення / (х, у) (ліворуч), приклад базисної функції V6,4, по якій проводиться розкладання півтонового зображення (праворуч)
чку “центра мас” зображення. Точка центра визначається за формулою (1):
(mol ^
V т00 moo у
де т - геометричні моменти по М.К. Ху [3] (2):
™рч = Ц*руЧ(X У) ^ ф. (2)
Величину т00 можна розглядати як повну “масу” зображення.
Моменти ЗернікеZMnm, визначені на одиничному колі 0<л\x2 + у2 < 1, обчислюються за формулою [14]:
ZMnm = р Яї(XУ)[^(XУ)]* & dУ, (3)
^ (X У) = Znm (X У) ехр(таг^( у / х)Х (4)
(п-т)/2 (П - к)!
Znm (X. У) = Ъ (-1)к п + т <П к )ІІ-т-----(X2 + У 2)(П-2к ^
к=0 к!( п+т - к )!(п-т - к)! (5)
де п - порядок моменту, т - порядок гармоніки, п є N, т є Z,| т |< п, (п- | т |) парне, символом * позначається комплексне сполучення. Тут ZMпт - комплексні моменти Зерніке, Znm - поліноми Зерніке, Vnm - базисні функції, за якими відбувається розкладання зображення. На рис. 1, праворуч, показано приклад базисної функції Vnm при п = 6, т = 4 . Модулі векторів моментів Зерніке інваріантні до повороту
\тКОТАТЕОпт\ = \ZM__ І. (6)
Вектори ознак Зерніке порядку N формуються згідно з формулою
ZMІN =
^ Zм11|. |ZM 20І. \т22\. NN1 у
9 9 9 • • • 9
V т00 т00 т00 т00
(7)
Кожний компонент вектора ознак ділиться на масу зображення т00, яка пропорційна його розміру. Цим забезпечується інваріантність об'єкта до зміни масштабу. Помітимо, що т00 ° ZM00. На практиці, для розпізнавання образів, рідко використовуються вектори
ознак порядку більше 15 в силу меншої стійкості моментів більш високого порядку до шуму, що знижує точність розпізнавання.
3. Відновлення орієнтації зображення за допомогою фаз моментів
При обертанні об'єкта у фронтальній площині комплексний вектор моменту Зерніке також виконує поворот у комплексній площині разом з ним. При значенні порядку гармоніки моменту т = 1 комплексний вектор виконує один повний оберт відносно початку координат за час одного повного оберту об'єкта, при т = 2 вектор моменту робить два повні оберти за час одного повного оберту об'єкта і т.д. Значення фаз моментів, тобто кутів повороту векторів моментів на комплексній площині щодо вектора (1, 0), навмисне не використовуються, оскільки як ознаку беруть довжину комплексного вектора. Проте їх можна одержати зі значень моментів.
Нехай т = 1. Тоді фазу а є [0;2р] для моменту ZMn1 порядку п можна обчислити
за формулою
Im(ZM„,) 3п
і/ > 0) а = отая - + —
Яє^„,) 2
і/ Re(ZMn1 < 0), а = агеїя і/ Re(ZMn1 = 0), а = 0
+ —
Яє^„л) 2
Ми провели чисельний експеримент по відновленню орієнтації поверненого у фронтальній осі зображення. Для цього використано зображення з бази даних С0ІЬ-20 Колумбійського Університету, США
[15] і програмно повернено його у фронтальній осі з дискретністю 30°, отримавши в такий спосіб 12 зображень. Вони показані на рис. 2.
Для цих зображень були обчислені моменти ZM11, потім
розраховані абсолютні значення фаз моментів за формулою (11), а також відносні кути повороту зображень як різниця значень фаз моментів першого зображення і фаз моментів інших зображень. У табл. 1 наведені результати цих чисельних експериментів.
Таблиця 1. Результати відновлення фази моменту і відносної орієнтації штучно поверну-
Номер зображення Абсолютне значення фази, а Дійсна відносна орієнтація зображення, град Відновлена по фазі відносна орієнтація зображення, град
1 257,28 0 Прийняте за 0
2 285,98 30 28,70
3 314,07 60 56,79
4 341,65 90 84,37
5 10,52 120 113,24
6 39,86 150 142,58
7 69,64 180 172,36
8 101,66 210 204,38
9 133,92 240 236,64
10 165,83 270 268,55
11 197,66 300 300,38
12 228,15 330 330,87
У своїй дисертації [14] С. Абдалла показав, що інформацію про фази моментів можна використовувати для додаткового підвищення якості класифікації об'єктів, оскільки по ній можна відновлювати вихідну орієнтацію зображення й використовувати її як зворотну гіпотезу. Цей метод працює, якщо в наявності є додаткова апріорна інформація про мож-
ливі обмеження в орієнтації об'єкта. Наприклад, для стаціонарної системи відеоспостере-ження з блоком розпізнавання осіб можна чекати неможливість наявності в полі зору віде-окамери перевернутих «нагору ногами» осіб. Цей метод не отримав великого поширення через необхідність зазначення припустимих областей для фаз моментів різних образів вручну або необхідність використання прикладів зображень при всіх припустимих поворотах для автоматичного виявлення областей припустимих значень фаз моментів класифікатором, що не завжди є можливим.
4. Відносні фазові орієнтації моментів і формування вектора ознак на їхній основі
Розглянемо запропонований метод отримання відносних фазових орієнтацій моментів. Нехай на одиничному колі задане півтонове зображення. Визначимо кількість кругових сегментів Ь , на яке ми розбиваємо зображення, Ь > 3, Ь є 2 . Для кожного цілого і, такого
що 1 < і < Ь , визначимо відповідний круговий сегмент Кі за формулою
Д = "x,у: г_ <л[хГ+уІ <г, г = Ьхі.
(9)
При і = 1 круговий сегмент є колом радіуса — з центром у точці початку коорди-
Ь
нат, яка знаходиться в точці центра мас зображення, а при 2 < і < Ь круговий сегмент являє собою кільце ширини — з тим самим центром. Визначимо фази аі для кожного кругового
Ь
Рис. 3. Фази моментіва1,а2,а3, обчислені для різних кругових сегментів Д, Д, Д оригінального зображення, і їх зміна в випадку повороту зображення навколо фронтальної осі
сегмента Д за формулою (9). Порядки моментів, які використовуються для обчислення фаз, повинні бути строго зафіксовані. На рис. 3 показано поділ зображення на три кругові сегменти за описаним вище способом і можливі фази моментів для кожного з сегментів при значенні парамет-
ра Ь = 3.
По побудові кругових сегментів, при повороті зображення у фронтальній осі, а також при зміні масштабу зображення і трансляції, орієнтація фаз моментів один відносно одного не змінюється, кути між комплексними векторами моментів залишаються ті ж самі. Відносна кутова відстань між двома послідовно розташованими моментами ак й
ак+1 може бути обчислена за формулою (10):
ак = д/ совСа+1 -а)2++1 -а)2 (10)
для 1 < к < К, К = Ь -1. Відносні фазові орієнтації моментів РОК порядку К обчислюються за формулою
РОк =&;...; йк )Т. (11)
Вони можуть бути використані як самостійні вектори ознак, а можуть додаватися до векторів ознак на основі моментів Зерніке, разом формуючи спільні вектори ознак:
ІМРОнл
\тмЛ \тмЛ \шЛ \тм 1
111 20 22 NN
, ^і,..., <ік
(12)
у
Вектори ознак, обчислені за останнім способом, становлять особливий інтерес. По-перше, вони містять у собі моменти Зерніке, ефективність яких в області розпізнавання двовимірних образів була підтверджена багатьма практичними дослідженнями. По-друге, в них містяться нові компоненти, що відповідають взаємним моментним фазовим орієнтаціям. Ці нові ознаки несуть у собі додаткову інформацію про структуру зображення, мають невеликий об'єм і можуть бути ефективно обчислені.
5. Результати експериментів по класифікації зображень
Було проведено тестування ефективності роботи пропонованого методу виділення ознак на задачі класифікації зображень, взятих з бази півтонових зображень С0ІЬ-20 [15]. Вибірка для експериментів була підготовлена по способу, ідентичному використаному в роботі
[16]: з бази даних було обрано 8 зображень, показаних на рис. 4.
т00
т00
т00
т00
Причиною вибору саме цих прикладів була їх велика зовнішня схожість. Розмір оригінальних зображень - 128x128. Потім кожне із зображень було програмно стиснуте/розтягнуте з коефіцієнтами масштабування 1 є {0.5,0.75,1.1.5,2} та повернуте навколо фронтальної осі на кути/3є {30о,60о,...,360о}, формуючи в такий спосіб множину з 480 зображень.
Як класифікатор був використаний метод к найближчих сусідів при к = 1. Для навчання класифікатора використовувалися тільки оригінальні зображення, показані на рис.
4, по одному для кожного класу. Всі інші зображення були використані для оцінки якості класифікації. Точність класифікації г обчислювалася за формулою
= Кількість правильно класифікованих зображень хю0% (13)
Загальна кількість зображень У ході першого експерименту по класифікації як вектори ознак використовувалися вектори, що містять тільки відносні орієнтації фаз моментів при кількості кругових сегментів Ь = 3 , обчислені за формулою (11). Результати експерименту наведені в табл. 2.
Таблиця 2. Точність класифікації півтонових зображень при використанні векторів ознак, що містять тільки відносні орієнтації фаз моментів Зерніке залежно від параметрів_____________
п = 1, т = 1 п = 3, т = 1 п = 5, т = 1 п = 7, т = 1 п = 9, т = 1 п = 11, т = 1 п = 13, т = 1 п = 15, т = 1
РО, точність класифікації, % 45,975 67,373 59,958 61,017 58,686 52,331 46,61 33,686
Точність класифікації вийшла невисокою, що можна пояснити невеликим розміром векторів ознак, К = 2 . Використовувати такі вектори ознак самі по собі у випадку застосування простих класифікаторів не можна.
Рис. 5. Точність класифікації зображень залежно від порядку використаних моментних функцій (ліворуч), середній час обчислення вектора ознак залежно від порядку моментних функцій
(праворуч)
У наступному експерименті ми порівнювали точність класифікації, отриману при використанні традиційних інваріантних моментів Зерніке ZMI, обчислених за формулою (7), і пропонованих спільних векторів відносних орієнтацій фаз моментів і моментів Зерніке ZMIPO, отриманих за формулою (12) для різних порядків моментів Зерніке, що входять до складу обох векторів ознак. Для обчислення відносних орієнтацій фаз моментів завжди використовувалися параметри n = 1, m = 1.
Як випливає з графіків на рис. 5, точність класифікації, отримана при використанні запропонованих векторів ознак ZMIPO, вийшла краще, ніж точність класифікації для традиційних ознак ZMI для моментів усіх порядків. Різниця в часі обчислення векторів ознак при цьому зросла незначно.
В останньому експерименті наша множина з 480 зображень було штучно зашумлена шумом типу “salt & pepper” з рівнем шум/сигнал 1%, 2%, 4% і 10%. Результати класифікації при використанні зашумлених зображень наведені в табл. 3.
Таблиця 3. Точність класифікації зображень з різним рівнем шуму для різних методів
Без шуму Шум 1% Шум 2% Шум 4% Шум 10%
Традиційний метод 2МІ, % вірних відповідей 96,61 96,19 94,07 95,76 85,17
Пропонований метод 2МІРО, % вірних відповідей 97,03 96,82 94,28 95,97 86,44
Як випливає з останньої таблиці, запропонований новий метод формування векторів ознак забезпечує більшу стійкість до шуму, ніж традиційний метод моментів Зерніке.
6. Висновки
У нашій роботі ми обчислюємо фази моментів для спеціальним чином визначених кругових сегментів зображення, а потім використовуємо їхні взаємні орієнтації, які є інваріантними до повороту, масштабування та трансляції. Було експериментально показано, що нові об'єднані вектори ознак відносних орієнтацій фаз моментів і моментів Зерніке забезпечують кращу якість класифікації, ніж стандартні моменти Зерніке, а їх обчислення не забирає значну кількість додаткових ресурсів.
Вимагають додаткового дослідження питання встановлення оптимальної кількості кругових сегментів, оптимального порядку моментів для обчислення значень фаз моментів, впливу перетинання кругових сегментів на якість розпізнавання. Крім того, відкритим залишається питання про можливість використання чистих векторів відносних орієнтацій фаз моментів як генераторів слабких ознак разом з багатомодульними класифікаторами, що працюють за схемами бустинга. Такі ознаки могли б стати потенційними замінниками неінваріантних до афінних перетворень вейвлетів Хаара в детекторах об'єктів, побудованих по типу детекторів осіб Віоли й Джонса [21]. Заслуговує також додаткової перевірки ефективність запропонованого методу стосовно до інваріантних моментів інших типів.
СПИСОК ЛІТЕРАТУРИ
1. Хайкин С. Нейронные сети: полный курс / Хайкин С.; пер. с англ. - [2-е изд., испр.]. - М. : Вильямс, 200б. - С. бб.
2. Flusser J. Moments and Moment Invariants in Pattern Recognition / Flusser J., Suk T., Zitova B. - Wiley & Sons Ltd., 2009. - 29б р.
3. Hu M.K. Visual pattern recognition by moment invariants / M.K. Hu // IRE Transactions on Information Theory В. - 19б2. - N 2. - P. 179 - 187.
4. Teague M. Image analysis via the general theory of moments / M. Teague // Journal of the Optical So-
ciety of America 70. - 19В0. - N В. - P. 920 - 930.
5. Teh C.H. On image analysis by the method of moments / C.H. Teh, R.T. Chin // IEEE Transactions on Pattern Analysis and Machine Intelligence 10. - 19ВВ. - N 10. - P. 49б - 513.
6. Sheng Y. Orthogonal Fourier-Mellin moments for invariant pattern recognition / Y. Sheng, L. Shen // Journal of the Optical Society of America A. - 1994. - Vol. 11, N б. - P. 174В - 1757.
7. Mukundan R. Image analysis by Tchebichef moments / R. Mukundan, S.H. Ong, P.A. Lee // IEEE
Transactions on Image Processing. - 2001. - Vol. 10. - P. 1357 - 13б4.
В. Yap P.T. Image Analysis by Krawtchouk Moments / P.T. Yap, R. Paramesran, S.H. Ong // IEEE Transactions Image Processing. - 2003. - Vol. 12. - P. 13б7 - 1377.
9. Image analysis by discrete orthogonal Racah moments / H. Zhu, H. Shu, J. Zhou [et al.] // Signal Processing. Elsevier Science. - 2007. - Vol. В7. - P. бВ7 - 70В.
10. Zhenjiang M. Zernike moment-based image shape analysis and its application / M. Zhenjiang // Pattern Recognition Letters. - 2000. - Vol. 21. - P. 1б9 - 177.
11. Rodtook S. Numerical experiments on the accuracy of rotation moments invariants / S. Rodtook, S.S. Makhanov // Image and Vision Computing. - 2005. - Vol. 23. - P. 577 - 5Вб.
12. Rouze N.C. On the connection between the Zernike moments and Radon transform of an image / N.C. Rouze, V.C. Soon, G.D. Hutchins // Pattern Recognition Letters. - 200б. - Vol. 27. - P. бЗб - б42.
13. Kim H.J. Eye Detection in Facial Images Using Zernike Moments with SVM / H.J. Kim, W. Yul // ETRI Journal. - 200В. - Vol. 30, N 2. - P. 335 - 337.
14. Abdallah S.M. Object Recognition via Invariance / S.M. Abdallah // Ph.D. thesis. - The University of Sydney, 2000. - P. 17.
15. Nene S.A. Columbia Object Image Library (COIL-20) / S.A. Nene, S.K. Nayar, H. Murase [Електронний ресурс] // Technical Report CUCS-005-96, February 199б. Available in World Wide Web at. -Режим доступу: http://www1.cs.columbia.edu/CAVE/software/softlib/coil-20.php.
16. Construction of a complete set of orthogonal Fourier-Mellin moment invariants for pattern recognition applications / H. Zhang, H.Z. Shu, P. Haigron [et al.] // Image and Vision Computing. - 2010. - Vol. 2В, Is. 1. - P. ЗВ - 44.
17. Lowe D.G. Distinctive Image Features from Scale-Invariant Keypoints / D.G. Lowe // International Journal of Computer Vision. - 2004. - Vol. 60, N 2. - P. 91 - 110.
1В. Bay H., SURF: Speeded Up Robust Features / H. Bay, T. Tuytelaars, L.V. Gool // Proc. of 9th European Conference on Computer Vision. ECCV 2006 (Graz, Austria, May 7-13, 2006). - Part I: Lecture Notes in Computer Science. - 2006. - Vol. 3951. - P. 404 - 417.
19. CHoG: Compressed Histogram of Gradients: A Low Bit-Rate Feature Descriptor / V. Chandrasekhar, G. Takacs, D. Chen [et al.] // Proc. of IEEE Conference on Computer Vision and Pattern Recognition, CVPR’2009. - Miami, USA, 2009. - P. 2504 - 2511.
20. Kanana H.R. Face recognition using adaptively weighted patch PZM array from a single exemplar image per person / H.R. Kanana, K. Faeza, Y. Gaob // Pattern Recognition. - 200В. - Vol. 41. - P. 3799 -ЗВ12.
21. Viola P. Rapid object detection using a boosted cascade of simple features / P. Viola, M. Jones. — Proc. of IEEE Conference on Computer Vision and Pattern Recognition. - Kauai, USA, 2001. - Vol. 1. -P. 511 - 51В.
22. Чернодуб А.Н. Метод выделения признаков на основе совместных векторов моментных фазовых распределений и моментов Зернике / А.Н. Чернодуб // Proc. of XVI-th International Conference "Knowledge-Dialogue-Solution", (September 06 - 10, 2010, Kyiv (Ukraine)). - Kyiv, 2010. - P. 162 -1б9.
Стаття надійшла до редакції 05.10.2010
