CC BY
28
У статтi сформован методи виявлен-ня облич та райдужног оболонки ока в системах комп'ютерного зору на основi методiв AdaBoost та локальних бтарних шаблотв, а також використання кольоро-вих просторiв для фшьтраци зображення
Ключовi слова: локальш бтарш шабло-ни, AdaBoost, розтзнавання, идентифжа-щя, комп'ютерний зiр, кольоровi просто-ри
□-□
В статье сформированы методы обнаружения лиц и радужной оболочки глаза в системах компьютерного зрения на основе методов AdaBoost и локальных бинарных шаблонов, а также использование цветных пространств для фильтрации изображения
Ключевые слова: локальные бинарные шаблоны, AdaBoost, распознавания, идентификация, компьютерное зрение, цветные пространства -□ □-
УДК 004.942, 57.087
ОСОБЛИВОСТ1 ЗАСТОСУВАННЯ МЕТОД1В ADABOOST ТА ЛБШ ДО ЗАДАЧ КОМП'ЮТЕРНОГО
ЗОРУ
М.В. Волошин
Астрант Вщдтення ГМУСЕ
1нститут проблем моделювання в енергетиц iM. Г.£.Пухова
АН УкраТни
вул. Генерала Наумова, 15, м. КиТв, УкраТна, 03164 Контактний тел.: 067-696-51-47 E-mail: [email protected]
1. Вступ
В Укра1ш бшьше 40 роюв активно розвиваеться та формуеться один з прюритетних напрямюв шфор-матики - створення штелектуальних шформацшних технологш i систем. Зусиллями украшських вчених i спещалшив досягнуто свiтовий прiоритет у цш галу-зi, що дозволило сформулювати Державну науково-технiчну програму «Образний комп'ютер».
Державна цiльова науково-технiчна програма «Образний комп'ютер» схвалена постановою Кабше-ту Мiнiстрiв Украши вiд 08.11.2000 №1652. та затвер-джена постановою Кабшету Мiнiстрiв Украши вiд 27 «чня 2010 р. №58 [1].
Програма «Образний комп'ютер» орiентована на створення нових високих наукомштких шформацшних технологш з елементами штелекту людини, здатних розумiти людську мову, бачити i сприймати об'екти навколишнього середовища, оперувати знан-нями. Таю технологи дозволять створювати якiсно новi типи комп'ютерiв для вирiшення складних задач, що недосяжне сучасними традицшними засоба-ми. Розроблення пристро1в, якi виконують не тiльки обчислення, але й моделюють образне сприйняття свиу та образне прийняття рiшень, вщносять до пе-редових напрямiв у свиовому науково-технолопчно-му прогресi.
Зпдно сформульованих цiлей та нових основ-них завдань ДНТП «Образний комп'ютер» повшстю вiдповiдае прiоритетному напряму розвитку науки i технiки «новi комп'ютернi засоби та технологii iнформатизацii сустльства», який визначено у Про-грамi дiяльностi Уряду та Державнiй програмi сощ-ально-економiчного розвитку Украiни.
В середовишд образного комп'ютера можливе моделювання процеив як образного, так i логiчного мислення. Напрями:
• мовленнeвi iнтелектуальнi iнформацiйнi технологи;
• 3opoBi iнтелектуальнi iнформацiйнi технологи;
• штелектуальш iнформацiйнi технологii обробки сигналiв складноi природи;
• штелектуальш шформацшш технологii, якi Грун-туються на використаннi знань.
2. Аналiз лiтературних даних та постановка проблеми
Визначення або вид^ення зiницi найб^ьш часто використовуеться для спостереження за вертикаль-ним або горизонтальним положенням ока [2], [3], [4]. Б^ьшкть з початкових систем вид^ення зшищ вико-ристовують занадто спрощене припущення, що зiниця являе собою коло i що його центр можна розрахувати як перетин вщповщних горизонталi i вертикалi. На практицi, навиь кругла зiниця приймае елiптичний вигляд при нецентральному положенш ока. D. Zhu, S.T. Moore i T. Raphan запропонували використову-вати криволшшш характеристики контуру зiницi i умктити iх в елiпс [2]. Б^ьшкть iз запропонованих на сьогоднiшнiй день методiв визначення зiницi очей не передбачають використання завадостiйких алго-ритмiв.
Для того щоб вiдокремити власне радужку вщ решти деталей на зображенш, в простому випадку можна використовувати вид^ення краiв (шляхом ана-лiзу першоi похiдноi) i наступну апроксимащю меж райдужки простими геометричними об'ектами. Так, окружшсть зiницi i зовнiшню межу райдужки можна знайти за допомогою перетворення Хафа (Hough transform) [5]. Iншi методи додатково визначають кордон райдужки i вiк двома параболами, як Wildes, або просто вiдрiзають ri частини зображення, якi можуть не ввдноситися до райдужки, як Daugman, Ma [5], [6].
©
Якщо для захоплення зображення не було вико-ристано спещально! апаратури, може знадобитися попередне придушення небажаних ефекпв, таких як вiдблиск всерединi зшищ вiд спалаху або iншого яскравого джерела свила, якщо цi артефакти заважа-ють коректнiй роботi алгоритму вид^ення райдужки
[7].
3. Мета та задачi дослщження
Метою роботи е розробка та реалiзацiя програм-ного iридологiчного комплексу. Вiн повинен реалiзо-вувати як мiнiмум двi основнi функцii: локалiзацiю райдужно! оболонки ока та щентифжащю iрiдоознак на вид^енш райдужцi. Обробка зображення ока скла-даеться з наступних послщовних крокiв:
• аналiз якостi зображення;
• вид^ення внутрiшньоi i зовшшньо! кордонiв райдужки;
• геометричнi перетворення вид^еного iрису.
Описанi в лiтературi методи видшення зiницi i зов-
шшнього кордону райдужно! оболонки ока базуються на детекторах краю i вид^енш окружностей допомо-гою перетворення Хафа. На зображеннях з великою розд^ьною здатшстю детектори краю дають безлiч по-милкових контурiв через нечггко! кордону райдужки. У свою чергу, на перетворення Хафа потрiбно багато часу.
У стати наведено результати дослщжень в областi комп'ютерного зору: розтзнавання облич та обробки зображень райдужно! оболонки ока. Представлений ряд нових алгоритмiв вид^ення нечiтких кордошв на зображеннi великого дозволу.
Одним iз прiоритетних напрямiв програми «Об-разний комп'ютер» i бiометрii в щлому е зоровi ште-лектуальш iнформацiйнi технологи.
Звичайно, в стати будуть розглянуи деякi аспекти даного напрямку та особливосп реалiзацii того або шшого пiдходу.
В стати наведен приклади та особливостi застосу-вання методу AdaBoost та методу локальних бшарних шаблонiв для задач комп'ютерного зору. В стати роз-глядаеться двi задачi:
• визначення обличчя на зображенш та його вден-тифiкацiя;
• локалiзацiя райдужно! оболонки ока та визначення iридоознак.
4. Експериментальш данi та ¡х обробка
Як метод вид^ення облич на зображеннi був обра-ний метод AdaBoost. Даний метод е одним з кращих по ствввдношенню показникiв (ефективнiсть розтзна-вання)/(швидюсть роботи). Цей детектор заснований на тдсиленш простих класифiкаторiв. Пiдсилення простих класифiкаторiв - пiдхiд до виршення задачi класифiкацii (розпiзнавання), шляхом комбшування примiтивних «слабких» класифiкаторiв в один «силь-ний» [8]. Пiд «силою» класифжатора в даному ви-падку розумiеться ефективнiсть (якiсть) розв'язання задачi класифiкацii.
Слабкий класифiкатор мае вигляд:
h(x,f,p, 0) =
1,pf(x) < p0 0, iнaкшe
(1)
де f - ознака, p - поляршсть, що показуе напря-мок нерiвностi, 0 - порогове значення.
Фшальний сильний класифiкатор може бути за-писаний у виглядi:
C(x) =
1, ¿atht(x) > 1 £a t
t=i t=i
0, шакше
(2)
де at = log в-.
Pt
Метод AdaBoost вщзначаеться високою швидкiстю роботи. Проте навиь вiн не забезпечуе обробку вщео-потоку стандартно! чiткостi в режимi реального часу. З метою зб^ьшення продуктивностi фiльтра, було прийнято ршення виконувати попередню обробку зображення [9]. 1дея цього пiдходу полягае в тому, що заметь того, щоб обробляти детектором AdaBoost весь кадр, можна визначити обласи, в яких ймовiрнiсть виявлення обличчя досить висока. Тим самим до-сягаеться не ильки прискорення роботи ф^ьтру, але i зменшуеться ймовiрнiсть помилкового виявлення облич [10].
Шюра мае доволi характерний дiапазон кольорiв, тому передобробку слщ будувати, класифiкуючи тк-селi по !х кольору. Для ще! задачi використовуються кольоровi простори RGB та YCbCr. Такий вибiр по-яснюеться тим, що для б^ьшоси зображень викори-стовуеться система RGB, тому при !! використаннi не виникае необхщносп перетворювати зображення в шшу кольорову систему, за рахунок цього при обробщ економиться час [10].
Правило-класифiкатор для кольорово! системи RGB мае наступний вигляд:
PRGB(skin) = R > 95 and G > 40 and B > 20 and
R>G and R>Band|R-G|> 15 and
max(R, G, B) - min(R, G,B) > 15
Це означае, що якщо для ткселя, заданого координатами (R,G,B) , виконуються вказанi обмеження, то його з високою долею ймовiрностi можна визначити як такий, що ввдноситься до шюри. В основi ще! формули лежить емпiричне спостереження, що для шюри лю-дини червона компонента ( R ) переважае над зеленою ( G ) i синьою ( B ). Також вони не повинш розташову-ватися дуже близько одна до одно! (шакше утворю-еться арий вщинок) i повиннi перевищувати пороговi значення, щоб мати достатню яскравшть. Приклад застосування даного класифжатора до зображення поданий на рис. 1.
Однак в системi RGB е штотний недолiк, який ускладнюе !! використання для кольорово! сегмента-цп, - в нш не роздiленi компоненти яскравоси та вщ-тiнку. В зв'язку з цим пропонуеться додатково викори-стовувати систему YCbCr, котра дозволяе !х розд^яти. В кольоровш системi YCbCr в якоси правила взято компоненту Cr, яка вщповвдае за вщтшок червоного кольору i повинна перевищувати певний пор1г (10 оди-ниць). Правило-класифiкатор запишемо у виглядк
PYCbCr(skrn) = (0.500R - 0.419G - 0.081B) > 10
Приклад застосування даного класифжатора до зображення поданий на рис. 2.
Рис. 1. Приклад застосування RGB-класифiкатора до растрового зображення
Застосовуючи щ класифжатори разом i окремо до рiзних зображень, був зроблений висновок, що ефек-тивш результати досягаються при '¿х сшльному вико-ристаннi (див. рис. 3).
Тобто формула ушверсального скш-детектора мае вигляд [10]:
p(skin) = Р^вОЫ^ and PYcbcr(skin)
Рис. 2. Приклад застосування YCbCr-класифiкатора до растрового зображення
Розтзнавання образiв проводиться шляхом ви-користання локальних бшарних шаблошв (надалi ЛБШ). ЛБШ представ-ляе собою опис околу шкселя зображення у двшковш формi. Оператор ЛБШ, що засто-совуеться до шкселя зображення викори-стовуе вiсiм пiкселiв околу, приймаючи центральний шксель у якостi порогу. Шксель якi мають значення б^ьш^ нiж центральний шксель (чи дорiв-нюють йому), прийма-ють значення «1», и, якi, менше центрально-
го, приймають значення «0». Таким чином, утворю-еться восьмирозрядний бiнарний код, який описуе окiл пiкселя [11].
Зображення обличчя розбиваеться на k х k областей.
Потiм у кожнш областi для кожного шкселя зображення обчислюеться ЛБШ-код. Шсля цього, для представлення глобального опису зображення об-личчя, всi пстограми областей об'еднують в одну пстограму. Ця гiстограма формуе вектор ознак об-личчя.
Рис. 3. Приклад застосування RGB- та YCbCr-класифкатора до растрового зображення
Для досягнення кращого розтзнавання образiв пропонуеться використовувати ЛБШ у формi елiпса (ЕЛБШ), тобто для формування ЛБШ використову-ються тi пiкселi околу, якi лежать на елши вiдносно центрального шкселя [10].
Застосування вищеописаних методiв до шшо! за-дачi комп'ютерного зору - вид^ення райдужно! оболонки ока мае сво! особливостi. Вид^ення райдужно! оболонки ока може бути застосовано як в бюметрп так i в медицин (завдання iридодiагностики). Бiльшiсть з iснуючих методiв для щентифжацп враховують ильки максимальний стрибок штенсивносп, але упуска-ють таку важливу деталь як текстура райдужки, яка необхщна при оцiнцi ïï щiльностi [7].
Для того, щоб закодувати текстуру можна вико-ристовувати метод локальних бшарних шаблошв [11] (див. рис. 4).
Кожен ЛБШ-код представляе собою тип мжрозо-браження структури, а ïx розподш можна використовувати в якоси опису текстури.
Рис. 4. Формування ЛБШ-кодiв
Як метод для розтзнавання використовуеться метод Adaboost [8], але набiр для класиф^аци ство-рюеться на основi побудованих ЛБШ-кодiв та !х роз-подiлу. Узагальнений алгоритм розпiзнавання:
1. Створити набiр для класифiкацii на основi ЛБШ-кодiв;
2. Обрати кращий «слабкий» набiр;
3. Побудувати компонент h (1) i додати до С (2);
4. Якщо не досягнутий визначений критерш продуктивной (даний критерiй визначаеться в ходi до-слiджень експериментальним шляхом), то навчальш зразки перевизначаються i весь цикл повторюеться з 2-го кроку; якщо критерш продуктивной досягнутий - формуеться вихщний набiр класифiкаторiв С(х).
Використовуючи кольоровi простори, можна побудувати будь-яю класифiкатори пiд будь-яю потреби класифiкацii об'ектiв спостереження на зображенш [10]. Використовуючи кольоровий прос^р YCbCr можна побудувати класиф^атор, який буде фiльтрувати зображення залишаючи лише iридо-ознаки.
Так, на рис. 5 показаний результат фшьтраци зображенняока,параметрикласифшатора: Y > 26, Cb < -8, Cr > 7.
Зображення ока взято з бази даних Ушверситету Палацького, яке було отримано за допомогою оптич-ного пристрою TOPCON TRC50IA сполученого з камерою SONY DXC-950P 3CCD.
Рис. 5. Результат застосування фшьтраци'
У результат аналiзу юнуючих алгоритмiв, схем локалiзацiï райдужно'1 оболонки i кольорових про-CTopiB був розроблений алгоритм, який дозволяе знайти iридоознаки на зображеннi ока:
1. Видшення райдужно'1 оболонки ока (через ЛБШ-коди).
2. Видiлення iридоознак:
2.1. Переведення зображення радужно'! оболонки з кольорового простору RGB у прос^р YCbCr:
Y = 0.299R + 0.587G + 0.114B
Cb = -0.169 R - 0.322G + 0.500B
Cr = 0.500R - 0.419G - 0.081B
де R, G, B - компоненти червоного, зеленого та блакитного вщтшюв зображення вщповщно.
2.2. Якщо на отриманому зображенш кнують области компоненти кольорового простору, яких задовольняють умовам: Y>26, Cb<-8, Cr>7 , то з великою долею ймовiрностi даш облас^ можна вщ-нести до iридоознак i помiтити чорним кольором на вихщному зображеннi, в протилежному випадку - бшим кольором.
3. Накладення обрано'1 схеми iридодiагностики.
Наведений алгоритм е важливим елементом комплексного програмного забезпечення iридодi-агностики з функщями автоматичного визначення iридоознак, графiчного редактора та експертно'1 си-стеми.
5. Висновки
У данш роботi наведено вир^ення науково'1 за-дачi комп'ютерно'1 щентиф^аци людини на основi аналiзу фронтального зображення обличчя та видЬ лення iридоознак в автоматизованих системах iри-додiагностики.
Проведений аналiз стану проблеми комп'ютерно'1 iдентифiкацiï людини за зображенням обличчя та локалiзацiï райдужно'1 оболонки показав, що в даний час для вир^ення задач автоматичного виявлення i розшзнавання не вироблено единого i надшного шдходу.
В ходi дослiдження одержав подальший розвиток метод пошуку областi обличчя на зображенш в на-прямку зменшення часу виявлення обличчя за ра-хунок попередньо'1 обробки зображення. Проведене дослщження показало покращення часу виявлення обличчя на зображенш майже у 2 рази (середне змен-шення часу складае 48%).
Удосконалено метод щентиф^аци, заснований на використанш локальних бiнарних шаблонiв зображення, у напрямку зниження сумарно'1 помилки розшзнавання. Розроблений метод використовуе мо-диф^оваш шаблони для побудови кожно'1 гiстограми зображення. Використання запропонованого шдходу дозволяе знизити сумарну помилку розшзнавання при виртенш задачi контролю доступу.
В шшш задачi - локалiзацiï райдужно'1 оболонки ока та щентиф^аци iридоознак на зображенш ока, заметь iснуючих методiв, яю використовують спрощуючi пiдходи локалiзацiï, пропонуеться вико-ристовувати метод AdaBoost в поеднанш з методом ЛБШ. Таке поеднання дозволяе не тшьки ефективно та безпомилково визначати райдужну оболонку ока, а й враховувати текстуру радужки для проведення подальших дослщжень. Для щентиф^ацп iридоознак використовуеться фiльтрацiя заснована на кольоро-вому просторi YCbCr.
Запропоноваш в роботi методи реалiзованi в про-грамному продуктi i забезпечують точну i швидку об-робку зображень в режимi реального часу.
Лгтература
1. Образний комп'ютер [Електронний ресурс] / Державна науково-техшчна програма - Режим доступу : \www/ URL: http://
obrazcomp.irtc.org.ua/default.htm - 19.03.2011 р. - Заголовок з екрану.
2. Zhu D. Robust pupil center detection using a curvature algorithm [Текст] / Zhu D., Moore S.T., Raphan T. // Computer methods and programs in biomedicine. - 1999. -№3 (59). - с. 145-157.
3. A hybrid algorithm for video-based eye tracking combining feature-based and model-based approaches [Текст] : тези доп. наук.-практ. конф. (червень 2005) / вщп. ред. L. Dongheng - San Diego: CVPR, 2005. - с. 79.
4. Moore S.T. A geometric basis for measurement of three dimensional eye position using image processing [Текст] / Moore S.T., Hasl-wanter T., Curthoys I.S., Smith S.T. // Vision research. - 1996. - №36. - с. 445-459.
5. Iris Recognition Using Circular Symmetric Filters [Текст] : тези доп. наук.-практ. конф. (червень 2002) / вщп. ред. Li Ma - Boston: ICPR, 2002. - c. 20414-20418.
6. Iris Recognition: An Emerging Biometric Technology [Текст] : тези доп. мГж^р. наук.-техн. конф. (вересень 1997) / вщп. ред. R. Wildes - Oregon: IEEE, 1997. - c. 1344-1347.
7. Tisse С. Person identification technique using human iris recognition [Текст] / Tisse С., Martin L., Torres L., Robert M. // Vision Interface - 2002. - с. 294-299.
8. Viola P. Robust Real-Time Face Detection. [Текст] / Viola P., Jones M. // International Journal of Computer Vision. - 2004. - №5-7(2). - с. 137-154.
9. Визначення впливу моделi опису об'екта на достов1ршсть його щентифжацп в системах комп'ютерного зору [Текст] // тези доп. мГж^р. наук.-техн. конф. (вересень 2010) / вщп. ред. М.В. Волошин - Ки!в: МЕЕС, 2010. - с. 69-72.
10. Волошин М.В. Моделi опису об'екта та достов1ршсть щентифшаци в системах комп'ютерного зору [Текст] // EE JET. - 2010. - №4/7 (46) - с. 56-63.
11. Маслш Р.В. Використання локальних бшарних шаблошв для розтзнавання облич на нашвтонових зображеннях [Текст] // ВНТУ.- 2008.- №4.- С.1-6.
Abstract
The application of AdaBoost method and local binary pattern (LBP) method for different spheres of computer vision implementation, such as personality identification and computer iridology, is considered in the article. The goal of the research is to develop error-correcting methods and systems for implements of computer vision and computer iridology, in particular. This article considers the problem of colour spa -ces, which are used as a filter and as a pre-processing of images. Method of AdaBoost is used for detection of a face; and method of LBP is used for its identification. The general application of these methods is used to find the iris in the tasks of computer iridology and biometrics. Pre-processing of image allows acc -elerating the detection of a face in the picture in almost twice. The construction of classifiers for AdaBoost method on the basis of local binary patterns can improve error-correcting method of recognition, because the texture of an image is considered in this case. The research results can be used by experts for the construction of biometric systems and automated iridology systems in medical diagnosis
Keywords: local binary pattern; AdaBoost; recognition; identification; computer vision; colour spaces
