АНАЛіЗ МЕТОДОВ РОЗПіЗНАВАННЯ У МОДЕЛЯХ ЖЕСТОВОї МОВИ Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 004.8

Проведено дослидження, яке спрямоване на пошук параметрiв методiв розтзнавання зображень реального часу для iдентифiкацu елементiв мови жестiв, яким кори-стуються люди з пониженим слухом. Метою дослиджень е створення програмно-комп'ютерног системи для навчання мовi жестiв, особливо для людей, як втратили слух

АНАЛ1З МЕТОД1В РОЗП1ЗНАВАННЯ У МОДЕЛЯХ ЖЕСТОВО1

МОВИ

Ю.В.Жкольський

Кандидат фiзико-математичних наук, доцент* Контактний тел. 8(032)2582538 [email protected]

М.В.Давидов

Астрант*

Контактний тел. 8 (067) 9464093 Maksim [email protected] *Кафедра „1нформацты системи та мережГ' 1нститут комп'ютерних наук та шформацшних технологш Нацiонального ушверситету „Львiвська пол^ехшка" вул. С. Бандери, 12, Львiв, УкраТна 79013.

О.В.Пасечник

Вчитель iнформатики Навчально-виховний комплекс "l±lкола-пмназiя "Сихiвська" вул.Хоткевича, 48, м.Львiв 79070, УкраТна [email protected]

1. Вступ

Дослщження жестовоТ мови, якою користуються люди з пониженим слухом, останшм часом набули значного поширення, оскiльки стлкування з людьми, якi користуються жестовою мовою, вимагае залучення сурдоперекладачiв. Таю фахiвцi е у значному дефщип, 1х пiдготовка стае нацiональним прюритетом, що, в свою чергу, вимагае застосування до такоТ пiдготовки нових шформацшних технологш. Проблема набула загальнодержавного значення. За шформащею агенцii УН1АН вiд 3 грудня 2007 року Президент Украши Вiктор Ющенко доручив мшктерству освiти i науки з 1 вересня 2008 року розпочати тдготовку фахiвцiв - сурдоперекладачiв. Таке доручення Президент дав на всеукрашськш нарадi "Безбар'ерна УкраТна". "У системi вищоТ освiти ми повиннi дати вщповщь, що, починаючи з вересня наступного року, ми починаемо пiдготовку фахiвцiв з мови жеспв", - заявив В.Ющенко (www.unian. net /ukr/news /news-2 2 4 756/html).

Додатковою проблемою е вивчення жестовоТ мови людьми, як втратили слух. Для такоТ категорп людей потрiбнi простi засоби та програмно-комп'ютерш тренажери для самостiйного засвоення мови жеспв. Отже, задача розроблення нових засобiв спiлкування, якi базуються на сучасних шформацшних технолопях, набувае значноТ актуальностi.

Автори пропонованоТ статтi впродовж тривало-го часу займаються дослвдженнями, пов'язаними iз створенням програмно-комп'ютерноТ системи для ав-томатизацii спiлкування украшською жестовою мовою [1,2]. Результати дослщжень демонструвались на Всесвiтнiх комп'ютерних виставках CeBIT 2006, 2007 та 2008 [3]. Для побудови систем стлкування проаналiзовано систему вiзуальних сигналiв та розро-блено програмнi засоби розтзнавання таких сигналiв з метою Тхнього подальшого перетворення у текстовi або вербальнi повiдомлення. Важливою вимогою, яка врахована тд час розроблення системи - и викори-стання у реальному чась В УкраТш вiдсутнi аналоги проведених дослiджень, а розроблення системи iз вра-хуванням специфжи украшськоТ жестовоТ мови вико-нуеться вперше.

Для побудови системи щентифжацп жесив проведено аналiз вiдеозображень та вид^ено елементи, якi визначають змкт та специфiку жестiв та дозволяють виявляти особливосп рiзних способiв передачi змь стовноТ iнформацii. Спецiальнi дослщження виконано з аналiзу дактиля, у якому комбшацп пальцiв мають змкт букв алфавiту, цифр та окремих ^в [4]. У дакти-лi вiдсутнi рухи всiеi руки та не задiянi iншi частини пла людини, що зображае жест.

Математичне моделювання жеспв, якi виконують пальцями одше' руки, виконане з метою розроблення спецiалiзованого програмного забезпечення як основи для створення прототипу програмно-комп'ютерно' си-стеми для пiдготовки сурдоперекладачiв.

2. Аналiз останнiх дослщжень в галузi розпiзнавання елементiв жестово! мови

У сферi дослiджень з аналiзу та моделювання же-стово' мови вiдомi такi основнi пiдходи: за методом отримання шформацп про жест, iз використанням до-даткових засобiв отримання iнформацii про жест та за способами опрацювання iнформацii про жест.

У першому з пiдходiв е методи, у яких використову-ють такi технiчнi засоби:

1) рукавищ iз механiчними давачами;

2) одну фронтальну камеру;

3) двi камери: одну фронтальну та одну верхню або бiчну;

4) одну фронтальну стереокамеру.

У другому пiдходi використано додатковi засоби отримання шформацп про жест:

1) з допомогою маркерiв на пальцях рук;

2) з допомогою спещальних рукавиць;

3) без використання маркерiв та рукавиць.

Третш пiдхiд оснований на опрацювання отрима-

ноi iнформацii методами:

1) вид^ення форми долонi;

2) вид^ення траекторii руху;

3) видiлення мiмiки обличчя;

4) опрацюванням цiлого зображення без видь лення окремих його частин.

Метод iз опрацюванням щлого зображення без видiлення окремих його частин описано в статтях [5] та [6]. За таким методом повне зображення змен-шують до розмiрiв 32x32 тксели та обробляють рiз-ними фiльтрами з метою вид^ення важливих його характеристик. Для порiвняння жестiв, зображення яких мштяться у певнiй базi даних, використовують методи, побудоваш на основi прихованоi маркiвськоi моделi. Такий метод розглянуто у робой [7], а його ефектившсть тдвищена використанням лiнгвiстичноi моделi, побудованоi на основi триграм, та визначенням траекторп руху руки. На базi iз 201 речення iз трьома доповiдачами було отримано 17% помилкових розтз-навань слiв.

Для розпiзнавання кiнцiв пальцiв е деюлька тдхо-дiв. Один з них - метод радiальноi пстограми, з допомогою якою здшснюють пiдрахунок зображень паль-цiв [8]. Цей метод дозволяе знайти юльюсть пальщв, якщо на зображеннi вони вщдшеш вiд тла та не пере-кривають зображення долонi. Метод не застосовний тод^ коли зображення долош перекривае обличчя.

3. Мета дослщжень

Дослiдження, результати якоi наведено у цш статтi, полягали в аналiзi особливостей кодування зображень пальщв однiеi руки у реальному чась За наве-деною класифжащею дослiджуванi методи е такими, що отриманi однiею фронтальною камерою без вико-

ристання маркерiв та рукавиць та опрацьоваш як цiле зображення без вид^ення окремих його частин. Тому програмне забезпечення, яке розробляеться в процеа дослщжень, дозволяе використовувати для розтзна-вання жесту обладнання лише у складi комп'ютера та веб-камери.

Дослвджено рiзнi аспекти моделювання елеменпв жестовоi мови для '¿х щентифжацп. Для дослiджень узято вiдеопiдручник укра'нсько' жестовоi мови, який використовують для навчання у спецiалiзованих школах для дией з вадами слуху.

Словник украiнськоi жестовоi мови налiчуе близь-ко двох тисяч жесив, кожний з яких означае букву, слово або словосполучення. Жест складаеться з фж-сованих положень пальщв рук, долош, кисп руки, всiеi руки, двох рук; його виконують в ру«, але '¿х зображення можна розглядати як послщовносп окремих фжсованих картинок. До елеменив жесту додаеться мiмiка обличчя, артикулящя слiв губами, рухи частин пла. Для розпiзнавання жесту застосовано нейронну мережу, побудовану за схемою багатошарового пер-септрона.

4. Постановка задачi дослщження елеменив мови жестiв

Розглянемо пiдходи, як використано до вирiшення задачi аналiзу методiв кодування зображень з метою розтзнавання на зображеннi комбiнацiй пальщв од-нiеi руки. Т' виршення дозволяе класифiкувати такi комбiнацii та щентифжувати елементи дактиля.

Основною складшстю розпiзнавання елементiв же-стово' мови та, зокрема, кшщв пальцiв е перекриття зображень долош з частиною обличчя та неоднорщно-ст тла. У разi визначення кра'в перекриття зображення руки та елеменпв обличчя призводить до помилко-вого розтзнавання кшщв пальщв.

Результати дослщжень iз розпiзнавання кiнцiв пальцiв стосуються методу еталону для створення множини навчальних прикладiв, модифжованого методу найшвидшого спуску [9] та методу спряжених градiентiв навчання нейронних мереж. Метод еталону та модифжований метод найшвидшого спуску для навчання нейромереж запропоновано авторами цього дослщження.

Порiвняно методи навчання з використанням нейронних мереж та iншi методи, яю використано для знаходження кшщв пальщв руки на зображенш. Для навчання нейронно' мереж за модифжованим методом найшвидшого спуску використана мережа з одним виходом, зображена на рис.1,а. Тут значення вважае-мо ознакою належносп дослiджуваноi областi кiнцю пальця. Для навчання нейронних мереж за методом спряжених градiентiв побудовано мережу з двома ви-ходами, зображену на рис.1,б. Для и навчання використано програмну реалiзацiю методу спряжених градь ентiв з бiблiотеки LTI-Lib (http://ltilib.sourceforge.net/). Якщо Y1 > Y2, то вважаемо, що дослщжувана область зображення належить кшцю пальця, шакше - не на-лежить. Така нейронна мережа виявилась нестшкою до шумiв на зображеннi. Тому додатково виконано згладжування результату усередненням за чотирма сусщшми пiкселами. Зауважимо, що не вдалось на-

вчити неиромережу за методом наишвидшого спуску, реалiзованим у бiблiотецi LTI-lib.

I d,

I dij' (1 - ,

I Id,-Ч2 ■ C

D = -

-, D2 =-

I (1 - ,

-,S =

IC

S2 = -

2

I|d,-D2| ■(1 -C,) I (1 - ,

S=

12 _

|d1 - d2|2+|s1 - s2

8jq) за формулою

, , kq+1 s(4) = KbackF'(s(q))-18<q+V

(4+1)

q = Q- 1,Q-2,...,1, j = 1,2,...,kq. Тут Q - кiлькiсть шарiв нейрошв; q - номер шару нейрошв, q = 1,2,...,Q ; kq - кiлькiсть неИронiв у шарi q; x,q) , j = 1,2,...,kq-1 -

а) б)

Рис. 1. Мережi, якi використано в експериментах: а) мережа, яку навчено за модифкованим методом найшвидшого спуску; б) мережа, яку навчено за методом спряжених градieнтiв.

Для вщд^ення зображення кшщв пальцiв вщ тла та визначення ступеня належноси пiксела зобра-женню кiнця пальця побудовано метод чорно-б^ого еталону, який полягае у наступному. Нехай С - атри-ця розмiрiв МхN з елементами с^, е [0,1], 1 < 1 < М, 1 < ] < N - яскравостями пiкселiв еталона. Значення с. задае стушнь належностi точки зображення iз координатами (1,]) об'екту, а значення 1 -с. - сту-пiнь належностi точки (1,]) тлу. Нехай матриця D з елементами ^ , 1 < 1 < М, 1 < 1 < N мiстить область зображення розмiрiв М х N пiкселiв у кольоровому просторi зображення . Тут об'ектом е кшщ паль-цiв. Накладанням зображення та еталона обчисле-но середньозваженш колiр та середньоквадратичне вiдхилення кольору в кольоровому просторi для вщповщних пiкселiв в околi об'екта ^^) та тла

(D2,

^) за формулами

входи нейрошв шару з номером q , x0q) = 1; x(1) = x, входи мережг, w|(4) - вага синаптичного зв'язку нейрошв з номерами N|q-1) та N(q);

kq-1

s(4) = Iw(,4)x(q) , i=0

q = 1,2,...,Q , , = 1,2,...)kq - зважена сума входiв нейрона з номером N,q); y(q) - значення, обчислене нейроном N(q), y,q) = F(s,q)); x,q) = y(q-1), , = 1,2,...,kq-1, q = 2,3,...,Q - входи нейрошв шару q, якi дорiвнюють виходам нейрошв шару q -1 ; F'(s(q)j - пох щ на акти-вацiИноi функцii нейрона F(x) у точцi s(q). Уа па-раметри алгоритму обчислеш у певний момент часу t. Навчання неИромережi виконано на прикладах, кожний з яких е числовим кортежем з компонентами

- характеристиками пiкселiв зображення. Кожному прикладу поставлено у вщповщшсть одиниця, якщо вш мiстить зображення кшця пальця, та нуль

- в шшому випадку. Для побудови прикладiв вико-нане попередне опрацювання зображення з метою зменшення кiлькостi елементiв кожного шксела. Ек-спериментально встановлено, що жодна з компонент формату RGB, у якому зображення поступае з вщео-камери, не дозволяе вiдрiзняти руку вщ деталей тла. Тому кольори подано у формам YCbCr. Запропоновано формувати приклади з околу кожного шксела, який мае форму мальтшського хреста.

Розмiр околу задано параметром R - юльюстю пiкселiв на сторош хреста. Для R = 2 кожний приклад складаеться з 9 елеменив iз значеннями Cr-компонен-ти кольору пiкселiв. Якiсть розшзнавання ощне-но за якiстю розшзнавання, усшшшстю та часом навчання у секундах. Яюсть розпiзнавання визначаемо за вщсотком помилок розпiзнавання, який обчислюе-мо за формулою

Err% =

Nnotfound + Nspurious

N

100%,

fingertips

Ступiнь вщмшносп околу зображення вiд еталону визначатимемо за формулою

1 + ^ + S2

Що ближче значення S12 до нуля, то менше ста-тистичнi показники околу об'екта вiдрiзняються вiд показниюв тла та менша iмовiрнiсть того, що в дослщ-жуваному околi знаходиться шуканий об'ект.

Для пришвидшення навчання нейромережi на осно-вi методу найшвидшого спуску [9] побудовано модифь кацiя методу зворотного поширення похибки, яка полягае у введенш множника КЬаск та обчисленш множника

де Nnot found - кшьюсть нерозпiзнаних кiнцiв пальцiв, N - кiлькiсть неправильних розпiзнавань,

spurious

Nfingertips - загальна кiлькiсть кiнцiв пальщв на навчально-му зображеннi (прийнято Nfingertips = 19 ). Неправильною вважаемо щентифжащю мережею елемента зображення як кшця пальця, який насправдi ним не був. Спробу навчання вважатимемо устшною, якщо для mi отримано Err%<50%. Для вибору оптимального значення кшькосп неИронiв у прихованому шарi проведено низку експе-риментiв. 1х результати показано на рис. 2. Найкрашд результати отримано для 5 та 6 нейрошв. Активацшною функщею неИронiв обрано непарну сигмощальну функ-

ЦiЮ

F (x) = ( 1 + e-x )-1 - 0.5 .

Приклади для навчання нейронно! мережi обрано з рiзних частин навчального зображення так, щоб кiлькостi зображень, якi мiстять кшщ пальщв, та зображень тла були однаковими. Для вибору найкра-щого методу навчання нейронну мережу навчали за методами найшвидшого спуску, запропонованою його модифжащею, а також методом спряжених градiентiв. Навчання виконано за 200 циклiв, а критерiем за-вершення е граничне значення похибки, яке обране рiвним 10%.

ij

iJ

c

!J

19'№ Я

Рис. 2. Залежжсть якiсних характеристик навчання вщ кiлькостi нейронiв у прихованому шарк

Знаходження кiнцiв пальцiв з допомогою навчено! нейронно! мережi виконане на усьому кадрi разом iз тлом, на якому вщбувалась вiдеозйомка. Кисть руки на ньому не вщокремлювалась вщ тла жодним способом.

Яюсть розпiзнавання оцiнено на чотирьох зобра-женнях.

Перше з них складалося з кадрiв, використаних для навчання нейромережг, друге (рис.3,а) та трете сформован з кадрiв руки тiеi само! людини у тих самих умовах освилення, що i на першому зображеннi. Четверте зображення складалось з кадрiв руки iншоi людини, вщзнято! як в тих самих, так i в iнших умовах освилення (рис.3,б). На другому зображенш було видалене тло, яке заважало розшзнаванню пальцiв, на третьому тло було залишено. Для кожного набору па-раметрiв здiйснено 20 спроб навчання для N = 80 на-вчальних прикладiв.

На рис.4 показано розпод^ сумарного часу опра-цювання одного кадру зображення нейромережею, на-вченою рiзними методами. Нейронна мережа, яка на-вчена модифжованим методом найшвидшого спуску значно швидше опрацювала зображення, нiж мережа навчена програмами з бiблiотеки LTI-lib. Це можна пояснити тим, що цей метод виконуе обчислення лише для одного вихщного нейрона, а обчислення опти-мiзованi тд набiр команд процесора SSE2, на якому вони виконувались.

б)

Рис. 3. Зображення, ям використано для оцшювання якост розпiзнавання: а) зображення iз тлом; б) зображення руки шшоТ людини, отримане в шших умовах осв^лення.

5. Висновки

Проведенi дослiдження iз розпiзнавання елементiв жестово! мови спрямоваш на вибiр методiв навчання нейронно! мережi для опрацювання зображень. Зображення поступають з вiдеокамери, а опрацювання вiдбуваеться у реальному чась Людина демонструе рукою жест, а задачею розтзнавання е видшення на отриманих кадрах кiнцiв пальщв, за якими можна вден-тифжувати знак, показаний вiдповiдним жестом. За результатами дослвджень встановлено, що для виршення поставлено! задачi спочатку необхвдно виконати пере-творення способу кодування. Це дозволило вщдшити зображення руки вщ тла. Розпiзнавання пальщв руки виконане розв'язуванням ввдповщно сформульовано! задачi машинного навчання. Для цього побудована нейромережа прямого поширення та розроблена моди-фжащя алгоритму и навчання, основаного на методi найшвидшого спуску. Порiвняно результати застосу-вання рiзних методiв навчання нейромережi. Введено поняття прикладу розроблено алгоритм !х формуван-ня та методику утворення навчально! множини для уникнення перенавчання мережь Навчена нейроме-режа використана для опрацювання нових прикладiв. Яюсть розпiзнавання зображень оцiнено низкою па-раметрiв. Обрано значення параметрiв мережi та алго-ритмiв навчання, як забезпечили найкраще розтзна-вання елеменпв жестово! мови на нових зображеннях у рiзних умовах освилення та для рiзного тла.

3,5 -

3 -2,5 -2 -1,5 -1 -0,5 -0 -

час обробки (с) Модифжований метод найшвидшого

3 Метод найшвидшого спуску

а)

Рис. 4. Час опрацювання одного кадру нейромережею, навченою рiзними методами.

Лиература

1.Davydov Maksym, Nikolski Iouri, Pasichnyk Oksana. System of finger movement identification for sign language recognition // Abstracts of First Central European Student Conference in Linguistics, 29-31 May 2006. Budapest, Hungary. - P.23-25.

2. Давидов М.В., Ншольський Ю.В., Паачник В.В. Математичне моделювання та програмна реашзащя елемен™ тренажеру для

навчання жестовш мов1 людей, що втратили слух // Сборник трудов седьмой междкнародной конференции „Интеллектуальный анашз информации (ИАИ-2007)", Киев, 15-18 мая 2007 г. - С.56-66.

3. Давидов М.В., Ншольський Ю.В., Паачник В.В. Програмний тренажер для навчання мов1 жест1в // Прац1 м1жнародно'1 на-

уково'! конференцй „Розвиток ¡нформацшно-комушкацшних технологш та розбудова ¡нформацшного сустльства в Украш" (м.Ганновер, Шмеччина, СеВ1Т-2007) / Спец1ал1зований тематичний додаток до загальногалузевого науково-виробничого журналу „Зв'язок". - Киев, 2007. - С.98-106.

4. Давидов М.В., Школьський Ю.В. Нейромережний класифжатор елеменйв вщеозображень реального часу // Вюник На-

цюнального ушверситету „Льв1вська пол1техшка" / Комп'ютерш системи проектування. Теор1я i практика. Льв1в, №564. - 2006.- С. 18-25.

5. Morteza Zahedi, Daniel Keysers, Hermann Ney. Appearance-Based Recognition of Words in American Sign Language. Pattern Reco-

gnition and Image Analysis, pp. 511-519, 2005.

6. Morteza Zahedi, Daniel Keysers, Thomas Deselaers, Hermann Ney. Combination of Tangent Distance and an Image Distortion Model

for Appearance-Based Sign Language Recognition. Pattern Recognition, Springer Berlin / Heidelberg. Pages 401-408, 2005.

7. P. Dreuw, D. Rybach, T. Deselaers, M. Zahedi, H. Ney. Speech Recognition Techniques for a Sign Language Recognition System. In

Interspeech 2007, pages 2513-2516, Antwerp, Belgium, August, 2007. ISCA best student paper award Interspeech 2007.

8. Moritz Starring, Thomas B. Moeslund, Yong Liu, Erik Granum. Computer vision-based gesture recognition for an augmented reality interfa-

ce, In 4th IASTED International Conference on visualization, imaging, and image processing, pages 766-771, Marbella, Spain, Sep 2004.

9. Давидов М.В., Ншольський Ю.В. Класифiкацiя елемен^в вщеозображень реального часу з допомогою нейромережi // Вюник

Нацюнального ушверситету "Льв1вська пол^ехшка" / 1нформацшш системи та мережу Льв1в,№°549, 2005.-С.82-92.

■а о

Запропоновано метод ттелекту-ального аналiзу даних, що дозволяв, спираючись на накопичену тформа-цю та запропоноваш методи оброб-ки даних, здшснити оцтку ризитв виникнення критичних ситуацш та процеыв для груп об'eктiв. У рамках запропонованого методу здшснена модифшащя методу кластеризации k - середтх.

■о о

УДК 002

МОДЕЛ1 ТА МЕТОДИ ВИЗНАЧЕННЯ РИЗИКУ ВИНИКНЕННЯ КРИТИЧНИХ СИТУАЦ1Й

ТА ПРОЦЕС1В

С.Л.Пелевин

Астрант заочно!' форми навчання КиТвський Нацюнальний ушверситет будiвництва та архЬектури.

Контактний тел. (044) 248 - 65 - 60 e-mail: [email protected]

1.Вступ

Одшею з найважливших задач, що постае у практично будь яких галузях життедiяльностi людини ви-ступае задача уникнення та попередження виникнення критичних ситуацш та процеав, наслвдки яких мають небажаний ефект. У загальному випадку виршення дано! задачi можливо шляхом використання накопичено'1 шформацп про об'ект чи процес та застосування певних методiв 11 обробки. Застосування комплексу даних за-

ходiв надае можлившть оцшити поточну ймовiрнiсть та ризики виникнення критично'! ситуацп й прийняти мiри по 11 недопущенню. У формалiзованому виглядi задачу можливо представити наступним чином: ш-нуе певна кiлькiсть об'ектiв SRi , як! характеризують-ся певним набором параметрiв Anii , що визначають як кiлькiснi показники об'екту так i якiснi показни-ки. Оперуючи накопиченою iсторичною iнформацiею щодо об'екту, можливо, одiнюючи поточш значення параметрiв Ani , насамперед юльюсних, визначити