Научная статья на тему 'Вибір ефективного методу опрацювання зображень на основі еталона для ідентифікації елементів жестової мови'

Вибір ефективного методу опрацювання зображень на основі еталона для ідентифікації елементів жестової мови Текст научной статьи по специальности «Экономика и бизнес»

CC BY
78
12
i Надоели баннеры? Вы всегда можете отключить рекламу.

Аннотация научной статьи по экономике и бизнесу, автор научной работы — Давидов Максим Володимирович, Нікольський Юрій Володимирович, Пасічник Володимир Володимирович

Наводяться результати досліджень з ідентифікації жесту української жестової мови за формою кисті руки. Розробляються та досліджуються методи ідентифікації на основі порівняння зображень з еталоном. Описуються оптимальні значення параметрів методів та тип функції відповідності, які дозволяють для обраної групи жестів розв’язувати задачу ідентифікації у реальному часі.

i Надоели баннеры? Вы всегда можете отключить рекламу.
iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

SELECT IMAGE PROCESSING METHOD EFFECTIVE BASED ON THE BENCHMARK FOR IDENTIFICATION ELEMENTS SIGN LANGUAGE

The results of research on gesture identification Ukrainian sign language in the form of the hand. Developed and researched methods of identification based on comparison with standard images. Describe the optimal values of methods and compliance function type, which allow for a select group of gestures solve the problem of identification in real time.

Текст научной работы на тему «Вибір ефективного методу опрацювання зображень на основі еталона для ідентифікації елементів жестової мови»

- функция затрат на ресурсы - функция полезности, функция ущерба от ЧС - функция потери полезности. (И так же как и в случае с функцией потери полезности в зависимости от значения показателя нелинейности она может быть выпуклой, линейной и вогнутой).

Определили, что в некоторых случаях решение не может быть найдено.

Практическая значимость: проведено исследование математических моделей для определения оптимального количества ресурсов для локализации ЧС, которые позволяют минимизировать суммарные экономические потери общества за счет их создания и потерь от ЧС.

Таким образом, было рассмотрено решение первого этапа задачи распределения ресурсов, а именно - задачи определения оптимального количества специализированных сил и средств для предупреждения и локализации чрезвычайных ситуаций природного и техногенного характера.

Список литературы: 1. Прокопенко А.И., ВайнерВ.Г., Галкин В.Л. Экономико-экологическое моделирование: Учебн. пособие /Под ред. В.Г. Вайнера. Харьков: АО «Бизнес Информ», 1997. 360 с. 2. Петров Э.Г., Писклакова В.П. Функциональные задачи региональной (областной) информационно-аналитической подсистемы локализации и ликвидации ЧС // Чрезвычайные ситуации: предупреждение и ликвидация последствий. Материалы международной конференции под эгидой Организации Черноморского экономического сотрудничества и в кооперации МЦЧС. 23-25 мая, 2000. Харьков. Ротапринт ИРЭНАН Украины. С. 125-127. 3. Гиренко П.И., Петров Э.Г. Системологический анализ целей и задач системы предупреждения и локализации чрезвычайных ситуаций// РИ. 1998. № 4. С. 61-64. 4. Петров Э.Г. Организационное управление городом и его подсистемами (методы и алгоритмы). Х.: Вища школа. Изд-во при Харьк. ун-те, 1986. 144с.

Поступила в редколлегию 14.05.2007 Олишевская Ольга Николаевна, аспирантка кафедры системотехники. Научные интересы: информационно-аналитические системы принятий решений, автоматизация органов управления, системный анализ. Адрес: Украина, 61166, Харьков, пр. Ленина, 14.

УДК 004.8 : 004.936.2

М.В. ДАВИДОВ, Ю.В. ШКОЛЬСЬКИЙ, В.В. ПАС1ЧНИК

ВИБ1Р ЕФЕКТИВНОГО МЕТОДУ ОПРАЦЮВАННЯ ЗОБРАЖЕНЬ НА ОСНОВ1 ЕТАЛОНА ДЛЯ 1ДЕНТИФ1КАЦП ЕЛЕМЕНТ1В ЖЕСТОВО1 МОВИ

Наводяться результата дослщжень з щентифжацл жесту украшсько! жестово! мови за формою кисп руки. Розробляються та дослщжуються методи щентифжацп на основi порiвняння зображень з еталоном. Описуються оптимальш значення параметрiв метода та тип функцп вщповщносп, яш дозволяють для обрано! групи жеспв розв'язувати задачу щентифжацл у реальному чай.

1. Постановка проблеми у загальному виглядi

У статп наведено результати експериментв ¡з застосування деяких шдход1в до опрацю-вання зображень, що складають частину комплексного дослщження, метою якого е побу-дова комп'ютеризовано! системи перекладу мови жеспв у текст [1, 2]. Така система обробляе сигнал ¡з фронтальним зображенням людини, яка розмовляе жестовою мовою. Сигнал надходить з вщеокамери в комп'ютер, проходить оброблення, а видшений з нього жест щентифшуеться як слово або словосполучення.

У дослщженнях використано вщеопщручник укра!нсько! жестово! мови. Цей тдручник використовують для навчання жестовш мов1 у спещал1зованих школах для дггей з пониже-ним слухом та люди, яю втратили слух. Для проведення дослщжень фшьм був конвертова-ний у цифровий формат, а його кадри використано для побудови модел1 жесту та подальшо-го 11 анал1зу. Актуальшсть дослщження вказано! проблеми випливае з необхщносп ство-рення комп'ютеризованих систем спшкування укра!нською мовою з людьми, яю мають послаблений слух.

Словник укра!нсько! жестово! мови налiчуe приблизно двi тисячi жестiв. Кожний жест може означати лггеру, слово або словосполучення. У кожному жестi можна видшити певш елементи. Такими елементами е фiксованi положення пальцiв рук, долош, кистi руки, вше! руки, двох рук. До елеменпв жесту також можна додавати мiмiку обличчя, артикулящю губ, рухи частин тша тощо. На цьому етапi дослщжень такi додатковi елементи не розглядались.

У дослщженнях опрацьовано жести, яю означають цiле слово або словосполучення. Ц жести виконують в динамщ однiею або обома руками зi змiною форми кистi руки, яка здшснюеться згинанням або розсуванням пальщв та поворотами долонi. Значення жесту також залежить вщ взаемного розташування рук, напряму руху, положення рук вщносно частин обличчя та корпусу людини. На цьому етапi дослщжень вивчаеться лише змiст жесту, визначений формою кисп руки.

Iдентифiкацiю жеспв жестово! мови шляхом встановлення вщповщносп мiж жестом та словом або словосполученням розглядаемо як вирiшення тако! сукупностi задач:

1) Визначення форми кисп руки та iдентифiкацiя жесту на основi розпiзнавання форми кисп руки.

2) Визначення траекторiй руху рук на зображенш.

3) Видшення та розпiзнавання окремих жестiв.

4) Вщдшення жестiв вiд звичайних рухiв, якi не е жестами жестово! мови.

Метою проведених дослщжень е виршення першо! iз перелiчених задач. Побудовано метод iдентифiкацi! жесту за формою кисп руки та дослщжено його на ефективнють залежно вщ вибору параметрiв цього методу.

2. Аналiз останшх дослiджень

Для виршення задачi iдентифiкацi! жесту за формою кисп руки пропонуеться порiвнюва-ти два зображення, одне з яких називатимемо еталонним. Змют поняття „еталонне зображення", або „еталон", яке вживатимемо у цьому роздш статтi, буде уточнене в подальшо-му пiд час опису процесу дослщжень в контексп пропонованого пщходу. Критичним фактором, який визначатиме ефективнють щентифшацп жесту, е час порiвняння зображення iз еталоном. Тому пропонуеться провести дослщження на ефективнють методiв по-рiвняння двох зображень. Запропоновано та дослщжено рiзнi модифшацп методiв, у яких порiвняння зображень може виконуватись потксельно без врахування трансформацш зображень або iз !х врахуванням.

Такi трансформацп викликаш спотвореннями або зсувами окремих пiкселiв. Спотворення вважатимемо локальними та розглядатимемо !х у певному околi кожного тксела. Цей окiл задаватимемо квадратно! або хрестовидно! форми.

Для опрацювання зображень застосовують метод iз потксельним порiвнянням зображень [3], який грунтуеться на обчисленнi мiри вщмшносп зображень. Ця мiра обчислюеть-ся як значення вщмшносп вщповщних пiкселiв у разi накладання зображень одне на одне.

Нехай P та Q - два прямокутш зображення по M х N пiкселiв кожне, Pij та qij - вщповщш

пiксели цих зображень, Pij еP, qij еQ, i=1,2,_,M, j=1,2,_,N, d(a,b) - мiра вiдмiнностi пiкселiв a та b. Що бiльше значення d(a,b), то бшьшою вважають вiдмiннiсть пiкселiв a та b. Якщо d(a,b)=0, то тксели однаковi, якщо d(a,b)>0 - рiзнi. Тодi мiру вiдмiнностi зображень P

та Q обчислюють за формулою D(P,Q) = ^d(pij,qij). Обчислювальну складнiсть алго-

1<i< M,1< j< N

ритму попiксельного порiвняння зображень оцiнюють як O(NM).

1ншим методом, що застосовують для опрацювання зображень, е метод порiвняння зображень зi спотвореннями [4]. Для цього методу характерна нечутливють до невеликих змщень, якi можуть вщбуватись в околi кожного пiксела радiуса R - параметра методу. Метод оснований на тому, що в разi накладання зображень кожний тксел порiвнюють не лише з ткселом, на який вiн накладений, але й iз сусiднiми пiкселами в його околi радiуса R.

Мiру вiдмiнностi зображень за цим методом для околу, який мае форму квадрата зi

стороною R, обчислюють за формулою У min d(pij,qkl). Тут pij eP, qij eQ,

1<i < Mi - R < k < i+R

1< j< Nj-R < 1 < j+R

1=1,2,...,М, ]=1,2,...^- пiксели зображень Р та Q, вiдповiдно, розмiрiвмх N пiкселiв кожне. Недолшом цього методу е те, що подiбними вважають зображення, на яких змшюеться чергування кольорiв пiкселiв.

Обчислювальну складнiсть алгоритму порiвняння зображень iз спотвореннями для квадратного околу тксела оцiнюють як O(NM(2R+1)2). Крiм квадратного також розглядався хрестовидний окш пiкселiв. Для нього мiру вщмшносп зображень обчислювали за формулою £ тш тт(^рн, qi+к ;), ¿(р^ ^ ¡+к)). Обчислювальна складнiсть цього алгорит-1<1<М 1< ]< N

му мае ощнку O(NM(4R+1)).

3. Цiлi дослiдження

Ефективнють процедури щентифшацп жесту визначаеться методом побудови моделi жесту та способами обчислення функцш, з допомогою яких здшснюеться оцiнювання результатiв розпiзнавання жесту та його елеменпв на зображеннях. Вщповщш оцiнки мiстять ряд параметрiв, пiдбiр яких дозволяе врахувати особливосп жесту, що моделюеть-ся, та налаштувати обчислювальнi формули з метою отримання найвищо! якостi розпiзна-вання.

Для щентифшацп жесту в процесi обробки зображення запропоновано модель жесту, яка використовуе поняття еталонного зображення, або еталону. Кожний жест може бути пода-ний одним або кшькома еталонами. У такому випадку будь-яке зображення жесту можна вважати подiбним до його еталону. Введення еталошв та створення 1х бiблiотеки дозволило вс жести мови жеспв зобразити скшченною кiлькiстю еталонiв. У такому пiдходi щентиф-iкацiя жесту полягае у знаходженш такого еталону, який найменше вiдрiзняеться вiд оброб-люваного зображення. Тому виршення задачi щентифшацп жесту полягае у побудовi таких методiв, якi забезпечать найкраще розрiзнення жесту за його еталоном. У цш статп наведено результати дослiджень та вироблено рекомендацп з вибору методiв порiвняння елементiв зображення з еталоном та тдбору 1хшх параметрiв. Практична щннють проведе-них дослiджень полягае у розробщ елементiв прикладно! системи автоматичного сурдопе-рекладу та спшкування з людьми, якi мають вади слуху.

Наукова новизна проведених дослщжень полягае у розробщ нового методу опрацювання динамiчних зображень та виборi значень параметрiв, що дозволяе виршувати задачу щентифшацп жесту за його зображенням у реальному масштабi часу.

4. Постановка задачi та н вирiшення

Проiлюструемо пiдхiд, за яким здшснюватиметься iдентифiкацiя жесту шляхом визна-чення форми кистi руки на кадрах вщеозображення. Для цього розглянемо кадри (рис. 1), на яких виконуеться жест "навщо?". На кожному кадрi кисть руки, якою зображають жест, знаходиться в певному положенш. Незважаючи на те, що вс зображення кисп руки вщмшш мiж собою, можна зауважити, що на кадрах 1,а та 1,б зображення кисп подiбнi за формою. Аналопчно, подiбнi за формою зображення кисп на кадрах 1,в та 1,г. Тому можна видiлити двi форми кисп руки тд час демонстрацп жесту „ навiщо?" (рис. 2). Першу з них позначимо Ух, а другу - У2. Тодi весь жест „навщо?" можна зобразити певною послщовнютю, наприклад У1У1У2У2. У цьому прикладi Ух та У2 назвемо основними формами, а жест е послщовнютю, утвореною кшькома основними формами. Для опису форми кисп використа-но метод еталона. Еталон - це прямокутна область, яка складаеться з пiкселiв iз зображенням руки основно! форми та решти пiкселiв, що утворюють тло та зроблеш прозорими. Еталони побудовано так, що вони мають однакову висоту та ширину. Кожнш з основних

форм поставлено у вщповщнють 11 еталон. Отже, кожному елементу У еУ 0=1, 2, ..., М)

множини форм У поставлено у вщповщшсть еталон ei е Е з множини еталошв

Е = {е1,е2, -,еМ}.

Тепер усi жести жестово! мови утворять множину У={УЬУ2,...,УМ}, яка складаеться з М основних форм, а кожний жест можна зображати послщовнютю форм, подiбних до основних. Визначення форми кисп руки на кожному з кадрiв виршено як знаходження основно! форми, найподiбнiшоl до зображено! на кадр^ Це досягаеться обчисленням певно!

числово! ощнки схожостi - мiри подiбностi. Задача щентифшаци жесту ускладнена необхщ-нiстю враховувати вплив iндивiдуальних рис людини - кольору шкiри, форми руки, швид-костi рухiв тощо, та умов зйомки - освгглення, тла. Суттеве ускладнення алгоритмiв викликане наявнютю завад, пов'язаних iз недолшами вiдеокамери: розмиттям зображення, неадекватнiстю представлення кольорiв, засвiтленням та затемненням частин зображення, похибками дискретизацп. Специфiка задачi щентифшаци жесту по формi кисп полягае в тому, що необхщно розрiзняти близько тисячi рiзних основних форм на частково розмитих зображеннях.

в г

Рис. 1. Кадри 1з зображенням жесту „навщо?"

Пошук за еталоном полягае у знаходженш на дослiджуваному зображеннi тако! прямо-кутно! областi, яка серед шших прямокутних областей такого ж розмiру найподiбнiша до одного з еталошв. Еталон, для якого така мiра подiбностi е найбiльшою, вважатимемо основною формою для дослщжуваного жесту. Такий шдхщ дозволяе враховувати невеликi змши форми руки, якi можуть виникати внаслщок того, що жест виконуеться рукою, яка пересуваеться не обов'язково у площиш, розташованш перпендикулярно до напрямку зш-мання вiдеокамерою. Природно допускати, що зшмання людини вщбуваеться однiею вщео-камерою, вiдносно яко! людина може незначною мiрою вщхилятись або повертатись. Це спричиняе спотворення проекцп руки на зображеннi. Таю спотворення мають вигляд дефор-мацш зсуву, розтягувань або стискань.

Задачу щентифшацп жесту за формою кисп iнтерпретуемо як задачу класифiкацil. Для цього введено ознаки клайв об'екпв, а розпiзнавання здiйснюемо наданням довшьним дослiджуваним об'ектам цих ознак. За таку ознаку прийнято назву жесту, а вщнесення до класу виконуватимемо обчисленням певних числових характеристик зображень та ощню-ванням близькосп об'екпв за значеннями цих характеристик. Клас жеспв фактично отри-муеться кластеризащею множини жестiв. Введенi числовi характеристики побудовано так, щоб задача кластеризацп була вирiшена коректно. Це означае, що вщстань мiж об'ектами всередиш кластера повинна бути меншою вщ вiдстанi мiж елементами кластера та об'ектами, що йому не належать. У такш постановщ задача щентифшацп жесту як задача класифiкацil полягае у встановленш кожному кластеру вщповщного еталона.

б

а

Рис. 2. Приклад еталошв для основних форм кисп руки у раз1 виконання жесту „навщо?"

Пропонований метод еталона, базований на методi порiвняння зображень iз можливими зсувами, дозволяе порiвняти два зображення, одне з яких вiдрiзняеться вiд iншого невеликими зсувами, стисканням або розтягненням його частин. Для цього розроблено таю алгорит-ми:

- seqCompare, який обчислюе мiру подiбностi послщовностей, якими е елементи зображень;

- imageCompare, який порiвнюе зображення;

- imageSearch, який шукае на зображенш прямокутну область, найподiбнiшу до еталона.

За алгоритмом seqCompare(A,B,N,F,R,D) обчислюеться мiра подiбностi двох посль

довностей, яка е дшсним числом з штервалу [0,1]. Це число е значенням функцп таких аргументiв: А та В - задаш послщовносп з N елементiв кожна; F - iм'я функцп, значенням яко! е штраф за невiдповiднiсть кольорiв порiвнюваних елементiв; R - штраф, з допомогою якого можна задавати стутнь впливу деформацп послiдовностi на мiру подiбностi; D -параметр, за значенням якого можна задати максимально допустимий зсув елемента на другому зображенш вщ його положення на першому iз порiвнюваних зображень. Останнш параметр е заданим радiусом околу елемента одше! послiдовностi, у якому шукатимемо подiбнi до нього елементи шшо! послiдовностi.

За алгоритмом imageCompare обчислюемо мiру подiбностi двох зображень як дшсне число з штервалу [0,1]. Нуль вщповщае зображенням, яю вважаемо рiзними, а одиниця -однаковими. Вхщними даними для цього алгоритму е прямокутш матрицi однакових розмiрiв, елементами яких е елементи зображень. Цими елементами можуть бути один тксел, стовпець пiкселiв або прямокутник iз пiкселiв. Також вхщними даними е функцiя для обчислення мiри подiбностi елементiв зображення, штраф за деформащю зображення та обмеження на зсув елементв, змiст та спойб введення яких визначено у формулюванш алгоритму seqCompare. Алгоритм imageCompare оснований на алгоритмi seqCompare, у якому послщовностями, що порiвнюються, е рядки однаково! довжини двох зображень.

Алгоритм imageCompare здiйснюе пошук на кадрi певного об'екта, для якого створено еталон. Кадром вважаемо матрицю C розмiрiв м х N з елементами Су, 1=1,2, ^ _ ,М, ]=1,2,.. а еталоном D - матрицю розмiрiв КхЬ (к<М, Ь < N) з елементами ]=1,2,.,Ь). Елементами матриць C та D е елементи зображень на кадрi та еталона, вiдповiдно. Елементом зображення може бути один тксел, стовпець пiкселiв або прямокутник пiкселiв. Пошук на кадрi C здiйснюеться скануванням по ньому еталона D. Пiд час такого сканування обираеться частина кадра - вшно, яке зображаеться матрицею W розмiрiв к х Ь. Елементи ^'у матрицi W пов'язанi з елементами Су матрицi C рiвнiстю ^1]=сх+1,у+1, де (х,у) - координати лiвого верхнього кута вiкна. Вибiр вiкна виконуеться для 0 < х < М - К,0 < у < N - Ь з кроком S. Алгоритм imageSearch знаходить максимальне значення мiри подiбностi, обчислене алгоритмом imageCompare, та координати (х,у) вiкна, на якому цей максимум досягнуто. Запропоноваш алгоритми порiвняння з еталоном викори-стовують функщю вiдмiнностi d(a,b) та функщю подiбностi F(a,b) пiкселiв зображень, яю

пов'язанi мiж собою спiввiдношенням F(a,b) = e-d(a,b).

Порiвняння тксела a зображення iз пiкселом Ь еталона виконано з використанням функцш вiдмiнностi Dist(a,b) та SqrDist(a,b). Щ функцil визначено так:

Г| г - Ь |, якщо Ь - непрозорий пiксел еталона, Dist(a,b) = | '' ^ „ .

[ 0, якщо Ь - прозорий пiксел еталона.

SqrDist(a,b) =

11 a - b | , якщо b - непрозорий тксел еталона, [ 0, якщо b - прозорий пiксел еталона.

nopiB^HM пiксела a зображення i3 ткселом b еталона виконано також з використанням функцш пoдiбнoстi Etalon(a,b) та TrEt(a,b). Ui функцп визначено так:

[min{l,max {о,1 + а^в-в| a - b| }}, якщо b - непрозорий тксел еталона, I 1, якщо b - прозорий тксел еталона.

Etalon(a,b) = •

I min {1, max {0,1 + а • В - в a - b }} якщо b - непрозорий пiксел еталона, TrEt(a,b) = <! ( ( I

I min|1,max|0, у + П a - Ь ш якщо b - прозорий тксел еталона •

Тут | a -b | = max(| ar - br |,| ag - bg |,| ab - bb |), а шдекси r,g,b вiдпoвiдають червонш, зеленiй та синiй компонентам в представлент пiксела у пpoстopi кoльopiв RGB, r, g,b e [0,1].

У функцп TrEt(a,b) значенням b е кoлip найближчого до b непрозорого пiксела еталона. Цю функцiю пoдiбнoстi введено для того, щоб пiксели зображення, близькi за кольором до крайтх пiкселiв об'екта, не були вщнесет до тла, а пiксели зображення, сильно вщмшт вiд пiкселiв об'екта, не були вщнесет до об'екта.

5. Результати експеримен^в з щентифжацн жестiв

Для експерименпв iз застосуванням запропонованих алгоршмв з щентифшацп жестiв з пщручника жестово! мови вiдiбpанo 11 жеспв, якi виконуються oднiею рукою. Десять жеспв е простими та можуть бути подат одним еталоном, а один - жест „навщо?", складаеться з двох частин i поданий двома еталонами. Отже, в експериментах використано дванадцять еталотв, за якими вщбувалась обробка кадpiв з метою щентифшацп жесту, зображеного на кожному з них (табл. 1).

Таблиця 1. Приклади жеспв та !х еталошв

№ форми

Назва жесту

„чому?"

„досвщ "

„коли?"

„нагорода

„навiщo?" (ф^ура 1)

„навiщo?" (фiгуpа 2)

Еталон

№ форми

10

11

12

Назва жесту

„перемога"

„перепустка"

„повщомити

„скшьки?"

,вахтер

„юрист '

Еталон

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

1

7

2

8

3

9

4

5

6

Кожен жест жестово! мови виконуеться у три стадп: перша - тдготовчий рух, пiд час якого рука швидко перемщуеться в початкове положення; друга - основний рух та третя, тд час яко! здшснюеться перемiщення руки для показу наступного жесту. Для кожного жесту вщбрано по одному кадру з першо! та третьо! стадiй та три кадри з основним рухом. Таку юльюсть кадрiв вважаемо достатньою для представлення вйх форм кистi кожного жесту. В експериментах оцшювалась яюсть щентифшацп жесту розпiзнаванням на кадрi форми, що виконувалось за чотирма алгоритмами (табл. 2) порiвнянням зображення з еталоном. В уйх алгоритмах були використаш рiзнi функцп обчислення мiри вiдмiнностi та подiбностi пiкселiв зображень. Для функцiй подiбностi експериментально пщбрано значен-ня параметрiв а = 0.1 та в = 0.6. Параметр а задае меж^ в яких тксели вважаються однаковими. Значення а = 0.1 означае, що кольори, у яких значення компонент г^,Ь вщ-рiзняються не бiльше шж на 0.1, вважатимемо однаковими. Параметр в задае швидюсть спадання подiбностi пiкселiв, у яких компоненти в1^зняються бiльше, н1ж на а . Щ^р цих параметрiв виконано вручну для жестiв „ чому?" та „ сюльки?" з метою найкращого вiддiлення руки вiд iнших елементв зображення. Вплив параметрiв у та п на результати розтзнаван-ня дослщжено на всiх зображеннях для таких пар значень (у =0.8; п=1), (У =0.85; п =0.6) та (7=0.9; п=1.7) (табл. 3). Для алгоритму порiвняння зображень iз зсувами використано параметр Д = 1 та штраф за деформащю R = 0.98, який дав найкращi результати та був пщбраний вручну на жестах „чому?" та „сюльки?".

Таблиця 2. Параметри методiв порiвняння зображень з еталоном

№ Метод порiвнянь Параметри методу

п/п зображень з еталоном Оюл Д R

1 1з зсувами - 1,0 0,98

2 1з спотвореннями Квадратний - 1,0

3 1з спотвореннями Хрестовидний - 1,0

4 Попiксельний - - -

В експериментах використаний зсув вшна по кадру з кроком S=1 та S=2. Для алгоритму порiвняння з еталоном iз зсувами отримано однаковi результати як для кроку S=1, так i для кроку S=2, але час виконання для S=1 виявився приблизно у чотири рази бшьшим. Тому для цього алгоритму наведет результати лише для кроку S=2. В алгоритмi порiвняння зображень iз спотвореннями отримано результати у разi використання для кожного тксела околiв радiуса R=1 як квадратно!, так i хрестовидно! форми.

Таблиця 3. Параметри функцп порiвняння пiкселiв

Функщя порiвняння пiкселiв Параметри

а в У п

Etalon 0,1 0,6 - -

TrEt-1 0,1 0,6 0,8 1,0

ТЖ-2 0,1 0,6 0,85 0,6

TrEt-3 0,1 0,6 0,9 1,7

Проведено двi групи експериментiв. У першш з них вважалось наперед невщомим мiсце, в якому знаходиться зображення кисп руки на кадр! Мета експериментiв полягала у знаходженш зображення кистi руки на кадрi та iдентифiкацi! жесту за !! формою. Кадри, на яких здшснювався пошук, мали розмiр 176 х 208 пiкселiв. Усього для експерименту обрано 60 кадрiв - по 5 кадрiв на кожен iз 12 жестiв. У табл. 4 наведено вщсоток правильно розпiзнаних зображень для першо! групи експериментв. Жирним шрифтом позначено найкращi результати.

З отриманих результата можна зробити висновок, що найвищий вщсоток правильно розтзнаних зображень показали метод порiвняння зображення з еталоном iз зсувами та метод порiвняння iз спотвореннями та хрестовидним околом тксела. Таю результати отримано для вйх функцш подiбностi та лише для функцi! вщмшносп SqrDist. У табл.5

наведено середнш час (у секундах) розтзнавання одного зображення методами, результати застосування яких мютить табл. 4.

Таблиця 4. Вщсоток правильно щентифжованих жеспв у повному кадрi

Метод порiвняння з еталоном 8 Функци порiвняння пiкселiв

Dist SqrDist Etalon ТгЕЫ ТгЕЫ ТгЕЫ

1з зсувами 2 60.0 66.7 65.0 66.7 68.3 65.0

1з спотвореннями, хрестовидний окш 1 48.3 61.7 66.7 61.7 61.7 63.3

2 30.0 51.7 55.0 58.3 56.7 53.3

1з спотвореннями, квадратний окiл 1 23.3 40.0 26.7 55.0 60.0 23.3

2 20.0 36.7 20.0 58.3 58.3 23.3

Попiксельний 1 51.7 53.3 53.3 51.7 58.3 55.0

2 41.7 40.0 41.7 33.3 41.7 38.3

В експериментах друго! групи зображення кистi знаходилось у квадратному вiкнi розмiрiв 30 х 30 пiкселiв, а задача полягала лише в щентифшаци жесту. В обох групах експеримента пошук здiйснювався за допомогою еталона розмiрiв 26 х 24 або 24 х 26 пiкселiв. Перелiк жеспв та еталонiв наведено в табл.1.

Результати експерименпв друго! групи наведено у табл. 6. Ця таблиця мютить вщсоток правильно щентифшованих форм кисп руки для 60 приклащв. Жирним шрифтом позначено найкращi результати. У табл.7 наведено середнш час (у секундах) щентифшаци одного зображення кисп руки у другш груш експерименпв.

Таблиця 5. Час роботи алгоримв з повним кадром, с

Метод порiвняння з еталоном 8 Функци порiвняння пiкселiв

Dist SqrDist Etalon ТгЕЫ ТгЕЫ ТгЕЫ

1з зсувами 2 21.3 19.8 21.7 38.5 38.6 38.1

1з спотвореннями, хрестовидний окiл 1 29.7 34.9 33.8 70.9 71.3 70.1

2 7.4 8.7 8.5 17.8 17.9 17.5

1з спотвореннями, квадратний окш 1 47.7 56.8 54.7 121.4 122.0 119.9

2 11.9 14.1 13.7 30.4 30.5 30.0

Потксельний 1 5.8 5.7 6.2 13.6 13.6 13.5

2 1.5 1.4 1.6 3.4 3.4 3.4

Найкращi результати щентифшаци жеста у першш груш експеримента отримано у разi використання таких методiв порiвняння та функцiй подiбностi: порiвняння iз зсувами з функцieю ТгЕ^2 (див.табл. 3) та порiвняння iз спотвореннями i хрестовидним околом та функщею подiбностi Б1а1оп.

Таблиця 6. Вщсоток правильно щентифжованих жестiв за частиною кадра

Метод порiвняння з еталоном 8 Функци порiвняння пiкселiв

Dist SqrDist Etalon ТгЕЫ ТгЕЫ ТгЕЫ

1з зсувами 2 78.3 90.0 90.0 76.7 78.3 91.7

1з спотвореннями, хрестовидний окш 1 68.3 83.3 81.7 56.7 60.0 83.3

2 66.7 81.7 80.0 58.3 56.7 81.7

1з спотвореннями, квадратний окш 1 53.3 73.3 68.3 55.0 55.0 66.7

2 56.7 73.3 66.7 56.7 56.7 63.3

Потксельний 1 75.0 86.7 85.0 71.7 78.3 85.0

2 68.3 83.3 81.7 70.0 70.0 78.3

Ц методи разом з 1хшми параметри назвемо кращими. Кращi методи були застосоваш для щентифшаци усiх жеста, еталони форми кистi яких наведено у табл. 1. Проведено експерименти з щентифшаци п'яти кадрiв за кожним еталоном iз зображенням кисп.

Лише на п'яти таких кадрах не була правильно щентифшована кисть руки жодним з методiв. Ц кадри наведено у табл. 8. 1х аналiз показав, що для жесту „перепустка" еталон пiдготовлено неякюно (на еталонi вiдрiзано частину зображення великого пальця), а для жеспв „коли?" та „навщо?" необхiдно побудувати додатковi еталони. На рештi кадрiв кисть була правильно iдентифiкована принаймш одним з кращих методiв. Це дозволяе припустити, що можна побудувати ушфшований метод, який правильно щентифшуватиме усi цi кадри.

Таблиця 7. Час роботи алгоршадв над частиною кадра, с

Метод порiвняння з еталоном S Функци порiвняння пiкселiв

Dist SqrDist Etalon TrEt-1 TrEt-2 TrEt-3

1з зсувами 2 0.093 0.088 0.096 0.158 0.158 0.157

1з спотвореннями, хрестовидний окш 1 0.112 0.125 0.116 0.263 0.261 0.259

2 0.035 0.039 0.036 0.075 0.075 0.074

1з спотвореннями, квадратний окш 1 0.167 0.200 0.180 0.443 0.444 0.439

2 0.050 0.058 0.053 0.121 0.122 0.120

Потксельний 1 0.031 0.031 0.031 0.060 0.061 0.060

2 0.014 0.015 0.014 0.022 0.022 0.022

6. Висновки

Наведеш результаты вирiшення одше! i3 задач, пов'язано! i3 iдентифiкацieю жесту, вима-гають додаткового аналiзу. Вимога ефективносп алгоритмiв та вирiшення задач розтзна-вання за якомога коротший промiжок часу була постiйно присутня у постановщ задачi та врахована у формулюваннях вiдповiдних алгоритмiв. Зображення, для опрацюван-ня яких розроблено та дослщжено методи, мають специфiчнi дефекти, пов'язанi iз особливостями вщеоапаратури, спотво-ренням кольорiв у процеа виконання жесту внаслiдок особливостей освплення, змiною вигляду руки на зображенш пiд час виконання жесту та шшими особливостями. Врахування вказано! специфiки у розроблених алгоритмах дозволило тд-вищити якiсть результата розтзнавання. Проведенi дослiдження продемонстрували можливють досягнення високо! швидкостi розпiзнавання елемента жесту на вщео-зображеннях реального часу. Це подтвердило можливють створення на цш основi прикладних систем автоматичного сур-доперекладу та спецiалiзованих трена-жерiв для навчання жестовш мовi.

Список лiтератури: 1. DavydovM., NikolskiI., Pasichnyk O. System of Finger Movement Identification for Sign Language Recognition // Abstracts of First Central European Student Conference in Linguistics (CESCL1), 29-31 May 2006, Budapest, Hungary. P.23-25. 2. Давидов М.В., Школьський Ю.В. Класифшащя елеменпв вщеозображень реального часу з допомогою ней-

Таблиця 8. Неправильно вдентифшоваш кадри

Жест № кадра Еталон Зображення

Л

1

lH

3

4

6

2

1

3

8

4

ромережi // Вюник Нацюнального ушверситету "Льв1вська полггехшка"/ Iнформацiйнi системи та мереж! Льв1в. 2005. №549. С.82-92. 3. S6nchez-Nielsen E., Antyn-Canalrn L., Hern6ndez-Tejera M. Hand Gesture Recognition for Human-Machine Interaction // Journal ofWSCG. Vol.12. No.1-3. ISSN 1213-6972. - WSCG'2004, February 2-6, 2003. Plzen, Czech Republic. 4. DreuwP., KeysersD., Deselaers T., NeyH. Gesture Recognition Using Image Comparison Methods. GW05 (124-128). 2005.

Надшшла до редколегИ 23.05.2007 Давидов Максим Володимирович, асшрант кафедри „ 1нформацшш системи та мереж!', 1нститут комп'ютерних наук та шформацшних технологш Нацюнального ушверситету „^Л^вська полггехшка". Науковi тереси: обробка зображень, штучний iнтелект, тривимiр-на вiзуалiзацiя. Адреса: Укра!на, 79013, Львiв, вул. С. Бандери, 12, тел. моб. 8 (067) 9464093, email: maksim_davydov@pochta.ru.

Нiкольський Юрш Володимирович, канд. фiз.-мат. наук, доцент кафедри „Днформащйш системи та мереж!', 1нститут комп'ютерних наук та шформацшних технологш Нацюнального ушверситету „Л^вська полгтехшка". Науковi iнтереси: математичне моделювання та об-числювальнi методи, штучний штелект, аналiтична обробка iнформацii, Data Mining and Knowledge Discovery, дискретна математика. Адреса: Украша, 79013, Львiв, вул. С. Бандери, 12, тел. дом. (032)2370440, тел. роб. (032)2582538, e-mail: y_nikol@yahoo.com

Паачник Володимир Володимирович, д-р техн. наук, професор, заыдувач кафедри „1н-формацшш системи та мереж!', 1нститут комп'ютерних наук та шформацшних технологий Нацiонального унiверситету „ Львiвська полiтехнiка". Науковi iнтереси: експертш системи, бази та банки даних, реляцiйнi бази даних, дискретна математика. Адреса: Украша, 79013, Львiв, вул. С. Бандери, 12, тел. дом. (032)2378971, тел. роб. (032)2582538, e-mail: vpas@astra.lviv.ua.

УДК 004:681.5 1.С. ЯСЕНОВА

МАТЕМАТИЧНА МОДЕЛЬ ТЕХНОЛОГИ ФОРМУВАННЯ НАВЧАЛЬНОГО ПЛАНУ В1ДПОВ1ДНО ДО КРЕДИТНО-МОДУЛЬНО1 СИСТЕМИ ОРГАШЗАЦП НАВЧАЛЬНОГО ПРОЦЕСУ

Визначаеться специфiка формування навчальних планiв ввдповщно до умов кредитно-модульноi системи оргашзацп навчального процесу. Формулюеться задача генерацп на-вчального плану. Розроблена математична модель iнформацiйноi технологii' формування навчальних платв з урахуванням вимог ECTS. Вводяться обмеження, що накладаються на розмiщення модулiв дисциплiн у чай та забезпечення вимог Мшютерства освiти i науки Укра!ни.

Вступ. Проголошення Укра'ною нам1ру вступу в €С та приеднання до Болонського процесу вимагае внесення змш у нацюнальну систему освгти задля штеграцп до единого европейського простору вищо! освгти до 2010 року. Оскшьки забезпечення якосп освгти е визначальним завданням Болонського процесу, необхщно говорити про термшове внесення яюсних змш в навчальний процес вищого навчального закладу (ВНЗ). Вщомо, що одшею з умов входження Укра'ни до свгтового простору е адаптащя юнуючо! в Украш системи вищо! освгти до вимог, як передбачеш Свропейською кредитно-трансферною системою (ECTS).

Останшм часом виконано чимало дослщжень з питань удосконалення навчального процесу, зокрема, створення автоматизованих систем контролю знань [1-3], систем контролю якосп навчального процесу [4-6], розвитку ВНЗ [7]. Значна увага придшяеться визна-ченню особливостей управлшня ВНЗ, анал1зу умов !х функцюнування, визначенню управль нських функцш тощо. Однак деяю аспекти управлшня навчальним процесом, зокрема ri, що стосуються формування графша навчального процесу, який визначаеться навчальним планом [8], не вщображено в публшащях або висвплено недостатньо.

1снуе потреба в створеш шформацшних систем та технологш, як б дали змогу швидко та оперативно формувати навчальний план. Це питання е передуйм актуальним у зв'язку з впровадженням кредитно-модульно! системи оргашзацп навчального процесу (КМСОНП)

i Надоели баннеры? Вы всегда можете отключить рекламу.