CC BY
3
УДК 612.741.1:519.2
Метод виявлення ознак основного тону в
• • -и • •
структур1 електромюграф1чних сигналш для задач! компенсацп порушено1 комушкативно1
функцй людини
Дозорська О. Ф., Яворсъка 6. Б., Дозорський В. Г., Дедгв Л. 6., Дедгв I. Ю.
Ториошльський иацншалышй тохшчшш ушворситот ¡Moiii 1ваиа Пулюя E-mail: vaeil-dozorekijl985&gniaU. com
В робот! розроблепо метод опрацювашш електромюграф1чпих сигпатв для задач! компенсацп порушено! комушкативпо! фупкцп людиш. Метод дае можлшмсть впявлешш озпак основного топу в структур! електромюграф1чпого сигналу, зареестровапого з поверхш ши! пац1епт!в поблизу голосових складок. За цими озпаками можпа проводити 1дептиф1кацпо окремих подумки вимовлепих голоспих та приголоспих вокал1зовапнх фонем та проводити розшзпавашш власпе мови пащептав 1з поруше-пою чи втрачепою комушкативпою фупкц!ею. Розроблешш метод включае в себе два етапи. а саме: шдготовчий та осповпий. Метою шдготовчого етапу е отримаш1я да1шх про ищшмдуальш особливост! мови пац1епта, зокрема паближепого зпачеппя частоти основного топу та частотного штервалу icny-ваппя частоти основного топу при памагапш вимовля1шя пагцептом тестових посл1довпостей звук!в у визпачеш момепти часу. Щ даш е пеобх!дш для можливост! застосуваппя основного етапу методу, що передбачае опрацювашш електромюграф1чпих (ЕМГ) сигпал1в. зареестровапих при довольному памагапш впмовляшш пац!ептом довглышх звук!в. сл!в чи фраз. Запропоповапо для виявлешш часо-вих штервал!в паявпост! озпак основного топу проводити опрацювашш електромюграф!чпих сигпал1в методами спектралыю-кореляццшого апал!зу 1з застосуваш1ям методу ковзпого в!кпа при подапш таких бюсигпал!в у вигляд! кусково-стацюпарпого випадкового процесу. При цьому. в межах кожпо! трапсляцГ! ковзпого в!кпа проводиться обчислешш оцшок розподшу спектрально! густшш потужпост! та усередпеппя цих оцшок за частотою i потужшстю в межах попередпьо визпачеиого штервалу icny-вашш частоти основного топу. Отримаш усередпеш оцшки дають можлшмсть встаповлеппя часових штервал!в паявпост! основного топу та в1дпов!дпо паступпо! 1дептиф1кацГ! голоишх та приголоспих во-кал1зовапих фонем. Проведено опрацювашш розроблепим методом експеримепталыго зареестровапого ЕМГ сигналу 1з р1зпими зпачешшми ширшш ковзпого в!кпа.
Клюноог слова: комушкативпа фупкц!я: електромюграф1чшш сигнал: голосовий сигнал: частота основного топу
DOI: 10.20535/RADAP.2020.81.56-64
Вступ. Постановка задач1
Одшяо i3 найбшын важливих функцш мови людини б: комушкативна функщя, що забезпечуе можливкть сшлкування. У фгаолоичному плаш в процеа рсал1зацп комушкативпо! функцп' зад1юе-ться значне число оргашв, що утворюють складну систему [1]. кшцовим викоиавчим елементом яко! с органи голосового апарату (голосов! складки, язик, губи. nie. MiMi4iii м'язи лиця, гортань тощо). У результат! злагоджено! роботи цих оргашв форму-ються акустичи1 сигнали голосов! звуки. яш i використовуються для обмшу шформащето [2. 3]. При цьому. найменшими неподшышми структурно-
ссмантичними звуковими одшшцями мовлення с фонеми.
Однак, спостерЬаеться зростання кшькосп людей i3 порушеннями чи втратою комушкативпо! функцй', зокрема, внаслщок отриманих травм, пе-ренесених захворювань чи оперативних втручань. В тих випадках, коли класичш способи рсабшта-цп, яш г"рунтуються на вщновленш функщонування вщповщних систем, не дають наложного результату, актуалышм с розроблешш техшчних засоб1в, яш давали б можлившть забозпечоння компенсаци порушено! комушкативпо! функцй' i3 внкорнстан-ням опосеродкованих cnoco6iB, що 1"рунтуються на в1дбор1 та опрацюванш бюсигнал1в, яш виникають в процеа реал1зацп комушкативпо!' функцп. Таш
способи повинш давати можлившть отримання ш-формацп, достатньо! для виявлення ознак процосу мовлоння та щентифшацп окромих фоном в структур! цих бюсигнал1в. Цо дасть можливкть зрозу-мии пащента, який знаходиться при свщомость ало втратив (тимчасово чи назавжди) можливкть роз-мовляти (паратч, шдключення до апарату штучно! вентиляцп легешв, проведена трахоотохйя тощо).
В облает бюмедично! шженерп, яка пов'язана з розробленням техшчних засоб1в ввдбору та опра-цювання бюсигнатв, кнур ряд способ1в, яш в перспектив! можуть бути використаш для компонса-цп порушено! комушкативно! функцп. Таш способи г'рунтуються в основному на вщбор1 та опрацюван-ш електромюграф1чних (ЕМГ) сигнатв хйхйчних м'яз1в лиця [4 8]. ЕМГ сигнатв, заресстрованих з поворхш шш [9]. електроенцефалограф1чних (ЕЕГ) сигнатв [10 12]. Пров1вши анатз можливоста за-стосування для задач1 компонсацп порушено! комушкативно! функцп людини таких тишв бюсигнатв виявлено подотки, иов'язаш 1з недостатньою шфор-матившетю кожного окремо взятого типу бюсигна.шв, оскшьки: у структур! ЕМГ сигнатв, ввдбраних з м1м1чних м'яз1в обличчя, буде мктитись шформа-щя лише про роботу артикулящйного апарату, що с недостатшм для щентифшацп та розшзнавання окромих голосових фонем чи ств; у структур! ЕМГ сигнатв, вццбраних з поворхш шш, буде мктитись шформащя лише про роботу голосових складок, ш-формащя ж про роботу артикулящйного апарату буде вщеутня: видшоння в структур! ЕЕГ сигнатв ознак, за якими можна було б ироводити щенти-фжацпо та розшзнавання окромих фонем чи ств, с складним та передбачас усунення уйх артефа-кпв, пов'язаннх 1з роботою пшшх вцщшв головного мозку, та розумпшя способ1в кодування 1 перенесения мовно1 шформацп в потоках нервових 1мпульйв в иейроииих структурах мовиих цеитр1в головного мозку та особливостей вщображення цих процейв на поворхш голови пацкнта (в структур! ЕЕГ сигнатв).
Авторами запропоновано спойб компонсацп порушено! комушкативно! функцп [13, 14], в основ1 якого лежать прннцнпн систомно-сигнально! кон-цепцп та положения нейрохронаксично! теорп фо-нацп. Вщповщно до принцишв системно-сигнально! концопцп, основним джерелом ведомостей про роботу системи с сигнал, який утворюсться в процей фуикщоиуваиия ща' системи. Тому, ироводити компенсацию порушено!' комушкативно! функцп можна шляхом ввдбору та наложного опращовання бюси-гнатв, яш виникають у процей мовлоння. Метода опращовання визначатимуть алгоритми функщону-вання програмного забезпечення техшчних засоб1в компонсацп порушено! комушкативно! функцп людини. Запропонований спойб г'рунтуеться на па-ралельному вщбор1 та опрацюванш ЕЕГ сигнатв та ЕМГ сигнатв, що зароестроваш з поворхш шш
поблизу голосових складок. В пращ [13] обг'рун-товано достатшо шформатившеть таких ЕЕГ та ЕМГ сигнатв для щентифшацп окромих фонем та розшзнавання мови у людей 1з порушеною кому-шкативною функцкю, а також розроблено методи опращовання ЕЕГ сигнатв. Важливим с питания розроблення методу опращовання ЕМГ сигнатв для виявлоння в структур! таких сигнатв додатко-вих ознак наявноста процосу мовлоння у людей 1з порушеною комушкативною функцкю. Проанатзу-смо щ озиаки.
Вщиовщно до положеиь иейрохроиаксичио! теорп фонацп [15] голосов! складки коливаються не пасивно шд дкю турбулентного потоку повиря, що нагштаеться легеиями, а активно шд вплнвом нервових 1мпульйв, що надходять вщ мовиих центр1в головного мозку. При цьому, частота цих 1мпульйв сшвпадае з частотою основного тону (ЧОТ) про-дукованого голосового сигналу. Значения цк! ча-стоти мае проявлятись у структур! ЕМГ сигнатв. Також ЧОТ с шдивщуальною мовлешгевою характеристикою та с присутня в структур!голосних та приголосних вокатзованих звушв. Також, часовий шторвал наявноста ТЮТ в структур! р1зних звук1в одше! особи с р1зним. Вадповадно, значения ТЮТ та часовий шторвал наявноста ТЮТ в структур! ЕМГ сигнатв будуть шформативними ознаками, необхь дними для виявлення та щентифшацп голосних та приголосних вокатзованих фонем.
Вадповадно, метод опращовання ЕМГ снгнал1в, зареестрованпх з поворхш шш поблизу голосових складок, повинен давати можливкть виявлення ознак основного тону (ОТ) в структур! таких сигнатв.
1 Споспб математичного подан-ня електромюграс|нчного сигналу
Для розроблення методу опращовання ЕМГ сигна.шв необхщно обг'рунтувати виб1р способу математичного подания таких бюсигнатв, зокрема !хиьо! математично! модел1. Матоматична модель повинна м1стнтн шформативш ознакн, за якими можна було б ироводити виявлоння ознак та ¡донти-ф1кащю окромих фонем в структур! ЕМГ сигнатв.
Для обг'рунтування математнчно! модел1 ЕМГ сигналу припущено, що: 1) дшянки ЕМГ сигналу в сташ спокою при вщсутносп процосу мовлоння за нозмшних додаткових фактор1в (емощйний стан, положения пащеита в простор!, зовшшш умови) будуть стащонарними: 2) дшянки ЕМГ сигналу при реал1зацп комушкативно1 функцп будуть стащонарними, ало з вщмшними вщ аналопчних дшянок для стану спокою параметрами (оцшки математичного спод1вання, дисиерсп тощо). Задача виявлення прояв1в в структур! ЕМГ сигнашв ознак
процосу роал1зацп комушкативно! функцй' зведе-ться до задач1 виявлення характерних для такого процосу змш властивостой цих бюсигнал1в. Тому, як матоматичну модель ЕМГ сигналу використано кусково-стащонарний випадковий процос [16]. для якого куски стащонарносп вщиовщатимуть станам наявносп та вщсутноста ознак ОТ в структу-pi ЕМГ сигналу. За часовими ж моментами переходу вщ одного куска стащонарносп до innioro можна ви-значати часов1 штервали наявносп ознак ОТ.
На основ! об^рунтовано! матоматично! модат не-обхщним е розроблення методу опрацювання ЕМГ сигнал1в для вщлшення поставлено! задачь
2 Метод опрацювання електро-мюграф1чних сигнал1в для виявлення ознак основного тону
Запропоновано метод опрацювання ЕМГ сигналу для виявлення часових штервал1в наявносп ознак ОТ. гцо вкшочае в себе два етапи. а само: шдготовчий та основний. Метою шдготовчого етапу € оцпповання наближоного значения та iiiTep-валу iciiyBaniM ТЮТ шляхом анал1зу тестового ЕМГ сигналу. Такий сигнал мае бути поперодньо зарес-стрований i3 пащента. який намагасться вимовити тостов1 звуки та фрази в строго визначеш штерва-ли часу. При цьому стають вщомими дшянки ЕМГ сигналу, на яких мають бути npucyTiii ознаки ОТ та стае можливим провести видшення цих ознак.
Метою основного етапу с власне пошук часових штервал1в наявноста ознак ОТ в структу-pi ЕМГ сигнал1в. яш зареестроваш i3 того ж самого пащен-та. який намагаеться вимовляти довшып звуки та фрази в довшып момонти часу.
Для опрацювання ЕМГ сигнал1в доцшышм с за-стосування мотод1в спектралыго-корелящйного ана-л1зу стащонарних випадкових процеав. а опрацювання сигнал1в проводити па шторвалах часу визиачо-iio'i тривалосп в межах ковзного вшна.
Шдготовчий етап включае в себе наступш шд-етапи:
1) формування ковзного вшна задано! ширини. яке транслюеться в naci по тостов1й частиш роестро-грами ЕМГ сигналу:
2) в межах кожно! трансляцп' ковзного вшна проводиться оцпповання розподшу спектрально! гу-стшш потужноста ЕМГ сигналу
сю
(f)=2 J Щ(г) • е-2^d(r),
— <УО
л т
де Д5(т) = lim Т f €(t) • €(t + т)d(r) - оцшка авто-
Т о
корелящйно! функцй';
3) оцпповання наявносп максимума в розподш спектрально! густини иотужноста в д1аиазош 80 210 Гц для ЕМГ. знято! з пащятв чолов1чо! стать 1 в д1апазош 150 450 для ЕМГ. знято! з пащятв жь ночо! стать Вказаш д1апазони частот вщповщають д1аиазонам ТЮТ для ойб р1зно! стать а частота роз-мщення першого максимума в оцшках розподшу спектрально! густини потужносп вщповщае ЧОТ (формантний анал1з);
4) оцпповання наближоного значения ЧОТ;
5) оцпповання штервалу кнування ЧОТ.
Основний отап включае в себе наступш шдетапи:
1) формування ковзного в1кна з уточноною шириною. яке транслюеться в чай по основшй реестро-грам1 ЕМГ сигналу;
2) в можах кожно! трансляцп ковзного в1кна проводиться оцпповання розподшу спектрально! густини потужносп ЕМГ сигналу (аналоично. як 1 для шдготовчого етапу);
3) усероднення оцшок розподшу спектрально! густшш потужноста ЕМГ сигналу в штервал1 к:ну-вання ТЮТ;
4) формування критор1ю прийняття ршгсння про наявшеть ознак ОТ в структур! ЕМГ сигнал1в.
Для забозпечоння можливосп проведения шд-готовчого етапу опрацювання ЕМГ сигналу необ-хщним с об1"рунтування внбору ширини ковзного вшна. Для цього використано результата чиселышх дослщжонь О. Сабуро. Ф. Гремь А. Мулонге. Р. Юс-сона. що оиисан1 в пращ [15]. Ними було показано, що голосов! складки починають коливатись швидше початку гоиеруваиия мовиих звушв 1 продовжують коливатись повиий час шеля припииеиия гоиеруваиия мовиих звушв. В окремих випадках показано, що голосов! складки зд!йсшоють близько 50 дода-ткових коливань до та шеля гонерування мовного звуку. Таким чином наявшеть ознак ОТ в структур! ЕМГ сигнал1в можна виявляти шляхом опращоваия цих сигнал1в в можах ковзного в1нка. ширина якого також буде р1вною тривалосп 50-ти иер1од1в ОТ.
Наближоне значения ЧОТ визначаеться 1з те-стово! частини Е1МГ сигналу шляхом оцпповання частот розмщення першого максимуму в ощнках розподшу спектрально! густини потужность що об-числош в можах кожно! трансляцп ковзного в1кна. та усероднення значень цих частот.
Величина штервалу 1снування ТЮТ вибираеться 1з прииущення. що значения ТЮТ для одного диктора в однакових умовах розиодшяеться за законом. який с близьким до нормального. Цей факт був пщтворджений в працях [17 19]. Враховуючи цо прииущення величина штервалу 1сиуваиия ЧОТ може бути визначена за правилом 3-х сигм (За) [20]. вщповщно до якого не менш. шж 1з 99.7% достов1рн1стю вс1 значения нормально розподшено! вииадково! величини х (масив значень ЧОТ) лежать в штервал1 [ж — 3а; ж + 3а], за умови що величина ж достеменно вщома, а не отримана в
результат! обробки виб1рки. при чому:
\
; Е <* - * >
i=1
(1)
ж = - Е,
i
п — 1
Е <* - - >
(2)
¿=1
опрацюваиия ЕМГ сигналу заиропонованим методом. Для реестрацп обох сигнал1в використовувався персоналышй комп'ютер та програмно забозпочоння Adobe Audition 3.0. Реестрограми обох сигнал1в для одше! особи наводош на рис. 1.
де: а - стандартно вщхилення виб1рки х\ х^ — г-тий елемент виб1рки; х - середне арифметичне виб1рки значень ЧОТ; п - об'ем виб1рки.
При цьому, виб1рка х мае бути сформована сксперименталыго 1з використанням формантного анал1зу шляхом оцпповання частоти розмщоння першого максимуму ощнок розподшу спектрально! густини потужносп 1з тестов их ЕМГ сигнал1в. шд час зшмання якнх пащент намагаеться вимовляти окрохн голосш та приголосш вокатзоваш звуки.
В нашому випадку значения величини ж невщо-ме, а об'ем виб1рки х експериментально визначених значень ЧОТ може виявитись меншим 75. тому шу-каний штервал оцшюеться за правилом трьох в, де в - кореговане стандартне вщхилення для виб1рки, об'емом п < 50. Значения корегованого стандартного вщхилоння може бути обчислене за виразом [20]:
1] ] [а ] [а 1 [с ! i ^ 1 i [с ] [л] [л] [л] III
1 ! 1 1 1 1
(а)
гчИР W ITff
1 1 1
10
де: в — кореговане стандартно вадхилення, незмщена оцшка средиьоквадратичиого вщхилоння випадко-во1 величини X вщносно 11 математичного спод1ва-ння; Хг — г-тий елемент виб1рки; ж - математичне спод1вання виб1рки значень ЧОТ; п - об'ем виб1рки.
3 Верифжащя методу опрацю-вання електромюграс|нчних сигнал1в
Для верифшацп запропонованого методу опра-цювання ЕМГ сигнатв проведено експерименталь-ний В1дб1р таких сигнатв 1з застосуванням снстемн ввдбору. що описана в пращ [21]. Вщб1р ЕМГ сигнатв проводився 1з ойб р1зного вжу 1 стать Дат наводиться результата опращовання сигнатв, яш ввдбраш вщ одше! особи.
В процой вщбору особа вимовляла вголос р1зш галосш та приголосш вокатзоваш звуки, яш ре-еструвались 1з використанням олоктродинам1чного мшрофона. ЕМГ та голосовий сигнали рееструва-лись одночасно. Голосовий сигнал нообхщний для верифшацп методу опращовання. оскшьки за ним можна визиачити часов1 шторвали прояву ОТ в структур! ЕМГ сигналу, яш повинш вщповщатн аналопчним шторвалам, отриманим в результат!
(Ь)
Рис. 1. Роестрограми одночасно ввдбраних голосового сигналу (a) i3 позначонням звушв, яш реестру-вались, та ЕМГ сигналу (Ь)
Проведено оцпповання наближеного значения ЧОТ за голосовим сигналом. Для цього проведено його опращовання методом формантного анал1зу, вщповщно до якого частота розмщоння першого максимуму в cnoKTpi потужносп вщповщае ТЮТ. Опращовання виконувалось на дшянках, що вщ-иовщають голосним та ириголосним вокал1зованим звукам. Для опращовання використано пакет прикладник програм Matlab R15a. Проведено опращовання 40 реал1защй окремих звушв. Приклади ощнок розподшу спектрально! густини потужносп деяких звушв иаведеио па рис. 2.
За отриманими розподшами спектрально! густи-ни иотужносп обчнелено значения частот розмще-ння першого максимуму та вщповщно наближеного значения ТЮТ. Обчислено середне значения ЧОТ. яке становить 202.8Гц. Використовуючи вираз (2) обчислено штервал кнування ТЮТ. Для анал1зова-них реестрограм голосового сигналу цей штервал становить (166-239.6) Гц.
3 рис. 1а видно, що ЕМГ сигнал е значно зашум-леним, тому проведено його фшьтращю для збшь-шоння сшввщношення сигнал/шум. Для цього використано метод спектрального вщшмання (spectral subtraction), що е реал1зований у вигляд1 окремо! функцп в середовшщ Adobe Audition. При цьому нообхщним е задания д1лянки сигналу, яка являе собою шум i не м1стить корисного сигналу. У нашо-
а =
12
14
8
¿0
S
му випадку такою дшянкою можуть бути пернп дв1 сокунди реестрограми ЕМГ сигналу.
0 2 4
6 8 10 12 14 16 18 20
(а)
1С
Рис. 2. Оцшки розподшу спектрально! густини по-
(Ь)
тужносп дояких голосних та приголосних вокалЬо- Рис. 4. Вигляд реестрограм вщфшьтрованого голо-
ваних звукш
Ввдповвдно до методу спектрального вщшмання. для ща' дшянки обчислюються оцшки амшптудного спектру, яш розбиваються на вузьш смуги частот. В межах кожно! смуги обчислюються парамотри споктралышх складових шуму. Дал1 щ складов! ввдшмаються в1д спектра всього сигналу та вико-нусться перехвд 1з спектрально! облает в часову. Вигляд ЕМГ сигналу шеля застосування методу спектрального ввдшмання та нормал1зацп наведено на рис. 3.
.....1
.......
сового сигналу (а) та ЕМГ сигналу (Ь)
Отриманий шеля повторно! фшьтрацп ЕМГ сигнал мштить дшянки з шдвшценою амшптудою. яш практично сшвпадають 1з дшянками голосового сигналу п окремнмн звуками. Однак. щ шдвшцон-ня амшптуди можуть бути викликаш ковталышми рухами. рухами ши!. язика. пшшх оргашв голосового апарату. Тому проведено оцпповання наявносп ознак ОТ в структур! такого ЕМГ сигналу. Для цього застосовано розроблоний метод опрацювання. Зформовано ковзне вшно 1з шириною, яка р1вна 50 перюдам ОТ. Наближоно значения перюду ОТ с оборноним до ЧОТ. наближоно зиачоиня яко! було поперодньо отримане 1з зареестрованого голосового сигналу. Величина перюду ОТ при цьому стаиовить 4.93 мс. Ввдповвдно ширина в1кна стаиовить 0.25 с.
8 10 12 14 16
Рис. 3. Росстрограма ЕМГ сигналу теля застосува-ння методу спектрального ввдшмання та нормал1за-
цп
На рис. 3 можна легко похйтити дшянки збшь-шоння амшптуди ЕМГ сигналу, яш наближоно в1д-поввдають дшянкам роестрограмп голосового сигналу 1з голосиими та приголосиими вокал1зованими звуками. Для крагцого подавления шуму застосовано що раз метод спектрального вщшмання та нормал1зацп. Також такий же метод фшьтрацп застосовано 1 для реестрограми голосового сигналу. Вигляд отриманих роестрограм голосового та ЕМГ сигнал1в наведено на рис. 4.
Номер виша, к
Рис. 5. Усереднеш оцшки розподшу спектрально! густини потужноста ЕМГ сигналу, обчислош в межах кожно! трансляцп ковзного в1кна
В межах кожно! трансляцп ковзного вшна об-чпелоно оцшки розподшу спектрально! густини по-тужносп та проведено !х усероднення за частотами та потужшетю на поперодньо визначеному (за го-лосовим сигналом) штервал1 шнування ТЮТ (166239.6 Гц). Вигляд отриманих усореднонпх оцшок
2
4
6
8
2С
18 20
розподшу спсктральнсм густини потужност1 наведено на рис. 5.
На рис. 6 наведено сшвставлоння голосового сигналу. ЕМГ сигналу та усородноних ощнок розподь лу спектрально! густини потужносп ЕМГ сигналу, що обчислеш в межах кожио! трансляцп ковзного BiKiia.
14 16
♦ ^ } * * ^ ♦
(а)
> > > f М I
12 14
(Ь)
Номер в1кна. к
(а)
— -
: 1 »J , 1, 1, i i л;
(с)
Рис. 6. Вигляд голосового сигналу (а). ЕМГ сигналу (Ь) та усородноних оцшок розподшу спектрально!' густини потужносп ЕМГ сигналу, що обчислош в межах кожно! трансляцп ковзного в1кна (с)
О 50 100 150 200 250 300 350 400
Номер BiKHa. к
(Ь)
Рис. 7. Графжи усородноних ощнок розподшу спектрально! густини потужность обчислеиих в межах кожио! трансляцп ковзного вшна, ширина якого становила 25 (а) та 10 (Ь) иерюд1в ОТ
3 рис. 6 можна зробити висновок, що складов! ОТ з'являються в структур! ЕМГ сигналу швид-ше генероваиого голосового сигналу, що додатково шдтверджуе окрохй положения иейрохроиаксичио! теорп.
Припущено, що 1з зменшенням ширини вшна точшеть визначення часовнх штервал1в наявносп ознак ОТ шдвшциться. Проведено опращовання ЕМГ сигналу розробленим методом 1з застосува-нням ковзного в1кна, шнрнна якого становила 25 та 10 порюд1в ОТ. Графжи отриманих усородноних ощнок розподшу спектрально! густини потужноста, обчислених в межах кожио! трансляцп ковзного вь кна, наведеш на рис. 7.
В станов л оно. що 1з зменшенням ширини вшна шдвшцуеться точшеть виявлення часових штерва-«шв наявносп ознак ОТ в структур! ЕМГ сигналу, однак значно зростае обчислювальна складшсть та необхщш обчислювалыи потужносп (при збшынен-ш кшькосп транслящй ковзного в1кна иропорщйно збшыпуеться кшьшеть необхщних обчислень), що ироявляеться в чась необидному для проведения обчислень. Серед трьох розглянутнх значень ширини ковзного в1кна оитималышм з точки зору точно-ста виявлення часових штервал1в наявноста ознак ОТ та затраченого на обчислення часу е значения ширини вшна, р1вно 25 перюд1в ОТ. що в нашому випадку становить 0.123с.
Висновки та рекомендацп
Вщповщно, розроблений метод опращовання ЕМГ сигнал1в, що зароестроваш i3 поверхш ши! па-щентав иоблизу голосових складок, дае можливють виявлення ознак ОТ та часових штервал1в наявно-CTi ОТ в структур! таких сигнал1в, що е нообхщним для настуино! щентифшацп окремих голосних та приголосних вокал1зованих фонем для задач1 ком-пенсацп порушено! комушкативно! функцп людини. На ocuoBi отриманих результате можливим стае розроблення спощал1зованих техшчних засоб1в ком-иенсацп порушеио! комушкативно! функцп людини.
Перелж посилань
1. Кашкии В. В. Введение в теорию коммуникации : учеб. пособие / В. В. Кашкии. М. : ФЛИНТА, 2013." 224 с. ISBN 978-5-9765-1424-9
2. Ремизов А. Н. Медицинская и биологическая физика: учеб. для вузов / А. Н. Ремизов, А. Г. Максина, А. Я. Поташшко. 4-е изд., иерераб. и дополи. М. : Дрофа, 2003. 560 с.
3. Абакумов В. Г. Вшмедичш сигиали. Генезис, обробка, мошторииг. / В. Г. Абакумов, 0.1. Рибш , И. Сватош. Hopa-iipiiiT, 2001. 516 с.
4. .lia Xueqian, Jinghong Li, and Yuyuan Du. Unvoiced Speech Recognition Based on One-Channel Facial Myoelectric Signal. The Sixth World Congress on Intelligent Control and Automation, 2008, pp. 9362- 9366.
о. Jorgensen С., Loo D., Agabon S. Sub Auditory Speech Recognition Based on EMG/EPG Signals, Proceedings of the International Joint Conference on Neural Networks. ■2003. pp. 3128-3133.
6. .lou. S.-C.. Maier-Hein. L.. Schultz. Т.. Waibel. A.: Articulatory feature classification using surface electromyography. In: Acoustics. Speech and Signal Processing. 1CASSP 2006 Proceedings, pp. 1 605 1 608 (2006).
7. Impact of Different Speaking Modes on EMG-based Speech Recognition / Michael Wand. Szu-Chen Stan .lou. Arthur R. Toth. Tanja Schultz // Interspeech 2009. 6-10 September. Brighton UK. pp. 648-651.
8. Subvocal Speech Recognition System based on EMG Signals / Yukti Bandi // International Conforonco on Computer Technology (1CCT 2015); International •Journal of Computer Applications, pp. 31-35.
9. Сашшков В. Силой мысли // Популярная механика. 2008. №6(68). с.72-75.
10. Brigham. К.; Vijaya Kumar. B.V.K.. "Imagined Speech Classification with EEC Signals for Silent Communication: A Preliminary Investigation into Synthetic Telepathy June 2010 4th International Conference on Bi-oinformatics and Biomedical Engineering.
11. Brigham. K.; Vijaya Kumar. B.V.K.. "Subject Identification from Electroencephalogram (EEC) Signals During Imagined Speech 2010 Fourth IEEE International Conference on Biometrics: Theory. Applications and Systems (BTAS) // September 2010.
12. Porbadnigk A.; Wester M; Schultz. Т.. "EEC-Based Speech Recognition: Impact of Temporal Effects 2009. 2nd International Conference on Bio-inspired Systems and Signal Processing (Biosignals 2009). Porto. Portugal.
13. Дозорська О. Ф. ВщГнр та оирацюваиия бшеигиалш для задач! шдиовлеиия комушкативио!' фуикцй' моим людиии / О. Ф. Дозорська. В. Г. Дозорський. С. В. Яворська //BiciiuK Кромоичуцького иацюиаль-иого ушверситету ¡Meiii Михайла Остроградського. Кромоичук: КрНУ. 2017. Вииуск 4(105). С. 9-14.
14. Дозорська О. Ф. Застосуваиия иейрохроиаксичшн то-opi'i фонами для задач! вщиовлеиия комушкативио!' фуикцй' мови людиии / О. Ф. Дозорська. В. Г. Дозорський. Л. С. Дед1в. 1. Ю. Дед1в. С. В. Яворська // Znanstvona misel. Slovenia. 2017. №12. с. 57-61.
15. Рауль lOccoii. Певческий голос: исследование основных физиологических и акустических явлений певческого голоса. М.: Музыка. 1974. 263 с.
16. Методи оцшюваиия точиост! шформащйио-BUMipioBa-'ibiiux систем д1агиостики : Моиограф1я / [П. В. Марченко. В. В. Печииорук. О. П. Почииорук. Ю. В. Попа]. К.: ПАУ. 2014. 377 с.
17. Омольчоико А. В. Статистический синтез алгоритмов оценивания периода основного тона речевых сигналов / А. В. Омольчоико. А. И. Посияков // Радиоэлектроника и информатика (Кибернетика). М. : РИ. 1999. №1. С. 22-25.
18. Генерация криптографических ключей на основе голосовых сообщений / Е. А. Сулавко. А. В. Еременко. Р. В. Борисов // Прикладная информатика / Journal of Applied Informatics. 2016. №5(65). С. 78-91.
19. Рихтер С. Г. Устройства преобразования и обработки информации в системах подвижной радиосвязи. М.: Московский технический университет связи и информатики . 2006. 66 с.
20. Ивченко Г. И.. Медведев Ю. И. Введение в математическую статистику. М. : Издательство ЛКИ. 2010. 600 с.
21. Дозорська О. Ф. Структура системи выбору 6iocu-шалш для задач! вщповлепия комушкативио!' фуикцй' людиии / О. Ф. Дозорська. В. Г. Дозорський. С. В. Яворська. 1. Ю. Дед1в. Л. С. Дод1в. 1. Ю. Папь-к1в // BiciiuK Хмелышцького иацншалышго ушверси-тоту. Texiii4iii пауки. Хмолышцький : ХНУ. 2019. №2(271). С.183 187.
References
[1] Kashkyn V. В. Vvedenye v tooryiu kommunykatsyy [Introduction to Communication Theory]. Moskov. FLYNTA. 2013. 224 p.
[2] Remizov A. N.. Maksina A. G.. Potaponko A. Ya. Medi-tsinskaya i biologichoskaya iizika [Medical and biological physics]. Moskov. Drofa. 2003. Iss. 4. 560 p.
[3] Abakumov V.. Rybin O.. Svatosh 1. Biomedychni syhnaly. Henezys. obrobka. monitorynh [Biomedical signals. Genesis, processing, monitoring]. Nora-print. 2001. 516 p.
[4] Jia X.. Wang X.. Li J. and Du Y. (2006) Unvoiced Speech Recognition Based on One-Channel Facial Myoelectric Signal. 2006 6th World Congress on Intelligent Control and Automation, pp. 9362- 9366. DOl: 10.1109/wci-ca.2006.1713813
[5] Jorgensen C.. Lee D. and Agabon S. (2003) Sub auditory speech recognition based on EMG signals. Proceedings of the International .Joint Conference on Neural Networks, 2003.. pp. 3128-3133. DOl: 10.1109/ijcnn.2003.1224072
[6] Jou S.. Maier-Hein L.. Schultz T. and Waibel A. (2006) Articulatory Feature Classification using Surface Electromyography. 2006 IEEE International Conference on Acoustics Speed and Signal Processing Proceedings, pp. 1 605 1 608. DOl: 10.1109/icassp.2006.1660093
[7] Wand. Michael. Jou. Szu-Chen Stan. Toth Arthur R.. Schultz Tanja (2009) Impact of different speaking modes on EMG-based speech recognition. INTERSPEECH 2009 10th Annual Conference of the International Speech Communication Association, pp. 648-651.
[8] Yukti Bandi. Subvocal Speech Recognition System based on EMG Signals. International .Journal of Computer Applications, International Conference on Computer Technology (ICCT 2015), pp. 31-35.
[9] Sannikov V. Siloi mysli [By the power of thought]. Populyarnaya mekhanika. 2008. Vol. 6(68). pp.72-75.
[10] Brigham K. and В. V. К. V. Kumar (2010) Imagined Speech Classification with EEC Signals for Silent Communication: A Preliminary Investigation into Synthetic Telepathy. 2010 4 th International Conference on Bioinformati.es and Biomedical Engineering, pp. 1-4. DOl: 10.1109/icbbe.2010.5515807
[11] Brigham K. and В. V. К. V. Kumar (2010) Subject identification from electroencephalogram (EEC) signals during imagined speech. 2010 Fourth IEEE International Conference on Biometrics: Theory, Applications and Systems (BTAS), pp. 1-8. DOl: 10.1109/btas.2010.5634515
[12] Porbadnigk A.; Wester M.; Calliess .1.; Schultz T. (2009). EEG-BASED SPEECH RECOGNITION - Impact of Temporal Eifects. Proceedings of the International Conference on Bio-inspired Systems and Signal Processing, Volume 1: BIOSIGNALS, (BIOSTEC 2009) ISBN 978-989-8111-65-4, pages 376-381. DOl: 10.5220/0001554303760381
[13] Yavorska Ye. B., Dozorska O. F., Dozorskyi V. G. (2017) Selection and processing of biosignals for the task of human communicative function restoring. 'lYansactions of Kremenchuk Mykhailo Ostrohradskyi national university, Issue 4(105), pp. 9-14.
[14] Yavorska Ye. B., Dozorskyi V. G., Dozorska O. F., Dediv L. Ye., Dediv 1. Yu. (2017) Application of the neurochronous phonation theory for the problem of human communicative function restoration. Znanstvena mi si I journal, Vol. 12, pp. 57-61.
[15] Raul: Yusson. Pevcheskii golos: issledovanie osnovnykh lizi-ologicheskikh i akusticheskikh yavlenii pevcheskogo golosa [Singing voice: a study of the basic physiological and acoustic phenomena of the singing voice]. Moskov, Muzyka, 1974, 263 p.
[16] Marchenko N. B., Nechyporuk V. V., Nechyporuk O. P., Pepa Yu.V. Metody otsiniuvannia tochnosti informatsiino-vymiriuvalnykh system diahnostyky [The methods for evaluating the accuracy of information- measuring systems of diagnosis] : Monohraliia. Kyiv, NAU, 2014, 377 p.
[17] Omel:chenko A. V., Pesnyakov A. 1. Statisticheskii sintez algoritmov otsenivaniya perioda osnovnogo tona rechevykh signalov [Statistical synthesis of algorithms for estimating the main tone period of speech signals]. Radioelektronika i informatika (Kibernetika), Moskov, 1999, Vol. 1, pp. 22-25.
[18] Sulavko E. A., Eremenko A. V., Borisov R. V. (2016) Cryptographic keys generation based on voice messages. ■Journal of Applied Informatics, Vol. 11, No. 5(65), pp. 76-89.
[19] Rikhter S. G. Ustroistva preobrazovaniya i obrabotki informatsii v sistemakh podvizhnoi radiosvyazi [Devices for converting and processing information in mobile radio systems]. Moskov, Moskovskii tekhnicheskii universitet svyazi i informatiki, 2006, 66 p.
[20] Ivchenko G. 1., Medvedev Yu 1. Vvedenie v matemati-cheskuyu statistiku [Introduction to Mathematical Statistics]. Moskov, LK1, 2010, 600 p.
[21] Dozorska O.K., Dozorskyi V.G., Yavorska Ye.B., Dediv 1. Yu., Dediv L. Ye.." Pankiv 1. Yu. (2019) The structure of biosignals selection system for the task of human communicative function restoring. Herald of Khmelnytskyi national university. Technical sciences, Vol. 2 (271), pp. 183 187. DOl: 10.31891/2307-5732-2019-271-2-183-187
Метод выявления признаков основного тона в структуре электромиографических сигналов для задачи компенсации нарушенной коммуникативной функции человека
Дозорская О. Ф., Яворская Е. В., Дозорский В. Г., Дедив Л. Е., ДеОив И. Ю.
В работе разработан метод обработки электромиографических сигналов для задачи компенсации нарушенной коммуникативной функции человека. Метод дает возможность выявления признаков основного топа в структуре электромиографического сигнала, зарегистрированного с поверхности шеи пациентов вблизи голосовых связок. По этим признакам можно проводить идентификацию отдельных мысленно произносимых гласных и согласных вокализированных фонем и проводить распознавание собственно речи пациентов с нарушенной или утраченной коммуникативной функцией. Разработанный метод включает в себя два этапа, а имешго: подготовительный и основной. Целыо подготовительного этапа является получение данных об индивидуальных особенностях языка пациента, в частности приближенного значения частоты основного топа и частотного интервала существования частоты основного топа при попытке произнесения пациентом тестовых последовательностей звуков в определенные моменты времени. Эти данные необходимы для возможности применения основного этапа метода, предусматривающего обработку электромиографических сигналов, зарегистрированных при произвольной попытке произнесения пациентом произвольных звуков, слов или фраз. Предложено для выявления временных интервалов наличия признаков основного топа проводить обработку электромиографических сигналов методами спектралыго-корреляциошгого анализа с применением метода скользящего окна при подаче таких биосигпа-лов в виде кусочпо-стациопарпого случайного процесса. При этом в пределах каждой трансляции скользящего окна производится вычисление оценок распределения спектральной плотности мощности и усреднение этих оценок по частоте и мощности в пределах предварительно определенного интервала существования частоты основного топа. Полученные усредненные оценки дают возможность установки временных интервалов наличия основного топа и соответственно последующей идентификации гласных и согласных вокализированных фонем. Проведена обработка разработанным методом экспериментально зарегистрированного ЭМГ сигнала с различными значениями ширины скользящего окна.
Ключевые слова: коммуникативная функция: электромиографический сигнал: голосовой сигнал: частота основного топа
The Method of the Main Tone Detection in the Structure of Electromyographic Signals for the Task of Broken Human Communicative Function Compensation
Dozorska O. F., Yavorska E. В., Dozorskyi V. G., Dediv L. Ye., Dediv I. Yu.
In tlie work tlie method of electromyographic signals processing for the task of broken human communicative function compensation is developed. The method allows to detect the signs of main tone in the structure of electromyographic signals, that were recorded from the surface of patients neck near the vocal folds. Using this signs it is possible to identify the mentally spoken vowel and vocalised consonant phonemes and to identify the speech
of patients with broken or lost communicative function. The developed method includes two stages, namely: preparatory and basic. The purpose of the preparatory stage is to obtain data on the individual features of the patient's speach, in particular the approximate value of the main tone frequency and the frequency interval of the main tone frequency when patient is trying to utter test sequences of sounds at certain points in time. These data are necessary to enable the use of the basic stage of the method, which involves the processing of electromyographic signals recorded in an arbitrary attempt to pronounce arbitrary sounds, words or phrases by the patient. It is proposed to processing the electromyographic signals by methods of spectral-correlation analysis using the sliding window method if presenting of such biosignals in the form of a
piecewise stationary random process to detect the time intervals of the presence of main tone signs. Within each sliding window the estimates of the power spectral density distribution are calculated and averaged over the frequency and power within the predetermined interval of existence of the main tone frequency. The obtained averaged estimates make it possible to set the time intervals of the main tone presence and, accordingly, the subsequent identification of vowel and consonant vocalised phonemes. The experimentally registered EMG signal was processed by the developed method with different values of the sliding window width.
Key words: communicative function; electromyographic signal; speech signal; main tone frequency
