Матричні перетворення в задачах оброблення мовних сигналів Текст научной статьи по специальности «Электротехника, электронная техника, информационные технологии»

5. ШФОРМАЦШЙИШ ТЕХНОЛОГИ

ГАЛУЗ1

УДК 681.142.2;622.02.658.284;621.325 Проф. Ю.М. Рашкевич, д-р техн. наук;

доц. Д.Д. Пелешко, д-р техн. наук; ст. викл. А.М. Ковальчук; acnip. М.1. Купчак; студ. В.П. Киричук - НУ "Льв1вська пол1техшка"

МАТРИЧН1 ПЕРЕТВОРЕННЯ В ЗАДАЧАХ ОБРОБЛЕННЯ МОВНИХ СИГНАЛ1В

Запропоноване новий вид операцшного перетворення для оброблення мовних сигналiв, який грунтусться на побудовi квадратно! матриц оператора, отримано! для одновимiрного випадку. Розглянуто типовi задачi i побудовано алгоритми !х виршен-ня на основi використання власних значеннях i власних векторiв цього оператора.

Ключовi слова, мовний сигнал, спектр, квадратна матриця, оператор, власш значення, власш вектори, передискретизащя, змша часового масштабу, синтез, топология, диз'юнктивне покриття.

Вступ та постановка задачь Трансформащя часово! структури сигналу в задачах регулювання темпу вщтворення мовно! шформацп у випадку сповшьнення темпу вимагае виршення задач! формування композитних сег-менлв мовного сигналу, як при послщовному шд'еднанш до в1др1зк1в почат-кового сигналу збшьшують його загальну тривалють.

Вщом1 методи побудови композитних сегмент1в на основ! систем ана-л1зу-синтезу мови [1] в одних випадках (анал1з-синтез на основ! коротко часового перетворення Фур'е, гомоморфний синтез) е обчислювально надзви-чайно трудомюткими, в шших (лшшне передбачення) - не завжди забезпечу-ють стшюсть при виршенш задач1 синтезу на основ! модифшованого пара-метричного представлення.

В данш робот пропонуеться використання для виршення представлено! задач1 математичного апарату власних вектор1в, на основ! якого синтезо-ваний композитний сегмент поеднуе характеристики як попереднього, так i наступного вщр1зюв оригшального сигналу.

Основною метою роботи е розроблення операцшного перетворення для виршення класичних задач оброблення мовних сигнал1в. Основним те-оретичним 1нструментар1ем для досягнення ще! мети виступае апарат власних шдпростор1в матричних оператор1в розширення тривалост мовного сигналу та його синтез засобом апарату власних вектор1в квадратних матриць-оператор1в. Способи побудови таких оператор1в та алгоритми оброблення для випадку двовим1рних сигнал1в (на приклад1 зображень) розроблеш та описаш в [4]. Проте залишаеться проблемою розроблення методу побудови матричного оператора i розроблення алгоритм1в практично використання його власних векторiв саме для одновим!рного випадку.

1. Введення топологи в npocTopi мовного сигналу. Нехай задано ча-совий пром!жок lt = [t0; tM] с R1, на якому визначено мовний сигнал x(t): lt ^

X с R1. Визначимо на промiжку lt сюнченне диз'юнктивне розбиття х ком-

пактами т, якими виступатимуть замкнет наступним чином

N

lt = U т' е х л Vi>j е N ]: тn т j = 0> те х,

(1)

i=1

де N - розмiрнiсть розбиття

У дискретному випадку промiжок ¡г е множиною дискретних значень ¡г = [¿¡| г =0...М}, розмiрностi М. Тодi границi Тг-; та Т1 кожного вiдрiзка т розбиття х визначаеться так

то = *о; Т = + М, (2)

де - прирiст в часi вiдрiзку т розмiрностi

За розбиттям х дискретний мовний сигнал х^), який визначений на промiжку ¡г, також може бути представлений об'еднанням

N

X

(t )=U

(3)

i=1

де х. = [х(0 | ? е т } - ¡-а дiлянка мовного сигналу, яка вщповщае вiдрiзку т.

2. Побудова нелшшного оператора на основi амплiтудних значень для дiлянок мовного сигналу. Побудова матриц оператора V; для дiлянки хг здiйснюеться за формулою

х (Т Г

V.. =

X

(T-1)

X (T-1) X (T-1)

x (T-1) Xi (T)

X

(T)

X

(T)

= { 8

i (m, n)

x (tm)' (tn ),

X

m=i—1..i

n=i—1..i

(4)

Розмiрнiсть матрицi V, буде дорiвнювати dim V, = n, x n, = n,.

Для подальшого вирiшення задачi для матрищ V, за iтерацiйним способом знайдемо власт значення та власт вектори.

Припустимо [3], що юнуе повна система нормованих власних векторiв (розмiрностi ni) квадратно! матрицi (4):

i (j)

= ( ei (j )1'...' ei (j ) П, ) =

'(j)

= 1.

(5)

i нехай \Ai(1)\ > \k(2)\ >... > | k,(n)|. Задамо вектор X^) i послiдовно обчислюва

тимемо вектори X^+1 за формулою

х( ^=V х(\\,, (к=0,1,...).

Розвинемо вектор Х^) за базисом е;(.). Тодi

Х(0()) = V с,X.(.)е.(.), ] =1

(6)

(7)

а вектори X(1(z),X(2(z),...,X() визначатимемо за формулами [3]

Х!(=, = £ «j (.J X(( сj (X, J+1 e,

j=1 j=1

Мдси (X!('j,X(i')) = [ ZCj(,ыГC(X,(j,Гe

V j=1 j=1

v j=1 i

(j )

(8) (9)

( X «)) , (X, (j) e, (7 , (X, (j) e, V j=1 j=1

Взявши вщношення другого скалярного добутку до першого, отри-

а+1

у л

, (j )

(10)

маемо

V 1 (z) 1 (z)/

X«)

V 1 (z ) 1 (z )/

X

2 k+3 (1)

c1 + о

X

(2)

X

(1)

k+1

У

X

2k+2 (1)

cf +о

X

(2)

X

(1)

k+1

(11)

Оскшьки

X1 (j ) 'X1 (1)

< 1 ( j Ф1), то за достатньо великого k маемо

X

(1)

( X((+)1), X«) \ 1 (z) ' i(z)J

X«)

V 1 (z)' 1 (z)/

(12)

Власний вектор e((,)), який вщповщае власному значенню X((1)), при k

1 (1)

1теращях знаходимо за формулою

X(()) C1Xk(^)ei(1) + 0 (X 1 (2)e1 (2) )

»( k ) - (1)

1 (z )

X

(1)

k+1

+ о

(( « (2)|)

(13)

Под1бним чином обчислюються ус решта власних вектор1в e1 ( . ), j = 2,..., nt, як надал1 використовуються для побудови узагальненого вектора r = (r(1)r(n )). Координати вектора r визначаються як середш значен-ня вщовщних координат власних вектор1в

1

1 (z )

- Z ^(j) z , z = 1,-, n1 .

n1 j=1

(14)

3. Алгоритм модифжацп мовного сигналу на ochobî матричного перетворення. Нехай на пром1жку lt задано попередньо сегментований за то-полопею х дискретний мовний сигнал x(t). Нормал1зуемо його на пром1жку [1; 1]

C

X

t, е I.

(15)

Для нормалiзованого за (15) мовного сигналу х(0 розглянемо алгорит-ми типових задач його опрацювання. Алгоритм передискретизаци:

Крок - обчислення ^ерацшним способом зпдно з (5)-(13) власних векторiв квадратних матриць, побудованих за сшввщношенням (2). Крок - для кожного { виршення екстремально! задачi:

X

(max)

max X. (. v

je[1; n. ] '

(16)

"О

i знаходження вiдповiдного власного вектора е., ^ = ,e , ч......e.t ,

" r i (max) \ i (max)1' ' i (max)n,

Крок - модифшащя мовного дiлянки x,(t) за схемою

У (t) = {X (Ti-1 ). ei (max)1..... X (Ti ) . ei (max) } .

(17)

де у() - модифiкована дiлянка хг{/).

На рис. 1 наведено практичш результати роботи описаного алгоритму. З метою спрощення проведення експерименлв у звуцi 'а' видiлено стащонар-ну дiлянку (рис. 1, а), яка складалась iз 800 вщшюв. На рис 1, б наведено цю саму дiлянку, але остання вже складаеться iз 1660 вщлтв. Таким чином частоту дискретизацп вдалось збiльшити у два рази. При цьому, як св^ить по-рiвняльний аналiз оригшально! мовно! дшянки i передискретизовано!, не вщ-булось ютотних iнформацiйних втрат. При цьому розмiрнiсть шформацшно! дiлянки збiльшена, що е основною перевагою для подальшого штелектуаль-ного аналiзу ще! дшянки мовного сигналу засобами штучного штелекту.

0 100 200 300 400 500 600 700 index of time point

600 800 1000 index of time point

a)

б)

Рис. 1. Часовий графк вихiдно'i (а) та передискреттованог (б) дтянки х(Ь)

(стацюнар звуку 'а') мовного сигналу

Алгоритм змши часового масштабу мовного сигналу: Крок - обчислення ^ерацшним способом зпдно з (5)-(13) власних векторiв квадратних матриць, побудованих за сшввщношенням (2). Крок - за (14) визначення узагальнених векторiв гг. Крок - Побудова для кожно! шформацшно! дшянки х() розширено! дшянки у(), яка утворюеться шляхом додавання справа до дшянки х() син-

0.5

0.5

0.4

0.4

0.3

0.3

li 0.2

0.2

с 0.1

n 0.1

it 0

0

0.1

-0.1

0.2

-0.2

-0.3

0

тезовано1 на основ! узагальненого вектора r ново! дшянки тако1 ж довжини. Тобто, розширена дшянка y(t) е об'еднанням: y(t) = x(t) u r.

Вказат дв1 частини послщовно застосовують до кожно1 послщовно1 дшянки x1(t) для розширення вихщного сигналу x(t). Результати експеримен-т1в прошюстроваш на рис. 2-3.

На рис. 2 наведено часовий сигнал та динам1чна спектрограма голос-ного звуку 'i' в слов1 "Схщна" у нормальному темт. На рис. 3 наведет роз-ширений вдв1ч1 часовий сигнал та вщповщна йому динам1чна спектрограма тсля проведення модифшаци за описаною технолопею.

З наведених результат1в можна констатувати, що модифжащя часово1 структури неютотно вплинула на внутршню структуру звуку, при цьому аудитори в процес експертного оцшювання не вщзначили попршення якост звучання сигналу загалом.

Рис. 2. Часовий графж та динам1чна спектрограма euxiÔHOï дтянки х() (звук 'i')

мовного сигналу

t,ms 00:00:00.000 00:00:00.018 00:00:00.032 00:00:00.047 00:00:<

Рис. 3. Часовий графж та динамiчна спектрограма модифжовано'1 дтянки yi(t)

мовного сигналу

Алгоритм синтезу мовного сигналу:

Крок - обчислення ггерацшним способом зпдно з (5)-(13) власних вектор1в квадратних матриць, побудованих за сшввщношенням (2). Крок - для кожного i виршення екстремальних задач:

X. ( ) = тах X. (.), X. ( )= т1п X. (.).

г (тах) 7е[1; щ ] г ( Г г (т1П) 7е[1; п,. ] г ()

(18)

i знаходження вiдповiдних власних векторiв е

О"

(шах) ( (шах) 1 г (шах) щ ) та

е. (ш1_) =(е (ш1_Г1,...,г

г (т1п) I г (т1п)1' ■ ■'' г (т1п)щ

Крок - побудова допомiжноl дiлянки

у,'(г) =

, ,„ ч г (тах)1 г (т1п)1 , ,„ ч г (тах)п. г (т1п)п.

у (Т-1) = ' у (Т) - '

(19)

Крок - дiлянки у (г) для синтезу мовного сигналу, шляхом денорму-вання значень дшянки у'(г)

у () = {у(Т-1) = ау'ХТ-1),...,у(Т) = ау'ХТ)}, де а =

тах х (г) - т1п х (г) тах у' (г) - т1п у' (г)

гет, 4 ' tет,. 4 '

(20)

На рис. 4, а i б наведено оригшальний мовний сигнал (слово 'миша'), його сегментацiя на мовнi дшянки та динамiчна спектрограма. На основi ви-дiлених мовних дiлянок побудовано систему векторiв синтезу мовного сигна-

лу, який складатиметься iз звуюв 'а', 'и', 'м', 'ш'.

Рис. 4. Часовий графш та динамiчна спектрограма оригшального

сигналу (слово 'миша')

00:00:01.010 мовного

На основi цих векторiв синтезовано новий мовний сигнал. Для зруч-ностi порiвняльного аналiзу синтезовано також слово 'миша'. В таблицi наведено порiвняння за кореляцiйною метрикою оригiнальнi та синтезоваш звуки. Варто вщзначити дуже високе значення коефщента кореляци для усiх звукiв. Проте у випадку вокалiзованих звукiв цей коефщент мае значення трохи менше шж у випадку вибухових та щшинних приголосних звукiв.

З порiвняння спектрограм оригшального та синтезованого мовного сигналу вщзначимо появу неiстотних шумiв в област низьких частот, проте в процеЫ аудиторських прослуховуваннях щ шуми не проявлялись.

а)

б)

Рис. 5. Часовий графш та динамiчна спектрограма синтезованого мовного сигналу (слово 'миша')

Табл. 1. Результати визначення коеф^ента кореляци мiж окремими дтянками в оригшальному та синтезованому мовних сигналах

Мовна д1лянка (звук) "м" "и" "ш" "а"

Корелящя 0,98 0,99 0,97 0,99

Висновки. Як показують результати практичних експерименпв запро-поноване операцшне перетворення i алгоритми його практичного використання можуть використовуватись базисом подальшого розвитку методiв модифь кацп рiзних клаЫв звукових одиниць мовного сигналу для найрiзноманiтнi-ших задач опрацювання сигналу у системах штучного штелекту. Можливють цього використання обумовлюеться тим, що розроблене для одновимiрного

випадку перетворення базуеться на властивостях власного шдпростору i е не-залежним вщ характеристичних ознак попереднього опрацювання сигналу.

Для випадку мовного сигналу основною перевагою запропонованого перетворення i пiдходiв до опрацювання е урахування при сиш^ композитного сегменту структури та властивостей як попередньо!, так i наступно! дь лянок початкового сигналу, що забезпечуе збереження загально! динамiки змiн, якi вiдбуваються в сигналi в процесi переходу вщ одних звукiв до ш-ших, а також сприяе зменшенню енерги шуму внаслiдок послiдовного з'еднання дшянок у вихiдному сигналi.

Л1тература

1. Рашкевич Ю.М. Перетворення часового масштабу мовних сигнал1в / Ю.М. Рашке-вич. - Льв1в : Вид-во "Академ1чний експрес", 1997. - 140 с.

2. Рашкевич Ю.М. Змша роздшьно! здатносп зображень з використанням власних век-тор1в деяких квадратних матриць / Ю.М. Рашкевич, А.М. Ковальчук, Д. Д. Пелешко // Моде-лювання та шформацшш технологи : зб. наук. праць ш-ту проблем моделювання в енергетищ 1м. Г.е. Пухова НАН Укра!ни. - 2008. - Вип. 49. - С. 145-153.

3. Хилеико В.В. Численный метод определения собственных чисел матриц произвольно большой размерности / В.В. Хиленко // Кибернетика и системный анализ. - 2004. - № 2. -С. 186-194.

4. Пелешко Д.Д. Змша роздшьно! здатност на основ1 власних вектор1в матриць опера-тор1в вдукованих з тксельних набор1в / Д. Д. Пелешко, Н.О. Кустра, А.М. Ковальчук // Науковий вюник Чершвецького утверситету : зб. наук. праць. - Сер.: Комп'ютерш системи та компоненти. - Чершвщ : Вид-во ЧНУ. - 2010. - Т. 1, вип. 1. - С. 62-67.

Рашкевич Ю.М., Пелешко Д.Д., Ковальчук А.М., Купчак М.И., Ки-ричук В.П. Матричные превращения в задаче обработки языковых сигналов

Предложено новый вид операционного превращения для обработки языковых сигналов, базирующийся на построении квадратной матрицы оператора, полученной для одномерного случая. Рассмотрена типичная задача и построены алгоритмы их решения на основе использования собственных значений и собственных векторов этого оператора.

Ключевые слова: языковой сигнал, спектр, квадратная матрица, оператор, собственные значения, собственные векторы, передисректизащя, изменение часового масштаба, синтез, топология, дизъюнктивное покрытие.

Rashkevych Yu.M., Peleshko D.D., Kovalchuk A.M., Kupchak M.I., Kyrychuk V.P. Matrix transformation in speech signals processing

A new type of operational transformation for speech signal processing based on the construction of a square matrix operator obtained for one-dimensional case. Typical problems and their solution algorithms are built on the basis of eigenvalues and eigenvectors of this operator.

Keywords: speech signal, spectrum, square matrix, operator, eigenvalues, eigenvectors, redyscretization, change the time scale, synthesis, topology, disjunctive coverage.

УДК629.1.073 Доц. С.Й. Ртецький, канд. техн. наук-

Терноптьський НТУм. 1вана Пулюя

АВТОМАТИЗОВАНИЙ РОЗРАХУНОК СТ1ЙКОСТ1 ГРЕЙФЕРНИХ НАВАНТАЖУВАЧ1В НА ОСНОВ1 ПРОСТОРОВОГО АНАЛ1ЗУ

Показано, що перев1рка умови стшкосп грейферних навантажувач1в зводиться до задач просторового анал1зу. Автоматизований розрахунок стшкосп навантажува-