Разработка и реализация классификатора пост-образов на основе статистического метода различения сигналов Текст научной статьи по специальности «Компьютерные и информационные науки»

ISSN1560-3644 BULLETIN OF HIGHER EDUCATIONAL INSTITUTIONS. NORTH CAUCASUS REGION. TECHNICAL SCIENCES. 2024. No 3

Научная статья УДК 004.522

http://dx.doi.Org/10.17213/1560-3644-2024-3-26-32

Разработка и реализация классификатора пост-образов на основе статистического метода различения сигналов

А.Ю. Мезенцева, М.М. Гавриков

Южно-Российский государственный политехнический университет (НПИ) имени М.И. Платова, г. Новочеркасск, Россия

Аннотация. Рассмотрен метод статистической классификации результатов распознавания речевых сигналов. Проанализированы результаты распознавания в целях принятия решения их интерпретации средствами голосового интерфейса интерактивного руководства по выполнению полетных заданий космонавтов. Предлагаемый классификатор позволяет снизить вероятность ложной интерпретации речевых команд, которая может иметь место вследствие ошибок распознавания. В качестве критерия принятия решений предложено использовать классический критерий Байеса, лежащий в основе правил оптимального различения и обнаружения сигналов в радиотехнике. Выполнена экспериментальная апробация полученного классификатора и дана оценка его эффективности в сравнении с нейросетевым классификатором.

Ключевые слова: автоматическое распознавание речи, скрытая марковская модель, искусственная нейронная сеть, статистическая гипотеза, проверка гипотез, критерий Байеса, критерий отношения правдоподобия

Для цитирования: Мезенцева А.Ю., Гавриков М.М. Разработка и реализация классификатора пост-образов на основе статистического метода различения сигналов // Изв. вузов. Сев.-Кавк. регион. Техн. науки. 2024. № 3. С. 26-32. http://dx.doi.org/10.17213/1560-3644-2024-3-26-32.

Original article

Development and implementation of a post-image classifier based on a statistical signal discrimination method

A.Yu. Mezentseva, M.M. Gavrikov

Platov South-Russian State Polytechnic University (NPI), Novocherkassk, Russia

Abstract. The method of statistical classification of speech signal recognition results is considered. The recognition results are analyzed in order to make a decision on their interpretation by means of the voice interface of the interactive manual for performing flight tasks of astronauts. The proposed classifier reduces the likelihood of a false interpretation of speech commands, which may occur due to recognition errors. As a decision-making criterion, it is proposed to use the classical Bayes criterion, which underlies the rules for optimal signal discrimination and detection in radio engineering. The experimental approbation of the obtained classifier was performed and its effectiveness was evaluated in comparison with the neural network classifier.

Keywords: automatic speech recognition, hidden Markov model, artificial neural network, statistical hypothesis, hypothesis testing, Bayes criterion, likelihood ratio criterion

For citation: Mezentseva A.Yu., Gavrikov M.M. Development and implementation of a post-image classifier based on a statistical signal discrimination method. Izv. vuzov. Sev.-Kavk. region. Techn. nauki=Bulletin of Higher Educational Institutions. North Caucasus Region. Technical Sciences. 2024;(2):26-32. (In Russ.). http://dx.doi.org/10.17213/1560-3644-2024-3-26-32.

© ЮРГПУ (НПИ), 2024

ISSN 1560-3644 BULLETIN OF HIGHER EDUCATIONAL INSTITUTIONS. NORTH CAUCASUS REGION. TECHNICAL SCIENCES. 2024. No 3

В работе [1] предложена модель пост-рас-познающего интерпретатора образов, позволяющая снижать риски ложной интерпретации за счет применения процедуры вторичного постраспознавания (классификации) - отнесения результатов распознавания к одному из двух классов: «правильные» или «ложные». На ее основе в работе [2] разработана модель реализации нейросетевого пост-распознающего интерпретатора речевых сигналов и программный командно-речевой интерпретатор (КРИ), используемый в составе интерактивного руководства (ИР) по выполнению полетных заданий космонавтов.

Первичный распознаватель в КРИ реализуется в виде набора Л = Хп } скрытых марковских моделей (СММ) [3-5]. Каждая модель X соответствует классу X, (г = 1, п) образов

O, представляющих г-ю речевую команду. Результатом распознавания является значение индекса 7-й модели с наибольшей вероятностью правдоподобия - вероятностью «соответствия» образа О модели X/.

7 = а^шах! Р(О|Хг) I.

1<1<п -1

Эти вероятности могут быть вычислены с помощью алгоритма Витерби [3].

Объектом классификации (пост-распознавания) является пост-образ - вектор признаков

У7 = (л>->Уп), где у = Р(ОX),г = 1, п . В зависимости от правильности или ложности результата распознавания7 полученный пост-образ у 7 относится к одному из двух классов: 77 - «правильных» или Г7 - «ложных» пост-образов /-го класса:

Т7 :0 е X,

У} е

fJ \ 0 € Xj.

Если результат распознавания 7 классифицирован как «правильный», то КРИ назначает исполняемую функцию с идентификатором

\U, j е J, где J = {1,...,n) -

множество цело-

численных идентификаторов классов распознаваемых команд, а и - множество идентификаторов и некоторых исполняемых функций. Идентификатор функции и! передается в исполни-

тельную систему. В используемом ИР смысловое содержание исполняемой функции (действия, процедуры) определяется смысловым содержанием соответствующей команды, например, если и/ - идентификатор функции вывода на экран следующей страницы документа, то ему соответствует команда «Страница вперед».

В качестве модели классификатора, определяющего принадлежность пост-образа у7 к одному из указанных классов, использована искусственная нейронная сеть (ИНС), а эффективность оценена на основе критериев целесообразности [1], также представлены результаты экспериментальной апробации модели при разных уровнях акустического шума. Задача классификации пост-образов на два класса - «правильных» и «ложных» - имеет сходство с задачами обнаружения и различения сигналов и может решаться с использованием классических правил и критериев принятия решений [1].

Цель работы - реализация классификатора пост-образов на основе применения статистического критерия различения сигналов - статистического классификатора (СК) Лск ; экспериментальная оценка эффективности полученного СК в сравнении с нейросетевым классификатором (НК) Л нк [2].

Построение статистического классификатора на основе критерия проверки гипотез

Классическими критериями принятия решений, на которых основаны правила оптимальных различителей/обнаружителей сигналов в радиотехнике являются критерии Байеса (минимума среднего риска), идеального наблюдателя (минимума полной вероятности ошибки), наблюдателя Неймана-Пирсона, последовательного наблюдателя [6-11].

Для того, чтобы воспользоваться одним из этих критериев, сделаем два допущения относительно наблюдаемых пост-образов у7:

1. Случайные величины у1,...,уи (компоненты) вектора у7 независимы и каждая из них распределена по нормальному закону. Тогда функция плотности вероятности (ПВ)

/(У3 ) = /(У1,-,Уп )

случайного вектора y

u

ISSN 1560-3644 BULLETIN OF HIGHER EDUCATIONAL INSTITUTIONS. NORTH CAUCASUS REGION. TECHNICAL SCIENCES. 2024. No 3

определяется совместным нормальным распределением этих величин с параметрами

,а1,...,а„ , где , аг- (г = 1, п) - соответственно математическое ожидание и стандартное отклонение г-й компоненты у1 вектора у7 .

2. Пост-образы у7 являются реализациями одного из двух случайных процессов с идентификаторами Т-', Т].

Для наблюдаемого пост-образа у 7 выдвинем две гипотезы:

Т'- 11\ '■ У' < /

где Н 0 - предположение о том, что наблюдаемый пост-образ у7 является реализацией процесса Т; Н/ - предположение о том, что наблюдаемый пост-образ у7 является реализацией процесса Г7.

Пусть известны условные ПВ / (у7 |Н0)

и / (У 7 |н/), называемые функциями правдоподобия для гипотез Н0, Н/ [6]. Тогда независимо от используемого критерия правило принятия решения оптимального различителя определяется соотношением [6, 7]:

г,Л_/С«_/(^1, Л с7, (1)

T (yyj)=ттг

f(yjH) fGv yn\<) Hj

H с

Таблица 1 Table 1

Варианты правильных и ложных решений статистического классификатора Variants of correct and false decisions of the statistical classifier

Решение Справедлива гипотеза

Но' - правильный-/ Н/ - ложный-/'

Но7 - подтвердить-/' P ( Н0' Н0' ) ß7 = P (Н0 Н/ )

Н/ - отвергнуть-/ а7= P ( Н/ H0 ) P(н/ Н/ )

Вероятность а7 = Р(Н/ |но') = Р(г(у7) > с7 |н7)

отвергнуть правильный результат ' называется ошибкой 1-го рода и означает отклонение проверяемой гипотезы Н 0, когда она верна. Веро-

ятность

ß7 = P(Н0 |н/') = P(т(y7)<с7|н/)

подтверждения ложного результата ' называется ошибкой 2-го рода и означает принятие гипотезы Н 0 , когда верна альтернативная Н1 . Вероятность Р (Н0 |Н0) подтвердить правильный

результат ' и вероятность Р(Н/ |н/ ) отвергнуть ложный результат ' называется верным решением.

Последствия ошибок 1 -го и 2-го рода в рассматриваемой области применения классификатора Л ск различаются. В работе [2] на конкретных примерах показано, что риски, связанные с ошибками 2-го рода, существенно выше, чем риски ошибок 1-го рода. Чтобы учесть

гг,( — г\ 1 « заданные потери при определении класса пост-

где г (у ) - называют отношением функций

г /пт ' образа у7, использован байесовский подход

правдоподобия (ОП); с' - некоторая постоянная г у '

для '-го класса пост-образа у 7.

Отличие между разными критериями состоит только в способе определения порога с

Решения, принимаемые классификатором ЛСк

для реализации пост-образа у7, означают, что если вычисленное ОП больше порога Г(у7) > с7, то следует принять гипотезу Н/ -отвергнуть результат распознавания ', иначе следует принять гипотезу Н0 - подтвердить результат распознавания '. Возможны как пра-

для определения порога с ', с которым сравнивается ОП.

При байесовском подходе каждой ошибке а', Р' назначают определенный размер риска (штрафа), а критерий принятия решений предполагает минимизацию математического ожидания риска (среднего риска):

r = r07 pja7 + r/p7 ß7,

(2)

где г07 - риск ошибочного невыполнения целевой функции и = и; г/7 - риск ошибочного

вильные решения, так и ошибки классификатора выполнения нецелевой функции Л ск (табл. 1).

и = и

J '

ISSN 1560-3644 BULLETIN OF HIGHER EDUCATIONAL INSTITUTIONS. NORTH CAUCASUS REGION. TECHNICAL SCIENCES. 2024. No 3

, р7 = 1 - р0 - соответственно априорные вероятности истинности гипотез Н0, Н(. Байесовский критерий имеет самую маленькую «средневзвешенную ошибку» среди всех прочих критериев. При таком подходе величина порога определяется из соотношения

-J -.

rjpj

(3)

Порог с' дает возможность варьировать вероятностями ошибок аРЧтобы снизить вероятность ошибок 2-го рода, возьмем штраф:

I]' » г({. Оценку остальных параметров выполним на основе множества пост-образов у7 , полученных из предшествующего опыта распознавания речевых сигналов КРИ [2].

Алгоритм работы статистического классификатора

Пусть в результате проведенного опыта по первичному распознаванию речевых образов

имеется набор У = (у/,...,у7 ) из т = т0 + т1

пост-образов у7 для каждого '-го класса, где то - количество векторов «правильного» класса у7 е Т7, а т1- количество векторов «ложного»

класса у7 е Г7 . Для работы алгоритма классификации необходимо:

1) рассчитать оценки априорных вероят-

ностей истинности гипотез H

Я3 :

p =

m,I

о pj_mi

Pi

1 m0

1

Aio = — I y* ; Cю = — I (y* - Aio )

m0 k=i mo k=i

A ii

1 mi — I yik ;

m1 k=1

2 1 m1 2

C ii =—1( yik -A ¿1 ) >

m1 k=1

вектора у7

для

гипотез H 0,

Я.

ственно; yik е у7 - i-я компонента k-й реализации вектора y7 из набора Y;

3) задать риски /] ' з> г07, связанные с ошибками а Р';

4) рассчитать оценку порога с7 по формуле (3).

Алгоритм классификации состоит из следующих шагов:

1. Рассчитать оценки функций правдоподобия по выражению для многомерного нормального закона распределения [6]:

/ ( У1,..., УпИ ) =

/ ( У1,..., Уп|н/' ) =

1

1п ( У,-А io )

- 21—Ä2"" 2 ' = 1 C ; 0

№)п

-e

C 1oC ю-..a

n0

1

1 n (У-An )

"л1-T2-

№)n

т т

2) рассчитать оценки параметров функций правдоподобия для гипотез Н 0, Н1:

где г = 1, п, Д г0, Д г1, сс 20, сД г21 - выборочные средние и выборочные дисперсии г-й компоненты уг

соответ-

а пст 21...ст „1

2. Рассчитать ОП T (у7) для текущего наблюдения пост-образа у7 по формуле (1).

3. Сравнить значение ОП T (у7) с порогом с7. Если T(у7 )> с7, то принять гипотезу H7- отвергнуть результат распознавания j, в

противном случае принять гипотезу H 0 - подтвердить результат распознавания j.

Апробация статистического классификатора в натурных экспериментах

Алгоритм работы статистического классификатора Лск, принимающего решения на основе ОП (1) и критерия Байеса (2), реализован в виде программы на языке Python. Для проведения эксперимента подготовлен обучающий набор аудиозаписей шести речевых команд управления ИР оператора. Набор содержал 4800 реализаций речевых сигналов (по 800 для каждой команды). Записи получены в условиях высокого уровня шума (посторонняя речь, шум вентиляторов и другого оборудования, стук дверей и т.п.). Уровень шума оценивался субъективно.

Полученный набор записей речевых сигналов был подан на вход первичного распознавателя Л [2]. Результаты работы распознавателя

Л в виде пост-образов у7 каждого j-го класса речевых команд отсортированы по двум группам. Первую группу составили «правильно»

2

i=1

e

2

m

ISSN 1560-3644 BULLETIN OF HIGHER EDUCATIONAL INSTITUTIONS. NORTH CAUCASUS REGION. TECHNICAL SCIENCES. 2024. No 3

опознанные пост-образы у7 еГ7, для которых значение результата распознавания у совпало с истинным значением класса поданной команды. Во вторую группу вошли «ложно» опознанные

пост-образы у7 е Т', которые распознаватель

Л опознал как командыу-го класса при условии, что на его вход были поданы команды любого другого класса I Фу (т.е. имела место ошибка первичного распознавания). По полученным данным вычислены оценки априорных вероятностей р 0, р/ истинности гипотез Н0, Я/ и оценки параметров их функций правдоподобия /(у7 |Я7), /(у7|я/).

На основе консультаций с операторами, принявшими участие в эксперименте, назначены риски г07, г/ перепутывания классов

пост-образа у 7. Полученные значения параметров позволили вычислить оценку порога с7 для каждогоу-го класса.

Эксперимент апробации статистического

классификатора Л ск состоял в подаче речевых команд операторами, первичном распознавании образов речевых сигналов, классификации полученных пост-образов у7 и последующем вычислении оценок вероятностей ошибок классификации по формулам

Р' =

т0 т1

где то, ш\ -количество предъявленных СК «правильных» и «ложных» результатов у соответственно; по - количество отвергнутых «правильных» результатов у; П1 - количество принятых «ложных» результатов у. Эксперимент был повторен для классификации пост-образов у7 с помощью нейросетевого классификатора Л ж [2].

Для оценки эффективности применения статистического Л ск и нейросетевого Лж классификаторов использованы «критерии целесообразности» в двух формах [1]:

à7 = Ü2-, ß7 =

E г7' à7 + z r/ß7 <e r77 ;

j=i

7=1

7=1

¿(à7 + ß7)< E PO

7=1 7=1

ош'

(4)

(5)

где j e J = {i,..., и}; J - множество целочисленных идентификаторов классов распознаваемых команд; = ot7/n7 - оценка вероятности

ошибки распознавания речевых образов j-го класса, Nj - количество предъявленных распознавателю Л образов j-го класса; mj - количество «ложно» опознанных образов j-го класса.

Сводка результатов тестирования классификаторов Л ск и Л нк приведена в табл. 2. Расчеты выполнены для значения рисков г/ = 5,

r0j = 1. Символом «V» отмечен вывод о целесообразности применения классификатора по результатам расчета критерия в форме (4) или (5).

Таблица 2 Table 2

Оценка эффективности применения классификаторов Evaluating the effectiveness of using classifiers

Критерий в форме

Классификатор № команды P ' ГОШ а ' в ' (4) г/ =5, r0 =1 (5)

1 0,08 0,23 0,19 - -

2 0,32 0,29 0,13 V -

3 0,23 0,28 0 V -

Л ск 4 0,20 0,22 0,06 V -

5 0,09 0,37 0,16 - -

6 0,12 0,21 0,07 V -

Среднее 0,17 0,27 0,10 V -

1 0,08 0,11 0,12 - -

2 0,32 0,12 0,29 V

3 0,23 0,08 0 V V

л нк 4 0,20 0,17 0,07 V -

5 0,09 0,21 0,12 - -

6 0,12 0,14 0,06 V -

Среднее 0,17 0,14 0,11 V -

Результаты экспериментов и расчетов показали следующее. Использование как статистического Л ск , так и нейросетевого Л ж классификатора оказалось целесообразным для четырех одинаковых команд (по результатам расчета критерия в форме (4) и/или (5)). У статистического Л ск ошибки 1-го рода в среднем оказались в два раза больше, чем у нейросетевого Лж классификатора.

ISSN 1560-3644 BULLETIN OF HIGHER EDUCATIONAL INSTITUTIONS. NORTH CAUCASUS REGION. TECHNICAL SCIENCES. 2024. No 3

Среднее значение ошибки 1-го рода для Лск , равное 0,27, может снизить удовлетворенность оператора ИР из-за необходимости часто повторять команду в условиях высокого уровня шума. Несмотря на это, наиболее значимая

ошибка 2-го рода для Л ск сравнима с ошибкой

Л нк и равна среднему значению 0,10, что является приемлемым результатом для использования классификатора Л ск в составе ИР.

к достоинствам статистического классификатора Л ск , по сравнению с нейросетевым

Л нк , относится его хорошая математическая обоснованность; меньшая потребность в объёме исходных данных для оценки параметров; отсутствие проблем переобучения и балансировки выборок разных классов.

Достоинство нейросетевого классификатора Л Нк состоит в том, что он реализуется на основе самообучающейся ИНС, работа которой практически не требует вмешательства пользователя.

Выводы

Результаты апробации предложенного статистического классификатора Л ск в сравнении с нейросетевым Л ж показали, что он может эффективно использоваться наряду с нейросетевым Лж в составе ИР космонавтов по выполнению полетных операций, если нет возможности получить выборки больших объемов для эффективного обучения ИНС. В рамках дальнейших исследованиях предполагается разработать процедуру голосования алгоритмов, в которой совместно будут использоваться оба классификатора.

Список источников

1. Гавриков М.М. Модели и применение нейросете-вых пост-распознающих интерпретаторов образов // Инженерный вестник Дона. 2024. №3. 16 с. URL: ivdon.ru/ru/magazine/archive/n3y2024/9065 (дата обращения: 20.06.2024).

2. Мезенцева А.Ю., Гавриков М.М. Реализация и исследование модели пост-распознающего интерпретатора речевых образов в интерактивном руководстве космонавта по выполнению полетных операций // Изв. вузов. Сев.-Кавк. регион. Техн. науки. 2024. № 2. С. 20-27.

DOI: 10.17213/1560-3644-2024-2-20-27.

3. Рабинер Л.Р. Скрытые Марковские модели и их применение в избранных приложениях при распознавании речи // ТИИЭР. 1989. Т. 77. №2 С. 86-120.

4. Gales M.J., Young S.J. The Application of Hidden Markov Models in Speech Recognition. Foundations and Trends in Signal Processing. 2007. Vol. 1. No. 3, Pp. 241-268.

5. Гавриков М.М., Мезенцева А.Ю., Синецкий Р.М. Эвристическая методика настройки скрытых марковских моделей для распознавания образов стохастических процессов // Изв. вузов. Электромеханика. 2022. Т. 65. № 2. С. 81-88. DOI: 10.17213/0136-3360-2022-2-81-88

6. Джонсон Н., Лион Ф. Статистика и планирование эксперимента в технике и науке. Методы обработки данных. М.: Наука, 1984.

7. Левин Б.Р. Теория случайных процессов и ее применение в радиотехнике. М.: Советское радио, 1957.

8. Jiang H. Condence measures for speech recognition: A survey. Speech Communication. 2005. Vol. 45. Issue 4. Рр. 455-470.

9. Goel and W. Byrne. Minimum Bayes-risk automatic speech recognition. Computer Speech and Language, 2000;14(2):115-135.

10. Jiang H., Deng L. A Bayesian approach to the verification problem: Applications to speaker verification, IEEE Trans. Speech Audio Process. 2001;9(8):874-884.

11. Jiang H., Hirose K., Huo Q. Robust speech recognition based on Bayesian prediction approach, IEEE Trans. Speech Audio Process. 1999;7(4):426-440.

References

1. Gavrikov M.M. Models and application of neural network post-recognizing image interpreters. Engineering Bulletin of the Don. 2024;(3):16. Available at: ivdon.ru/ru/magazine/archive/n3y2024/9065 (accessed 20.06.2024)

2. Mezentseva A.Yu., Gavrikov M.M. Implementation and research of a model of a post-cognitive interpreter of speech images in an interactive cosmonaut's guide to performing flight operations Izv. vuzov. Sev.-Kavk. region. Techn. nauki= Bulletin of Higher Educational Institutions. North Caucasus Region.Technical Sciences. 2024;(2): 20-27. D0I:10.17213/15603644202422027.

3. Rabiner L. R. Hidden Markov models and their application in selected applications in speech recognition. TIIER. 1989;77(2):86-120. (In Russ.)

ISSN 1560-3644 BULLETIN OF HIGHER EDUCATIONAL INSTITUTIONS. NORTH CAUCASUS REGION. TECHNICAL SCIENCES. 2024. No 3

4. Gales M. J., Yang S. J. Application of hidden Markov models in speech recognition. Fundamentals and Trends in Signal Processing. 2007;1(3):241-268.

5. Gavrikov M.M., Mezentseva A.Yu., Sinetsky R.M. Heuristic methodology for configuring hidden Markov models for pattern recognition of stochastic processes. Izvestiya Vysshihkh Uchebnykh Zavedenii. Elektromekhanika = Russian Electromechanics.2022;65(2):81-88. (In Russ.) D0I:10.17213/0136-3360-2022-2-81-88

6. Johnson N., Lyon F. Statistics and experiment planning in engineering and science. Data processing methods. Moscow: Nauka; 1984. (In Russ.)

7. Levin B.R. Theory of random processes and its application in radio engineering. Moscow: Soviet Radio;1957.

8. Jiang H. Confidence measures for speech recognition: an overview. Speech Communication. 2005; 45(4):455-470.

9. Goel and W. Byrne. Minimum Bayes-risk automatic speech recognition. Computer Speech and Languages. 2000;14(2):115-135.

10. Jiang H., Deng L., A Bayesian approach to the verification problem: Applications for Speaker Verification. IEEE Trans. Speech sound processing. 2001;9(8):874-884. D0I:10.1109/89.966090.

11. Jiang H., Hirose K., Ho V. Reliable speech recognition based on the Bayesian approach to forecasting. IEEE Trans. Audio recording of the speech. 1999;7(4):426-440.

Сведения об авторах

Мезенцева Анна Юрьевнав - ст. препод., кафедра «Программное обеспечение вычислительной техники», avmfl@mail.ru

Гавриков Михаил Михайлович - канд. техн. наук, доцент, кафедра «Программное обеспечение вычислительной техники», gmm1000@yandex.ru

Information about the authors

Anna Yu. Mezentseva - Senior Lecturer, Department «Computer Engineering Software», avmfl@mail.ru

Mikhail M. Gavrikov - Cand. Sci. (Eng.), Department «Computer Engineering Software», gmml 000@yandex.ru

Статья поступила в редакцию / the article was submitted 05.07.2024; одобрена после рецензирования / approved after reviewing 19.07.2024; принята к публикации / accepted for publication 23.07.2024.