CC BY
34
УДК 004.5, 004.8
Мясоедова З.П., Мясоедова М.А.
Институт проблем управления им. В.А. Трапезникова, РАН, г. Москва, Россия
АНАЛИЗ ВИЗУАЛЬНОГО РАСПОЗНАВАНИЯ ЧЕЛОВЕКОМ ИЗОЛИРОВАННЫХ СЛОВ УСТНОЙ РУССКОЙ РЕЧИ В УСЛОВИЯХ НЕОПРЕДЕЛЁННОСТИ
Аннотация
Статья посвящена проблемам визуального восприятия человеком отдельно произнесённых слов устной речи. Исследованы факторы, приводящие к фонетической и артикуляционной неопределённости при произношении слов. Дана оценка влияния таких факторов на качество визуального распознавания речи.
Ключевые слова
Визуальное восприятие речи, артикуляционный рисунок, неопределённость.
Myasoedova Z.P., Myasoedova M.A.
Institute of Control Sciences of the Russian Academy of Sciences, Moscow, Russia
ANALYSIS OF VISUAL RECOGNITION BY MAN ISOLATED WORDS OF ORAL RUSSIAN SPEECH IN THE CONDITIONS OF UNCERTAINTY
Abstract
The article is devoted to the problems of visual perception by a person of separately spoken words of oral speech. The factors leading to phonetic and articulatory uncertainty in the pronunciation of words are investigated. The influence of such factors on the quality of visual recognition of speech is assessed.
Keywords
Visual perception of speech, articulatory drawing, uncertainty.
Речь, являясь основным средством общения людей, позволяет им получать и передавать большое количество необходимой информации, восприятие которои естественным способом, т.е. на слух, в силу определенных обстоятельств, не всегда бывает полноценным. При ухудшении слышимости происходит подключение зрительной системы, позволяющей отслеживать движения речевых органов говорящего, изменение положения которых служит человеку сигналом для активизации внимания. Изучение особенностей визуального восприятия речи позволяет с большей эффективностью использовать полученные знания для решения проблемы низкого качества ее восприятия.
Цель работы - выявление и исследование проблематики визуального распознавания устнои речи человеком путем рассмотрения основных факторов, негативно воздействующих на данньш процесс и снижающих его эффективность.
Среди приоритетных направлении развития искусственного интеллекта большое внимание уделяется разработке средств, обеспечивающих
эффективное взаимодействие человека с компьютером. Успехи, достигнутые в области компьютерного распознавания речи, образов, жестов и т.д., вызвали у исследователей во многих странах большой интерес к решению еще однои подобнои задачи - автоматизации процесса распознавания устнои речи по артикуляционным движениям говорящего, т.е. чтения с губ. Стоит сказать, что, несмотря на существенные продвижения разработчиков по созданию данных программ, все они пока не позволяют идентифицировать произнесенную речь с высокой точностью, что ограничивает их применение. Сложность даннои задачи обусловлена наличием факторов, под действием которых возможно существенное изменение акустической
составляющей речи, что, в свою очередь, отражается на ее артикуляционной составляющей.
При этом человек с его уникальной способностью понимать речь собеседника, по тем или иным причинам не слыша ее и считывая информацию с губ, в решении даннои задачи существенно превосходит компьютер. В первую
очередь это относится к людям со слуховой! патологией, для которых восприятие речи естественным способом является
затруднительным, либо оно вообще невозможно.
В даннои работе проанализированы особенности русского языка, в т.ч. характерные для него фонетические процессы, под действием которых значительно изменяется звучание слов, что негативно отражается на артикуляции говорящего, которая является главным объектом внимания при считывании устнои речи с губ.
На основе результатов, полученных при проведении ряда экспериментов, были выявлены проблемы, возникающие на пути восприятия устнои речи зрительным способом, и определены отдельные факторы, наиболее значимые по степени влияния их на достоверность распознавания речи, дана оценка точности распознавания представленных речевых элементов, что может быть полезным при разработке программ.
Визуальное восприятие устной речи
Восприятие элементов речи в процессе общения происходит на основе сравнения их с услышанными ранее и хранимыми в памяти в качестве неких эталонов. Наиболее успешным началом распознавания чаще всего является слово, опознаваемое по комбинации слогов, ритмической структуре, определяемои местом ударения в нем, частоте его встречаемости и т.д. [1].
Зрительное восприятие устнои речи используется для понимания или интерпретации речи в случае ее недоступности к восприятию естественным способом, т.е. на слух. Такои способ восприятия речи возможен благодаря соответствию каждои фонеме языка своего артикуляционного рисунка (виземы), которьш можно описать геометрическими признаками губ (высота, ширина, площадь, периметр контура и т.д.), положением языка, видимостью зубов и активностью участия губ в процессе произнесения
Рис. 1. Артикуляционные рисунки опорных фонем русского языка
Однако, не все виземы в одинаковой степени доступны зрительному восприятию, поскольку отличаются степенью отчетливости. Наиболее яркие артикуляционные рисунки имеют так называемые опорные фонемы русского языка (рис. 1). Образованные с их участием слоги также становятся опорными ([ба], [пу], [фо] и т.д.), умение четко различать которые способствует успешному распознаванию слов при чтении с губ.
Кроме того, отдельные фонемы русского языка (основные и вотированные гласные фонемы, звонкие и глухие согласные звуковые пары, а также их варианты при добавлении мягкого знака) имеют схожие или практически одинаковые артикуляционные рисунки, наличие которых приводит к затруднению или невозможности их различения между собои зрительным способом [3]. Труднее всего зрительно воспринимаются согласные фонемы однои группы, такие как [г], [к] и [х], у которых артикуляционные признаки выражены настолько слабо, что в некоторых сочетаниях они вообще становятся невидимыми.
Одни и те же фонемы даже с довольно четким и индивидуальным артикуляционным образом могут претерпевать значительные видоизменения в зависимости от соседства с другими фонемами, постановки ударения в слове, индивидуальных особенностей говорящего и т.д.
Этим обусловлены специфические трудности визуального восприятия фонетических элементов и устнои речи в целом. Получить абсолютно правильно распознанную информацию по артикуляционным движениям практически невозможно. При этом чаще всего происходит не полное распознавание слова, а определение в нем лишь некоторых визем. Компенсировать неполноценность зрительного восприятия речи позволяет смысловое комбинирование, т.е. отбор из всего множества возможных комбинации лишь дающих осмысленное слово.
Факторы, влияющие на зрительное восприятие устной речи
Зрительное восприятие устного сообщения зависит от ряда факторов, действие которых может негативным образом отразиться на его качестве.
Процесс формирования и передачи устного сообщения сопровождается изменением характеристик его акустической составляющей в зависимости от особенностей говорящего: его темпа речи, дикции, грамотности, использования им диалектной речи и т.п.
Качество произнесенное речи существенно зависит от неправильно поставленного ударения в слове и различных фонетических процессов, под действием которых фонемы, характеризующиеся определенными акустическими свойствами, претерпевают более или менее значительные изменения.
тои или инои фонемы [2].
Фонемы Ц
гласные согласные
[б] [в] [ж]
[о] [п] [ф] [ш]
N 1 [м] [ч] |[щ] II
В речевом потоке русского языка изменению характеристик в большей! степени подвергаются гласные звуки в безударнои позиции, т.е. редукции. В результате этого воздействия возможно сокращение времени звучания безударного звука, ослабление его или изменение на другие звуки по сравнению с тем же ударным звуком.
Фонетические процессы отражаются и на согласных звуках, изменяющих в словах свое звучание под влиянием соседних с ними согласных звуков, что объясняется удобством их произнесения. В соответствии с этим возможны замены одного звука другим, слияние в словах соседних звуков и т.д.
В результате действия фонетических процессов в речевом потоке одна и та же фонема в зависимости от ее позиции в слове часто приобретает новое звучание, которое может соответствовать нескольким разным фонемам, что приводит к появлению новых, схожих по звучанию, но совершенно разных по написанию и значению слов - омонимов. Такое явление порождает неопределенность при выборе одного из возможных вариантов при распознавании слов.
Всем языковым единицам характерна неопределенность, связанная с изменчивостью значении слов, со способностью человека воспринимать одни и те же слова с разных точек зрения: написания, звучания и значения. Поскольку произнесение речевых элементов отражается на движениях артикуляторных органов говорящего, то к данному списку необходимо добавить и артикуляционную составляющую слов.
Сложность визуального восприятия отдельных слов во многом обусловлена неопределенностью их звучания, не всегда совпадающего с их написанием [4]. Отсутствие четкого соответствия между написанием и звучанием речевых элементов (графемами и фонемами), т.е. обозначение однои графемои нескольких разных фонем, и наоборот, связано с особенностями русского языка и действием фонетических процессов при произнесении речи.
Это отражается и на артикуляционной составляющей слов, зачастую приводя при распознавании зрительным способом к приобретению ими иного смысла и подмене одного из слов другими словами. Снятие акустической и артикуляционной
неопределенности возможно при наличии контекста, но, как показывает практика, это не всегда приводит к успеху.
В табл. 1 даны примеры трансформации слов с разным написанием, со схожим звучанием (в соответствие с правилами транскрибирования) и с едва различимым их визуальным представлением.
Из табл. 1 видно, что в первои группе звуковая и артикуляционная составляющие односложных
слов полностью совпадают. Здесь имеет место неитралиация фонем, реализующихся одним и тем же звуком. Так, для согласных фонем нейтрализация проявляется при оглушении звонких в конце слова ([г] - [к]).
Таблица 1. Примеры нейтрализации слов под
действием фонетических процессов
Группы слов Форма представления слов
Написание (графемы) Звучание (фонемы) Артикуляция (виземы)
год [гот]
код [кот] {*1г1к1х 10 *1д|т 1}
кот
ход [хот]
парок { пЛро * г|к Ч
2 порог [пЛрок]
порок
забор [зЛбор]
3 запор [зЛпор] { *{ зИ л *{ б|п }0р 1
собор [сЛбор]
Двусложные слова второи группы, различающиеся наличием в них парных согласных [б] - [п] и [г] - [к], а также гласными в предударных слогах ([а] и [о] - [Л]) на слух и зрительно будут восприниматься абсолютно одинаково.
Слова в третьеи группе, различающиеся наличием в них парных согласных [з] - [с] и [б] -[п], на слух будут восприниматься соответственно их написанию. Что касается восприятия этих слов зрительным способом, то здесь также будет наблюдаться взаимная замена, т.к. артикуляционные рисунки парных согласных имеют между собои слабое отличие.
Поскольку гласные [а] и [о] согласно правилам транскрибирования обозначаются во всех безударных позициях абсолютно одинаково, то, следовательно, нельзя понять, к какои из указанных двух фонем относится этот гласньш [Л]. Распознать верно в таких случаях слова можно лишь в условиях контекста, либо изменив (если это возможно) число или падеж этих слов (например, «код» и «кот» - [кот] или «кодов» и «котов» - [кодЛф] и [кЛтоф]). В последнем примере перенос ударения на второи слог в слове «кот» множественного числа резко меняет его звучание, что позволяет различить слова между собои.
Речевые элементы в фигурных скобках, обозначающие виземы ( г|к|х1, ), указывают на возможную взаимную замену их при зрительном восприятии, т.е. в данном случае при формировании ответа будет наблюдаться неопределенность.
На восприятие устнои речи откладывает свои отпечаток и различие ее произношения, определяемое совокупностью орфоэпических и интонационных расхождении среди разных слоев
населения.
Любой национальный! язык может быть представлен в литературной форме и различными его разновидностями, включая диалекты и говоры как социального характера (просторечия, жаргоны), обусловленные уровнем жизни и образования людеи, так и территориального характера, определяемого местом их проживания. В зависимости от этого меняется произношение, лексика и даже грамматика какого-либо языка.
Однои из самых ярких диалектных особенностей в речи жителей центральных и северных районов является противопоставление аканья, являющегося нормои в русском литературном языке, и оканья (полное и неполное), проявляющихся в неразличении и различении в безударных слогах гласных звуков [о] и [а] соответственно. Так слово «борода» может быть произнесено следующим образом: [бърЛда], [борода] и [бърода].
Степень диалектных различии не препятствует взаимопониманию носителей русского языка, поскольку диалекты являются лишь его разновидностями. Однако при визуальном восприятии устнои речи имеющиеся в неи различия могут ухудшить качество распознавания, поскольку человек, использующий литературную речь и не имеющий в своем словаре таких слов, не сможет их идентифицировать.
Помимо указанных диалектных различии качество визуального восприятия слов зависит и от правильности поставленного в них ударения, являющегося своего рода их фонетическим паспортом. Восприятие на слух хорошо известных слов с неправильно поставленным ударением в них («звонит», «шофер» и т.п.), что свидетельствует о неграмотности говорящего, как правило, будет проходить нормально. Однако в отдельных случаях изменение ударения в слове может привести к его неузнаваемости. При визуальном восприятии приведенных выше слов распознать их будет довольно сложно, т.к. их артикуляционные рисунки существенно отличаются от рисунков слов с правильным удареним ([звЛнит] - [звонит], [шЛф'ор] -[шоф'ир]).
Нечеткое произнесение некоторых слов может привести к утрате редуцированного безударного звука [ъ], имеющего сокращенную длительность:
В данном случае возможна непредусмотренная замена одного слова другим, схожим по звучанию, что приводит к неверному его распознаванию.
Приведенные примеры демонстрируют неопределённость фонетичекого и
артикуляционного характера, в результате чего человек, воспринимающий речевое сообщение,
считывая его с губ говорящего, будет поставлен в трудное положение перед выбором правильного ответа.
Результаты экспериментов с учётом особенностей сообщений
Для определения зависимости качества визуального распознавания речи от характера сообщения был проведен ряд экспериментов с использованием в каждом из них групп слов со схожими виземами [5].
На рис. 2 представлена схема взаимозаменяемости односложных слов со схожими виземами, построенная на основе полученных в ходе экспериментов результатов. Использованные слова, различающиеся между собои числом и составом фонем, имеют разное звучание, но при этом схожие артикуляционные рисунки, что затрудняет их распознавание зрительным способом.
Слова
спорт "-"""""""'К' ') спорт
Рис. 2. Схема реальной взаимозаменяемости слов со
схожими виземами Как видно из рис. 2, взаимозаменяемость слов при их распознавании не является полной, что можно объяснить влиянием такого фактора, как частотность слов. Частота использования каждым человеком тех или иных речевых элементов носит индивидуальный характер, что определяется его словарным запасом, объем и состав которого напрямую зависят от уровня образования человека, сферы его деятельности, района проживания и т.п. Поэтому предпочтение, скорее всего, будет отдано словам, имеющим наибольшую частоту использования каждым из распознавателей в своеи речи.
Данное предположение подтверждено результатами эксперимента, в ходе которого было выявлено, что среди слов самыми «популярными» словами являются «порт» и «пол». Слова «борт» и «болт» в основном употребляются в профессиональной сфере, что и объясняет низкое число их указании в ответах участников. Для иллюстрации факта разнои «популярности» слов, входящих в одну группу, на основании указании их в ответах участников эксперимента построена диаграмма (рис. 3).
«сторона» - [стърЛна] «страна» - [стрЛна],
«голова» - [гълЛва] «глава» - [глЛва],
«пароход» - [пърЛхот] «проход» - [прЛхот].
болт
оор
спорт
спор
coop
оорт
_ порт
Рис. 3. Результат распознавания слов со схожими виземами
Компьютерная реализация задачи
Для решения поставленной задачи, была разработана мультимедийная обучающая программа «Читаем с губ» [6] с использованием собственной базы видеофайлов слов русского языка, отсортированных по определенным
читаем с губ
признакам [7]. В основу работы программы заложен принцип сравнения двух или нескольких речевых элементов, имеющих схожесть артикуляционных рисунков.
Внимательное наблюдение за движением губ диктора при произнесении слов позволяет пользователям научиться выявлять нюансы, что в дальнейшем сказывается на повышении уровня распознавания устнои речи с губ.
Предложенные программой упражнения, различающиеся уровнем сложности,
подразумевают не простое угадывание пользователем того или иного слова, а требует от него при выборе правильного ответа проявления внимательности и активных мыслительных деиствии.
Помимо выполнения функции обучения, данная программа позволяет пользователям наиболее рациональным способом оперативно получать оценки своих результатов.
Рис. 4. Фрагменты экранных форм программы в режиме тестирования
Рис. 5. Фрагменты экранных форм программы в режиме сбора и обработки статистических данных
Данная программа, позволяющая собирать, просматривать и обрабатывать все полученные и сохраненные в БД результаты, включая название и число представлении каждого исходного слова, число упоминании его в ответах, список названии и число заменяющих его других слов, предназначена также для исследования в области визуального распознавания устнои речи. Фрагменты экранных форм программы в режиме сбора и обработки статистических данных приведены на рис. 5.
Оценка точности визуального распознавания слов
При обработке и анализе полученных результатов необходимо удостовериться в их максимальной точности и полноте.
В соответствии с приведенное на рис. 6 схемои полнои взаимозаменяемости слов при их распознавании построена матрица ошибок, содержащая все верные (элементы по диагонали) и неверные ответы (табл. 2).
US - число упоминании! слова Sj в ответе
fei Iii vs
fe, Bi
Рис. 6. Схема полной взаимозаменяемости слов
Таблица 2. Матрица ошибок
Слова упомянутые в ответах, Sj
представле нные к распознавай ию, Sj S , S 2 Sn z
S , ^ s Z s s ZS, Sn Qs,
S2 Zs2 s Vs2 S2 ZS2 Sn Qs2
Sn ZSnS ZSnS2 V V SnSn Qsn
z US, US2 US„ S um
Обозначения: i, у - номер слова
, - представленные и упомянутые в ответах 5 слова, где ¿,7=1 + П
Qs - число представлении слова .
Qs = Vsisi+Z Zs.Sj j=i
V
¡=1
5 5 - число верных ответов слова Б,,
V Б, Бj = V Б, Б, = V 1б1
- число неверных ответов (замен) одного слова словом Б-, где .
'S,S
где
5ит=Ё и&=Ё Qsi■
7=1 ' ,=1
В даннои работе при оценке качества визуального распознавания слов устнои речи учитываются критерии [8-10]:
- точность (Р,), как доля верных распознавании каждого слова от всеи суммы его представления
P, =
Vs
' Qs, '
- полнота (Rj), как доля верных распознаваний! каждого слова от всей! суммы его упоминания в ответах
Vss
D — SiSi ■
- общая точность всех полученных результатов распознавания (A ), определяемая отношением суммарного числа правильных ответов от общеи суммы полученных ответов ( Sum )
n
Z VsA
A = ^-.
Sum
На основе полученных из расчетов данных можно судить о качестве распознавания всех слов из представленных в матрице ошибок и каждого слова в отдельности. Полученные высокие показатели свидетельствуют о хорошеи распознаваемости слов.
Заключение
При визуальном распознавании устнои речи человек неизбежно сталкивается с проблемой различения слов, в особенности слов-омонимов со схожим звучанием и, как результат, схожими артикуляционными рисунками. Наличие ошибок при попытках распознавания таких слов довольно велико, что подтверждено экспериментальным путем, однако в ряде случаев можно прогнозировать успешность или неуспешность распознавания, зная особенности языка и действие различных факторов на произнесение речи.
Литература
1. Метт А.И., Никитина Н.А. Зрительное восприятие устной! речи. - М.: Просвещение,1965. - 197c.
2. Миронова Э.В. Если вы перестали слышать: Пособие для позднооглохших людеи. М.: Загреи, 1999.
46c.
n
n
3. Liew A.W.-C., Wang S. Visual Speech Recognition: Lip Segmentation and Mapping. New York: IGI Global, 2009. - P. 572. URL: http://dexal2.hh.se/staff/josef/publ/publications/faraj09bookchapter.pdf
4. Зубкова Л.Г. Неопределенность в языке как посредник между миром и человеком // Культура народов Причерноморья. -2006. - № 82. - Т. 1. - 174-177 с.
5. Мясоедова М.А., Мясоедова З.П., Петухова Н.В. Визуальное восприятие устной речи и обучающая программа «Читаем с губ». М.: ООО «Буки Веди», 2015. - 153 с. URL: http://www.ipu.ru/sites/default/files/publications/35527/18144-35527.pdf.
6. Мясоедова М.А. Свидетельство о государственной регистрации программы для ЭВМ «Обучающая мультимедийная программа «Читаем с губ» в Реестре программ для ЭВМ «Федеральной службы по интеллектуальной собственности» РФ № 2015612504 РФ; Зарег. 19.02.2015.
7. Мясоедова М.А. Свидетельство о государственной регистрации базы данных «Видеофайлы речевых элементов русского языка для обучающеи мультимедийной программы «Читаем с губ» в Реестре баз данных «Федеральной службы по интеллектуальной собственности» РФ № 2015620716. Зарег. 05.05.2015 г.
8. Davis J., Goadrich M. The Relationship Between Precision-Recall and ROC Curves. // Proceedings of the 23rd International Conference on Machine Learning, Pittsburgh, PA. URL: http://pages.cs.wisc.edu/~jdavis/davisgoadrichcamera2.pdf
9. Banko, G. A Review of Assessing the Accuracy of Classifications of Remotely Sensed Data and of Methods Including Remote Sensing Data in Forest Inventory. URL: http://pure.iiasa.ac.at/5570/1/IR-98-081.pdf
10. Russell G. Congalton. Accuracy assessment and validation of remotely sensed and other spatial information. // International Journal of Wildland Fire, 2001, 10, 321-328 с.
References
1. Mett A.I., Nikitina N.A. Zritel'noe vosprijatie ustnoj rechi. - M.: Prosveshhenie,1965. - 197c.
2. Mironova Je.V. Esli vy perestali slyshat': Posobie dlja pozdnooglohshih ljudej. M.: Zagrej, 1999. - 46c.
3. Liew A.W.-C., Wang S. Visual Speech Recognition: Lip Segmentation and Mapping. New York: IGI Global, 2009. - P. 572. URL: http://dexal2.hh.se/staff/josef/publ/publications/faraj09bookchapter.pdf
4. Zubkova L.G. Neopredeljonnost' v jazyke kak posrednik mezhdu mirom i chelovekom // Kul'tura narodov Prichernomor'ja. - 2006. - № 82. - T. 1. - 174-177 s.
5. Mjasoedova M.A., Mjasoedova Z.P., Petuhova N.V. Vizual'noe vosprijatie ustnoj rechi i obuchajushhaja programma «Chitaem s gub». M.: OOO «Buki Vedi», 2015. - 153 s. URL: http://www.ipu.ru/sites/default/files/publications/35527/18144-35527.pdf.
6. Mjasoedova M.A. Svidetel'stvo o gosudarstvennoj registracii programmy dlja JeVM «Obuchajushhaja mul'timedijnaja programma «Chitaem s gub» v Reestre programm dlja JeVM «Federal'noj sluzhby po intellektual'noj sobstvennosti» RF № 2015612504 RF; Zareg. 19.02.2015.
7. Mjasoedova M.A. Svidetel'stvo o gosudarstvennoj registracii bazy dannyh «Videofajly rechevyh jelementov russkogo jazyka dlja obuchajushhej mul'timedijnoj programmy «Chitaem s gub» v Reestre baz dannyh «Federal'noj sluzhby po intellektual'noj sobstvennosti» RF № 2015620716. Zareg. 05.05.2015 g.
8. Davis J., Goadrich M. The Relationship Between Precision-Recall and ROC Curves. // Proceedings of the 23rd International Conference on Machine Learning, Pittsburgh, PA. URL: http://pages.cs.wisc.edu/~jdavis/davisgoadrichcamera2.pdf
9. Banko, G. A Review of Assessing the Accuracy of Classifications of Remotely Sensed Data and of Methods Including Remote Sensing Data in Forest Inventory. URL: http://pure.iiasa.ac.at/5570/1/IR-98-081.pdf
10. Russell G. Congalton. Accuracy assessment and validation of remotely sensed and other spatial information. // International Journal of Wildland Fire, 2001, 10, 321-328 s.
Поступила: 15.02.2017
Об авторах:
Мясоедова Зинаида Павловна, научньш сотрудник, Институт проблем управления им.
В.А. Трапезникова РАН, mzinap@mail.ru Мясоедова Мария Александровна, ведущий инженер АСУП, Институт проблем управления им. В.А. Трапезникова РАН, mariamarfi@mail.ru
Note on the authors:
Myasoedova Zinaida, Researcher, Institute of Control Sciences of the Russian Academy of Sciences, mzinap@mail.ru
Myasoedova Maria, Leading engineer for Automated Control Systems, Institute of Control Sciences of the Russian Academy of Sciences, mariamarfi@mail.ru
