CC BY
668
М.В. Картавенко ОБ ИСПОЛЬЗОВАНИИ АКУСТИЧЕСКИХ ХАРАКТЕРИСТИК РЕЧИ ДЛЯ ДИАГНОСТИКИ ПСИХИЧЕСКИХ СОСТОЯНИЙ ЧЕЛОВЕКА Введение
Многочисленные исследования показали, что изменения психического состояния человека выражается в изменении его речи. Различные состояния человека по разному влияют на характеристики его голосового аппарата, что выражается в достаточно точном определении состояния человека по его голосу другими людьми. Точное определение эмоций другого человека по его речи происходит даже при отсутствии ее семантической составляющей. В результате исследования [18] установлено, что снижение вероятности распознавания эмоции при инверсии записи речи составляет не более 15%. Это говорит о том, что особенности психического состояния кодируются в речевом сигнале во многом независимо от его семантического содержания. И если речевой сигнал содержит необходимую информацию для определения состояния другим человеком, то возможно нахождение характеристик этого речевого сигнала для автоматической диагностики психических состояний человека.
Речь человека выполняет несколько функций [6], главными из которых являются коммуникативная, эмотивная и индикационная. Коммуникативная функция заключается в передаче информации о внешней среде, эмотивная - в передаче информации о внутреннем состоянии говорящего и индикационная - в указание на индивидуальность и социальный статус участников коммуникации. Связь между акустическими характеристиками речи и психическими состояниями человека наиболее сильно проявляется в эмотивной и индикационной функциях речи. Каждая из них может проявляться в двух формах - в осознаваемых и в неосознаваемых изменениях речевых характеристик. Осознаваемые изменения речевых характеристик дают мало информации об изменении психического состояния, поэтому главный интерес для автоматической диагностики состояний представляет второй уровень реализации речевых функций. Таким образом, можно сформулировать цель нашего исследования: нахождение связей между неконтролируемыми изменениями в структуре речевого сигнала, обеспечивающих реализацию эмотивной и индикационной функции в процессе коммуникации и психическими состояниями человека.
Задача диагностики любого психического состояния любого человека по его речи очень сложна, поэтому большинство исследователей разбивают эту задачу на ряд подзадач (или этапов исследования). При этом в качестве критерия разделения задачи на ряд подзадач используют: пол, возраст, профессию, количество испытуемых (один человек или группа), речевой материал (фиксированная фраза, любая фраза из всего массива языка), индивидуальные особенности испытуемых. Наиболее общим и наиболее используемыми критериями [34, 40, 41] являются количество испытуемых и стандартность речевого материала. В этом случае задача разбивается на следующие подзадачи.
1. Диагностика состояния одного диктора по заданному фрагменту речевого сигнала.
2. Диагностика состояния группы дикторов по заданному фрагменту речевого сигнала.
3. Диагностика состояния одного диктора по любому фрагменту речи.
4. Диагностика состояния группы дикторов по любому фрагменту речи.
При этом сложность решения максимальна на последнем этапе и последовательно уменьшается на остальных. Это происходит по двум причинам:
• при использовании стандартного речевого материала исключается влияние на результат особенностей самого материала (количества пауз; количества во фразе различных типов звуков - звонких, глухих, шипящих и т.д.; процентное отношение гласных и согласных букв в произносимой фразе и т.д.).
• при исследовании одного диктора исключается влияние большого числа индивидуальных особенностей. Однако в этом случае возможность использовать полученные закономерности на других дикторах сильно уменьшается.
Первая и вторая подзадача решаются при анализе речевых параметров конкретной фразы, произносимой одним или несколькими дикторами в различных психических состояниях. В этом случае получают критерии для разделения различных состояний от состояния покоя и друг от друга. Третья и четвертая подзадачи решаются при анализе речевых параметров произвольных фрагментов речи, получаемых при произнесении диктором или группой дикторов. Соответственно, анализируется не весь фрагмент речи, а параметры за определенный фрагмент времени («в окне» различной величины). В этом случае выделяют критерии не только для различения состояний, но и для различения динамики внутри одного состояния.
При рассмотрении акустических коррелятов различных психических состояний наибольшее внимание уделяется следующим из них [9, 22].
1. Повышенное эмоциональное возбуждение и напряжение, которые часто определяются как психологический стресс. При этом интерес представляет обнаружение таких состояний, как показатель ухода состояния оператора от нормы эмоционального или психического равновесия.
2. Функциональные состояния утомления, внимания и т.п. Они представляют интерес для прикладных разработок. Например, диагностика функционального состояния космонавтов, летчиков, водителей поездов и т.д.
3. Эмоциональные состояния, количество которых может достигать нескольких десятков. При этом подобные исследования имеют как прикладную, так и чисто теоретическую направленность.
При изменении психического состояния человека изменяются параметры голосового аппарата [9, 38, 40]:
• напрягаются (при стенических состояниях) или расслабляются (при астенических состояниях) мышцы речеобразующего аппарата;
• нарушается координация дыхательных речеобразующих мышц;
• изменяются параметры слизистых горла и рта (появляется сухость или увеличивается слюноотделение).
Все это проявляется в изменении громкости речи, интонации, высоты голоса, тембра, темпа речи. Или, если говорить об акустических изменениях, то изменяется энергия речевого сигнала, основной тон, временные и спектральные характеристики, изменяется картина формантных частот и т.д. [8, 9, 22].
Рассмотрим акустические параметры речевого сигнала, которые связаны с различными психическими состояниями человека.
1. Основной тон
Частота основного тона (ЧОТ или Ео) определяет частоту колебаний голосовых связок при произнесении вокализованных звуков ([а], [о]). Она и производные от нее параметры являются наиболее исследованными характеристиками речевого сигнала, связанными с различными психическими состояниями человека. Этими параметрами являются: моментальная ЧОТ, средняя ЧОТ на интервале времени, динамический диапазон ЧОТ, дисперсия ЧОТ, мелодия ЧОТ.
Можно выделить некоторые общие закономерности связи параметров ЧОТ с психическими состояниями [9, 40].
В норме (оперативном покое) ЧОТ характеризуется малой дисперсией и плавностью переходов во времени от подъемов к спадам. Стенические эмоциональные состояния вызывают увеличение средней ЧОТ и ее дисперсии, приводят к появлению выбросов на мелодической кривой, характер мелодических подъемов и спадов становится более выраженным. Развитие астенических эмоциональных состояний характеризуется снижением уровня ЧОТ, уменьшению ее дисперсии по сравнению с нормой, появляется плавность переходов от подъемов к спадам на мелодической кривой [40].
Теперь рассмотрим каждый из выделенных показателей ЧОТ более подробно.
Мгновенная ЧОТ увеличивается при астенических состояниях, в состояниях маниакально-депрессивного психоза и близких к ним состояниях. В этих состояниях характерна большая изрезанность мелодической кривой основного тона и соответственно, большое количество максимумов ЧОТ. Для астенических и депрессивных состояний, количество максимумов ЧОТ меньше, чем в речевом сигнале в состоянии покоя [9]. Скорость изменения ЧОТ во времени увеличивается в состояниях страха и радости, уменьшается в состояниях печали и безразличия [9].
Средняя ЧОТ на интервале времени или просто ЧОТ в норме заключена в пределах 97-195 Гц для мужских голосов и 195-320 Гц для женских голосов.
За норму оператора принимается его ЧОТ в состоянии покоя. При отклонении состояния оператора от состояния покоя, происходит уменьшении или увеличение ЧОТ. При этом от интенсивности состояния зависит величина изменений ЧОТ.
ЧОТ при различных эмоциональных состояниях может служить разделителем на стенические - астенические состояния, но дает мало информации для их разделения. Так для радости, гнева и тревоги, т.е. для мобилизующих организм состояний, ЧОТ увеличивается. А для страха, печали, безразличия и тоски, т.е. для астенических, подавляющих состояний, ЧОТ уменьшается [4, 7-9, 16, 22, 36, 45, 46]. Однако это лишь общая картина. В некоторых исследованиях были получены прямо противоположные данные по реакциям страха [9], радости [22] и печали [22]. Однако это говорит скорее о необходимости уточнения полученных результатов, чем об их невалидности.
Наиболее достоверные результаты были получены при разграничении с помощью ЧОТ функциональных состояний утомления и эмоционального напряжения. При этом разные авторы называют реакции в сложных, неопределенных условиях и эмоциональным напряжением и стрессовой реакцией. По данным как зарубежных [9], так и отечественных исследователей [11-13, 21, 22, 24-26, 34, 40] при эмоциональном напряжении увеличение ЧТО составляет от 18-35% (аварийная ситуация в самолете или при срыве связи пилота с землей) до 100-200% (прыжки с парашютом или крушение самолета). В состоянии утомления ЧОТ уменьшается на 10-65%, а при депрессии уменьшается более чем в 2 раза. Помимо этих двух состояний исследовалось также состояние внимания [9], при котором ЧОТ возрастала на 25-40%, а при помехах - до 70-80% (табл. 1). В таблице 1 и далее символом «Т» обозначается увеличение значения измеряемого параметра речи, символом «1» -его уменьшение и символом ««» - его неизменность. Символ «?» указывает на то, что для данного речевого параметра не были получены достоверные результаты.
В заключение стоит отметить, что на указанные закономерности влияют индивидуальные особенности операторов. Так, например, в экспериментах Шерера [9] 1/3 операторов в состоянии стресса понижает ЧОТ, в исследованиях Хэкера [9] у одного из дикторов ЧОТ понижается и еще у одного в начале фразы ЧОТ понижает, а лишь потом повышается.
Таблица 1
Связь между отклонениями ЧОТ и силой функционального состояния
Характе- ристика речи Эмоцио- нальное напря- жение Эмоцио- нальное возбуж- дение Аварийная ситуация (паника) Утом- ление Депрес- сия Внима- ние
F0, % Т 10-36 Т 35-70 Т 140210 1 5-65 1 >100 Т 25-40
Дисперсия ЧОТ.
При расчете дисперсии используется формула
D[ x] =
1 N
— •£(xi -N-1 ¿( i
mx )2
где N - количество анализируемых значений (или величина окна анализа); x - текущее значение, mx - математическое ожидание.
Дисперсия ЧОТ (AF0) почти полностью повторяет закономерности ЧОТ [22]: увеличение в состоянии тревоги и гнева, уменьшение в состояниях страха, печали и радости (в этом и заключается отличие - ЧОТ в состоянии радости увеличивается). Аналогично в состоянии эмоционального напряжения дисперсия ЧОТ увеличивается, а в состоянии утомления - уменьшается.
Динамический диапазон ЧОТ.
Динамический диапазон ЧОТ вычисляется по формуле
max S - min S
d\
ЧОТ
At
где max S и min S - это максимальное и минимальное значения ЧОТ за интервал времени At.
При отклонении психического состояния от нормы изменяется диапазон ЧОТ. Его численные показатели зависят от интенсивности состояния, но общие закономерности выглядят следующим образом [3, 9, 10, 24-27]:
• диапазон ЧОТ расширяется в состояниях страха, гнева и радости, а также в состоянии эмоционального напряжения. При этом по данным [26] динамический диапазон увеличивается на 30 % уже при имитации сложных условий (диспетчеры в аэропорту).
• диапазон ЧОТ сужается в состояниях печали, тоски и безразличия, а также в состоянии утомления.
Мелодия ЧОТ.
Информацию об эмоциональных состояниях передает мелодия ЧОТ за определенный отрезок времени. Чаще всего используют мелодию ЧОТ в главноударном гласном звуке фразы. Мелодия ЧОТ представляет собой график функции ЧОТ, она трудно формализуется и часто описывается качественно («Восходящая, нисходящая»). Однако ряд авторов [1, 5, 36] на основе анализа мелодии ЧОТ находят пороговые значения для принятия решений о принадлежности записи к тому или иному классу состояний.
Состояние покоя характеризуется практически горизонтальным положением интонационной кривой, с небольшим наклоном вниз, к концу звука. При этом изменение темпа речи не приводит к изменению средней ЧОТ, а увеличение интенсивности произношения приводит к ее значительному увеличению. Особенностью астенических состояний является резкий наклон интонационной кривой вниз, от начала гласного к его концу, при общем увеличении ЧОТ пропорционально степени
эмоционального напряжения. При стенических состояниях мелодическая кривая характеризуется подъемом ЧОТ в своем начале (до 25-30% своего исходного уровня) и спадом ее к концу гласного [2-5, 8-10, 36, 37].
Так для эмоциональных состояний [3, 36] тревоги, гнева, печали и безразличия характерен нисходящий контур ЧОТ, для страха - восходящий контур ЧОТ и для состояния радости характерен восходящее-нисходящий контур ЧОТ.
Имеется несколько вариантов описания мелодии ЧОТ следующими характеристиками [9]:
• асимметрией;
• скоростью изменения ЧОТ, т.е. средними значениями первых производных мелодии на интервалах монотонного возрастания и монотонного убывания ЧОТ;
• изрезанностью, представляющей собой сумму модулей приращения ЧОТ;
• распределением скорости изменения ЧОТ и средней скоростью изменения ЧОТ.
Проведенный анализ позволяет составить таблицы связи ЧОТ и ее параметров с эмоциональными состояниями (табл. 2) и функциональными состояниями (табл. 3).
Таблица 2
Связь ЧОТ и ее параметров с эмоциональными состояниями
Характе- ристика речи тревога страх гнев радость печаль безраз- личие тоска
Ро т 1 т т 1 4 1
АР о т 1 т 1 ? ?
Диапазон ЧОТ ? Расши- рение Расши- рение Расши- рение Сужение Сужение Сужение
Вариатив- ность ? Боль- шая ? Большая Малая Малая ?
Контур ЧОТ Нисхо- дящий Восхо- дящий Нисхо- дящий Восхо- дяще- нисхо- дящий Нисхо- дящий Нисхо- дящий ?
Таблица 3
Связь ЧОТ и ее параметров с функциональными состояниями
Характеристика Утомление Эмоциональное Внимание
речи напряжение
Ро 1 т т
АР0 1 т т
Диапазон ЧОТ Узкий Широкий ?
Скорость изменения во времени Малая Большая Стабилизируется
Таким образом, ЧОТ и ее параметры позволяют:
• разграничить состояния покоя от эмоциональных состояний и крайних функциональных состояний;
• разграничить стенические и астенические состояния;
• при использовании с другими акустическими параметрами речевого сигнала (спектральными, временными, интонационными) частично разграничить эмо-
циональные состояния по качественным различиям.
2. Интонационные характеристики
К интонационным характеристикам речевого сигнала относят ЧОТ и ее параметры (рассмотрены выше) и различные характеристики интенсивности речи.
Громкость речи наиболее информативна для определения состояний стени-ческого типа. В астенических состояниях уровень речи операторов либо снижается, либо остается неизменным [9], поэтому интонационные характеристики не могут использоваться для анализа астенических состояний. При депрессивных состояниях средний уровень речевого сигнала, по сравнению с нормой, уменьшается. Наиболее исследованными характеристиками являются: средний уровень речи (Р, Дб), динамический диапазон уровня речи (АР, Дб) и коэффициент вариации силы голоса по слогам во фразе (Vр, %). Vр рассчитывается по формуле:
ур=^. 100%,
1 р
где ар - среднеквадратическое отклонение уровня слогов от среднего уровня силы звука во фразе; Р - средний уровень силы звука слога во фразе.
Изменение Р и АР позволяют выявить силу стенических эмоционального состояния, однако внутри этого класса состояний различия данных параметров несущественны [9]. Повышение Р позволяет выделить состояния тревоги и гнева (Т 56 Дб), а АР - состояния тревоги, гнева и радости [14, 19, 22, 39]. Исключением являются состояния печали и безразличия (близкого к состоянию покоя), при которых АР уменьшается. Следовательно, уменьшению АР также должны соответствовать астенические состояния, например, грусти. Увеличение Vр относительно состояния покоя дает возможность дифференцировать состояния радости (Т 10 %) и страха (Т 25 %) [14]. Выявленные закономерности представлены в таблице 4.
Таблица 4
Связь параметров интенсивности речи с эмоциональными состояниями.
Характеристика речи тревога страх гнев радость печаль
Р т * т * *
АР т * т т
Ур ? т * т ?
Показатели интенсивности также позволяют разграничивать функциональные состояния [22, 23, 30]. При увеличении эмоционального напряжения Р увеличивается на величину от 2-6 Дб (например, при угрозе аварии) до 12-18 Дб (при катапультировании или прыжках с парашютом). Для утомления и депрессии были получены противоположные тенденции (табл. 5).
Таблица 5
Связь между отклонениями ЧТО и силой функционального состояния
Характе- ристика речи Эмоцио- нальное напря- жение Эмоцио- нальное возбуж- дение Аварийная ситуация (паника) Утомле- ние Депрес- сия Внима- ние
Р, Дб Т 2-6 Т 3,5-6 Т 12-18 1 2,5-3,5 1 >10 ?
Для функциональных состояний характерно абсолютное изменение параметров интенсивности речи, представленное в таблице 6. О состоянии внимания
169
достоверных сведений не найдено.
Таблица 6
Связь параметров интенсивности речи с функциональными состояниями
Характеристи- Утомление Эмоциональное Внимание
ка речи напряжение
Р 1 т ?
АР 1 т ?
Таким образом, параметры интенсивности речи позволяют:
• разграничить стенические эмоциональные состояния;
• разграничить состояния утомления и эмоционального напряжения от состояния покоя;
• при использовании с другими акустическими параметрами речевого сигнала (спектральными, временными, ЧОТ) частично разграничить эмоциональные состояния по качественным различиям.
3. Темпоральные (временные) характеристики
Временные характеристики речи, в зависимости от интенсивности эмоциональных состояниях, имеют две противоположные закономерности к изменению. При малой интенсивности эмоциональных состояний при любых отклонениях от состояния покоя темп речи уменьшается [7, 8], при высокой интенсивности эмоциональных состояний - темп речи увеличивается [21, 22]. Первый тип закономерностей был получен на различных имитационных моделях, второй - при работе с дикторами в условиях реальной деятельности [40].
Главным физиологическим механизмом, влияющим на изменение темпа речи, является ритм дыхания. Увеличение ритма дыхания приводит к увеличению темпа речи, уменьшение ритма дыхания - к уменьшение темпа речи. К признакам, характеризующим психические состояния во временной области, относятся: средняя длительность ударных гласных во фразе (Тг, мс), отношение количества слов к времени их произнесения, т.е. скорость артикуляции (Vарт, %), средняя длительность и динамика изменения отрезков «чистой речи» (Тчр, мс), коэффициент вариации длительности слога (Ут, %), относительная длительность пауз во фразе по отношению к общей длительности фразы (Тп, %), средняя длительность паузы (гп , с), длительность нарастания звука (фронта) на вокализованных фрагментах (тф, мс), длительность спада звука на вокализованных фрагментах (тс, мс), латентное время ответной речевой реакции (ЛП, мс).
Вначале проанализируем параметры речевого сигнала для диагностики эмоциональных состояний, а затем - для функциональных состояний.
Для диагностики эмоциональных состояний выявлено однозначное увеличение Ут для всех состояний [14]. В исследовании Морозова Ут увеличивалась на 10,1% в состоянии горя, 13,5% в состоянии гнева, 15,3% в состоянии радости и 16,3% в состоянии страха. Т.е. данный показатель чувствителен к отклонению актуального состояния от состояния покоя вне зависимости от вида эмоционального состояния.
Максимальные длительности фронта и спада тф и тс зафиксированы в состоянии горя, они увеличиваются в 1,5-2 раза по сравнению с нормой. Для состояний гнева и страха эти параметры снижаются в 1,5-2 раза. При этом для выделенных состояний хф и тс сильно коррелируют между собой. Эго также дает возможность дифференцировать эти состояния от состояния покоя, в котором выявлено
значительное превышение тф над тс [14, 39].
Для параметров Тсл, Тп, Тг и ЛП при анализе литературе можно выделить два рода зависимостей.
1. Увеличение темпа произнесения фразы во всех состояниях. Эти результаты были получены либо во время экзамена у студентов [15], либо у актеров [14, 33], либо у детей при госпитализации [7]. То есть часть этих результатов была получена у испытуемых в состояниях пассивного реагирования на ситуацию и, следовательно, увеличение темпа речи может быть связанно с общей физической слабостью. А увеличение темпа речи при актерском моделировании эмоций может быть связанно с тем, что сама ситуация получения записей происходит на творческом подъеме у актера. Поэтому результаты данных исследований могут служить для дифференциации слабых эмоциональных состояний от состояния покоя.
2. Увеличение темпа произнесения фразы в большинстве эмоциональных состояний и разнообразное поведение остальных временных параметров [11, 22, 26]. Эти результаты были получены в реальных ситуациях (репортажи парашютистов, радиообмен с космическим кораблем, лабораторные эксперименты). Поэтому данные результаты наиболее достоверны в реальных ситуациях, в экстремальных ситуациях.
При описании сильных эмоциональных состояний используются такие временные характеристики, как Тг, Тп и ЛП. При этом [14, 19, 22] для состояний тревоги, радости и печали все характеристики уменьшаются, а для состояния страха
- возрастают. И лишь для состояния гнева изменение выделенных характеристик происходит не синхронно - Тг уменьшается, а Тп и ЛП увеличиваются.
Выделяются особенности передачи эмоциональных состояний с помощью временных характеристик [9]. Так для радости темпоральные характеристики несущественны и помогают передавать степень радости. Для печали отмечается убывающий темп речи к концу фразы, даже абсурдность длительности отдельных звуков. Для страха характерны очень короткие ударные гласные, что приводит к нарушению ритмики слов. Для ярости и гнева (в случае сдавленного голоса) увеличивается длительность согласных.
Выявленные закономерности приведены в таблице 7.
Таблица 7
Связь временных характеристик речи с сильными эмоциональными состояниями
Характеристика речи тревога страх гнев радость печаль
Тг т 1 1
Тп т т 1
ЛП 4 т т 1 1
На изменение временных характеристик речи, в различных функциональных состояниях, особенно сильно влияют факторы физической нагрузки и различных индивидуальных особенностей диктора [11, 13, 24-26, 30, 31] (см. раздел 6). Однако четко можно выделить основные закономерности изменения временных характеристик речи в зависимости от вида функционального состояния диктора.
При эмоциональном напряжении увеличивается Vарт. Например, в исследовании проводимых на машинистах Метрополитена [13] скорость артикуляции возрастала на 14-22% по сравнению с нормой, при исследовании операторов поточных линий [11] - увеличивалась на 4-10% у операторов первой смены и на 30% у операторов второй смены, а при исследовании летчиков и парашютистов [23] уве-
личивалась на 15-25%. В состоянии утомления у машинистов Vарт падала на 5560%, у операторов поточных линий - на 4-5% по отношению к норме и на 13% по отношению к максимуму, а у парашютистов [23] на 15-45%.
В этих же экспериментах выявлено уменьшение времени «чистой речи» Тчр в состоянии эмоционального напряжения на 15-35% и увеличении в состоянии утомления на 40-45%. Эти результаты были подтверждены при исследовании авиадиспетчеров. Длительность пауз Тп в состоянии эмоционального напряжения уменьшается на 13-35%, а в состоянии утомления увеличивается на 40-45%. Эти результаты, только с большими показателями, подтверждаются и при исследованиях парашютистов [23]. Выявленная зависимость характерна и для Тг [22]. Также следует отметить уменьшение длительности ударных гласных в состоянии внимания [9].
В состоянии эмоционального напряжения ЛП зависит от силы эмоционального напряжения и от вызвавшего его стимула. Так при исследовании авиадиспетчеров у операторов тормозного типа ЛП повышался, а у операторов возбудимого типа - понижается [23, 24, 44]. Однако при исследовании летчиков и парашютистов было зафиксировано уменьшение ЛП на 5-15% [23]. В состоянии утомления у летчиков и операторов ЛП возрастал на 25-70%. Все полученные закономерности приведены в таблице 8.
Таблица 8
Связь временных характеристик речи с функциональными состояниями
Характеристика речи Эмоциональное напряжение Утомление
VAPT т 1
Тчр т
Тп 4 т
Тг т
ЛП 4 т
Временные параметры речи также используются для диагностики состояний пациента в клинике. При этом разграничению подвергаются депрессия и маниакально-депрессивный психоз [12]. Полученные в эксперименте данные приведены в таблице 9.
Таблица 9
Связь временных характеристик речи с клиническими состояниями
Характеристика речи МДП (стенические эмоции) Депрессия (астенические эмоции)
Vapt, слог\с Т 2,2 1 2,2-2,4
Тп, с * Т 10-18
t П , % ¿0,4 t0,1-0,2
ЛП, с 1 1,8-2,2 Т 3-4
Таким образом, временные параметры речевого сигнала позволяют:
• разграничить наличие эмоционального состояния от состояния покоя;
• разграничить состояния утомления и эмоционального напряжения от состояния покоя;
• при выявлении большой совокупности индивидуальных характеристик диктора, возможно разграничить некоторые эмоциональные состояния по качеству;
• при использовании с другими акустическими параметрами речевого сигнала (спектральными, интонационными, ЧОТ) частично разграничить эмоциональные состояния по качественным различиям.
4. Спектральные характеристики
Установлено, что тембр речи, может передавать эмоциональные состояния человека, так же, как и интонация. В исследованиях связанных с синтезом эмоциональной речи установлено, что даже при постоянной ЧОТ аудиторы способны различать эмоции по изменениям тембра речи [9]. Уже в первых экспериментах было установлено, что по сравнению с нормой спектры эмоциональной речи деформируются, формантные максимумы сдвигаются по частоте, сужаются или расширяются, происходит перераспределение энергии между областями высоких и низких частот [3, 10, 17, 22, 28, 31, 32, 38].
Наибольшее влияние на восприятие звуков, в спектральной картине речи, оказывает количество формант и их размещение в частотной области. Формантами или формантными областями называют частотные области максимумов, наблюдаемых в спектральной картине речи. Расположение спектральных пиков приблизительно соответствует резонансам речевого тракта. Формантные области обозначаются в порядке возрастания F1, F2, F3..., а частоты соответственно Ръ ^2, ^з.
В работах [3, 10] предлагается разделение всего спектра на области, изменения в которых могут давать информацию о качестве эмоционального состояния:
• 250-980 Гц (область основного тона и первой форманты), 980-2180 Гц (область второй форманты), 2180-3880 Гц (область третьей форманты) и 3880-8570 Гц (область более высоких формант);
• 250-2180 Гц (низкочастотная область) и 2180-8570 Гц (высокочастотная область).
Физиологическими механизмами, влияющими на изменение спектральных характеристик речи, при различных психических состояниях является изменение мышц глотки и ротовой полости [38]. На спектр речи влияют сжатие или расширение горловой щели, а также величина открытия рта при произнесении.
В исследовании спектральной картины речи используются следующие характеристики: значения первых трех формантных областей (.^1, ^2, ^з), спектральные моменты (М\, Мг, Л/з), ширина спектра (ДО- среднее пересечение (частота нулей) характеризующее положение первой форманты на оси частот (Рэ).
Спектральные моменты вычисляются, как:
Мм = А ■ ,
где N - номер формантной области и спектрального момента, М - спектральный момент, соответствующий определенной формантой области ¥, а А - интенсивность выбранной области спектра.
При исследовании спектральных параметров в различных эмоциональных состояниях были выделены общие закономерности, однако инвариантных признаков для всех состояний найдено не было.
Для стенических эмоциональных состояний выявлены следующие изменения по сравнению с нормой [3, 9, 10, 22, 29]:
• общее расширение спектра, особенно сильно расширяется спектр ударных гласных;
• увеличение средней частоты спектрального максимума;
• повышение энергии высокочастотных составляющих;
• увеличение формантных частот (особенно Р\) и их сдвиг по частотной области вправо.
Для астенических эмоциональных состояний наблюдаются противоположные тенденции:
• общее сужение спектра;
• уменьшение средней частоты спектрального максимума;
• повышение энергии низкочастотных составляющих;
• уменьшение формантных частот (особенно ^і).
В зависимости от интенсивности психических состояний, изменяется степень изменения характеристик формант. В [42] были получены данные об уходе частот и полос всех формант на 100-200% от нормы, в [23] - на 5-12%. Однако следует учитывать, что на данные характеристики могут влиять индивидуальные особенности строения речевого аппарата дикторов.
В таблице 10 приводятся спектральные характеристики речи в различных по качеству эмоциональных состояниях, полученных при обобщении исследований
[3, 10].
Таблица 10
Связь спектральных характеристик речи с эмоциональными состояниями
Характеристика речи радость печаль гнев страх
Насыщенность фразы Вокальная Консонантная Консонантная Консонантная
Спектр энергии Смещение в область высоких частот Смещение в область низких частот Смещение в область высоких частот Смещение в область высоких частот
Дf гласных Расширение для ударных и безударных Сужение для ударных Расширение для ударных Расширение для ударных
При исследовании функциональных состояний сохраняются закономерности, полученные при разграничении астенических и стенических эмоциональных состояний. Так для эмоционального напряжения увеличиваются значения и Рз (по [38] на 5-12%), происходит расширение спектра ударных гласных и смещение энергии спектра в область высоких частот [9, 22, 32]. Для утомления характерно увеличение .Р! и уменьшение ,?3, сужение спектра ударных гласных и смещение энергии спектра в область низких частот. Изменение значений _р2 зависит от индивидуальных особенностей оператора. Также в состоянии эмоционального напряжения увеличиваются М1 и М3 [32].
Одним из значимых показателей является Рэ, которое увеличивается в состоянии эмоционального напряжения и уменьшается в состоянии утомления. В работах [34, 35, 40, 43] показано, что построение решающих правил только на основе двух параметров р и Р0 дает возможность разграничить эмоциональное напряжение от состояния покоя, а также речь с различным темпом и с различной громкостью. Также эти два параметра позволяют разграничить состояние утомления от покоя; состояния утомления, полученные в реальных условиях и при актерском моделировании. Закономерности изменений спектральных параметров в различных функциональных состояниях приведены в таблице 11.
Таблица 11
Связь спектральных характеристик речи с функциональными состояниями
Характеристика эмоциональное напряжение утомление
речи
Fl т т
т
т
М гласных Расширение для ударных Сужение для ударных
Спектр энергии Смещение в область высоких частот Смещение в область низких частот
Таким образом, временные параметры речевого сигнала позволяют:
• разграничить отклонение психического состояния от состояния покоя;
• разграничить состояния утомления и эмоционального напряжения от состояния покоя. При этом применение Рз и Ро дает возможность разграничивать функциональные состояния, полученные в реальных условиях и при имитации;
• разграничить стенические и астенические состояния;
• при использовании с другими акустическими параметрами речевого сигнала (временными, интонационными, ЧОТ) частично разграничить эмоциональные состояния по качественным различиям.
5. Другие характеристики
В различных исследованиях также используются и другие характеристики речевого сигнала. Их попадание в данный раздел объясняется либо редкостью использования, либо отсутствием подтверждающих их исследований.
Для диагностики состояния стресса или эмоциональной напряженности используется частота «вибрато», т.е. выбросы, возникающие в тот момент, когда речевой сигнал гаснет в пределах основного тона. Этот эффект объясняется тем, что в норме мышечная мембрана, расположенная рядом с мышцами голосовых связок, вибрирует синхронно с голосовыми связками, в состоянии стресса - в противофазе с ними или асинхронно. Это приводит к возникновению короткого острого возбуждающего импульса - «взрывного возбуждения», в результате которого и образуется «вибрато» [9].
В состоянии эмоционального возбуждения, а также в ярости, отмечается озвончение глухих смычковых согласных [9].
6. Факторы, мешающие диагностики психических состояний по речевому сигналу
В литературе выделяется много факторов, которые затрудняют диагностику состояния человека по голосу. К основным из них относят следующие.
1. Наличие физической нагрузки, которая может обуславливать изменение параметров речи - увеличение громкости речи, уменьшение темпа речи. Например, эмоциональное напряжение, возникающее при прыжках с парашютом. При взлете и перед самым прыжком эмоциональное напряжение вызывает увеличение темпа речи, однако пик эмоционального напряжения, возникающий при самом прыжке и при приземлении, сопровождается уменьшением темпа речи. Здесь падение темпа речи связанно с физической нагрузкой, перегрузкой и необходимостью компенсировать скорость падения. Подобная проблема решается на основе получения записей голоса операторов при физическом и при эмоциональном напряжении. Исследования, проведенные на космонавтах [30-32], показали, что при физическом на-
пряжении увеличивается интенсивности речевого сигнала, а при эмоциональном напряжении происходит изменения и в интенсивности и в динамике формантных частот.
2. Необходимость изменения голоса в зависимости от условий окружающей ситуации. Эта проблема становится актуальной при уменьшении слышимости между операторами. В этой ситуации происходит естественное увеличение интенсивности речевого сигнала. Подобным изменениям посвящены работы Никонова [20, 22] который показал, что с ростом интенсивности речевого сигнала нелинейно изменяются и значения Р0. Так при переходе от тихой речи к нормальной (увеличение Р на 8-12 Дб), Р0 увеличивается на 5-20%. А при переходе от нормальной речи к громкой (возрастание Р на 20-24 Дб), Ро увеличивается на 60-90%.
Недостаток времени или сложность ситуации также может служить причиной увеличения темпа речи. В исследованиях приводятся три темпа речи в нормальном состоянии - спокойная речь, скороговорка, диктант. Наличие скороговорки или диктанта может происходить на фоне состояния покоя, однако речевой сигнал в этом случае будет претерпевать изменения. В исследованиях [31, 32, 40] показано, что построение решающих правил на основе Ро, Рэ, мощности сигнала и некоторых темпоральных характеристик, может решить данную проблему. Разделение речевого сигнала различной интенсивности и с разным темпом от эмоциональных и функциональных состояний происходило на уровне 96-97%.
3. Качество аппаратуры и каналов связи, используемых для диагностики психических состояний. Наличие шумов в канале связи и потери, возникающие при записи, могут значительно снижать правильность диагностики. Решением этой проблемы является использование более надежной аппаратуры и алгоритмов обработки сигнала, уменьшающих шум.
4. Дефекты, болезни и индивидуальные особенности речевого аппарата. Решением этой проблемы является использование большого количества акустических характеристик речевого сигнала, а также нахождение признаков речевого сигнала инвариантных по отношению к индивидуальным особенностям речевого аппарата человека.
5. Индивидуальные особенности испытуемых. К ним относятся [11, 13, 2426]: свойства нервной системы, тип темперамента, тип реагирования на стрессовые ситуации, опыт работы, наличие навыков саморегуляции своего состояния и т.д. Пока что единственным решением этой проблемы остается учет главных индивидуальных свойств операторов.
7. Выводы
1. Были выделены параметры речевого сигнала, передающие характеристики различных психических состояний. К ним относятся ЧОТ и ее параметры, интенсивность речевого сигнала и ее параметры, различные темпоральные (длительность пауз, «чистой речи», ударных гласных, скорость артикуляции и т.д.) и спектральные (значения первых трех формант, смещение спектра и т.д.) характеристики. Для качественно различных состояний была выделена динамика указанных состояний.
2. Выделенные характеристики позволяют решить ряд задач [1-46]. Большинство решений получено для первых двух этапов поставленной проблемы, а именно, для диагностики состояния диктора или группы дикторов по заданному фрагменту речевого сигнала. Приводятся следующие результаты:
• разграничение эмоциональных и крайних функциональных состояний от состояния покоя с вероятностью 99-100%;
• разграничение стенических и астенических состояний с вероятностью 9697%;
• разграничение состояния эмоциональной напряженности и утомления с вероятностью 96-100%;
• для отдельных реальных ситуаций (прыжки с парашютом, выход космонавтов в открытый космос) были выявлены параметры, позволяющие разграничить эмоции по виду;
• выделены закономерности изменений различных речевых параметров при различных по виду эмоциональных состояниях. Приводятся результаты, утверждающие, что их вероятность достигает 95%. Однако выявленные зависимости сильно зависят от используемых моделей получения эмоциональных состояний и часто противоречат друг другу. Поэтому общее решение этой задачи еще не получено;
• диагностика психических состояний при различных помехах: различная громкость речи (тихая - нормальная - громкая), ее темп (спокойная речь - диктант -скороговорка), а также их сочетания. При этом вероятность составляет 96-97%.
3. Однако не решенными остается еще ряд задач:
• дифференцирование вида эмоциональных состояний с вероятностью большей 95% по фрагменту речи для диктора или группы дикторов;
• решение третьего и четвертого этапов диагностики - определение состояния диктора или группы дикторов по любому фрагменту речи. Соответственно решение всех задач, решенных для первого и второго этапов;
• разграничение состояния внимания от состояния покоя и других функциональных состояний.
4. Для решения перечисленных задач необходимо следующее:
• нахождение более общих закономерностей уже выделенных характеристик речевого сигнала (интонационных, темпоральных, спектральных) и поиск новых характеристик этого типа;
• нахождение качественно иных зависимостей. Например, на основе вейв-лет-преобразованя или нахождения структурных признаков речевого сигнала;
• нахождение методов учета индивидуальных особенностей операторов при диагностики психических состояний речевому сигналу;
• построение алфавита акустических характеристик вначале эмоциональных состояний, а затем базовых психических состояний, инвариантного к личностным особенностям и изменениям окружающей ситуации.
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Бескадаров А.В., Галунов В.И. Анализ вариативности мелодических контуров речи // Матер. и сообщ. Всес. симпозиума «Речь, эмоции и личность». -Л.: Наука, 1978. С. 49-52.
2. Блохина Л.П. О возможности использования информации о модуляциях частоты основного тона в автоматическом распознавании эмоциональных состояний // Матер. докл. и сообщ. 5-го Всес. совещ.-симп. цикла «Акуст. речи и слуха»: Эмоции и автомат. распознавание речи. - Одесса, 1989. С. 41-42.
3. Блохина Л.П., Гомина Т.Г. К вопросу о значимости просодических спектральных параметров речевых сигналов, выражающих различные эмоциональные состояния // Матер. и сообщ. Всес. симпозиума «Речь, эмоции и личность». - Л.: Наука, 1978. С. 52-57.
4. Витт Н.В. Информация об эмоциональных состояниях в речевой интонации // Вопросы психологии. 1965. №3. С. 89-102.
5. Витт Н.В. Эмоциональная регуляция речи. Автореф. докт. дисс. М.,
177
1988.
6. Галунов В.И. Речь, эмоции и личность: проблемы и перспективы // Матер. и сообщ. Всес. симпозиума «Речь, эмоции и личность». - Л.: Наука, 1978. С. 312.
7. Галунов В.И., Манеров В.Х. Пути решения проблемы создания систем определения эмоционального состояния говорящего // Вопросы кибернетики. Выпуск 22. Анализ и синтез речи в системах управления. - М., 1976. С. 95-114.
8. Галунов В.И., Манеров В.Х. Связь между психофизиологическим состоянием говорящего и характеристиками речевого сигнала // Автоматическое распознавание слуховых образов (АРСО-8). - Львов, 1974. С. 46-48.
9. Галунов В.И., Пиктурна В.В., Янушавичюс В.Й. Акустические корреляты эмоциональной речи // Матер. докл. и сообщ. 5-го Всес. совещ.-симп. цикла «Акуст. речи и слуха»: Эмоции и автомат. распознавание речи. - Одесса. 1989. С. 16-25.
10. Гомина Т.Г. Влияние различных эмоциональных состояний на изменение спектра английских гласных // Матер. и сообщ. Всес. симпозиума «Речь, эмоции и личность». - Л.: Наука, 1978. С. 94-96.
11. Еращенко Н.А. Динамика некоторых параметров речевого потока у операторов поточных линий // Методика и техника экспериментальных исследований операторской деятельности. - М.: Наука, 1982. С. 157-162.
12. Еращенко Н.А., Магалиф А.Ю. Влияние аффективных нарушений на изменения темпоральных характеристик речи // Методика и техника психофизиологического эксперимента. - М.: Наука, 1987. С. 51-55.
13. Еращенко Н.А., Черкасов О.А. Спектрально-структурный анализ речи как один из показателей изменения функционального состояния оператора // Методика и техника экспериментальных исследований операторской деятельности. - М.: Наука, 1982. С. 42-45.
14. Котляр Г.М., Морозов В.П. Об акустических коррелятах эмоциональной выразительности вокальной речи // Акустический журнал. 1976. Т. 22. Вып. 3. С. 370-376.
15. Ласко М.В., Резвицкая Ж.И. Определение эмоционального состояния по семантическим и темпоральным характеристикам речи // Матер. и сообщ. Всес. симпозиума «Речь, эмоции и личность». - Л.: Наука, 1978. С. 128-131.
16. Манеров В.Х. Анализ эмоциональных неречевых звуков // Автоматическое распознавание слуховых образов (АРС0-10). - Тбилиси, 1978. С. 222-223.
17. Манеров В.Х., Шнейдер Н.М. Автоматическое распознавание эмоций по спектральным и интонографическим признакам // Матер. докл. и сообщ. 5-го Всес. совещ.-симп. цикла «Акуст. речи и слуха»: Эмоции и автомат. распознавание речи.
- Одесса, 1989. С. 91-93.
18. Морозов В.П. Опознавание эмоций и личности человека по инвертированной речи // Психологический журнал. 1988. Т. 9. №3. С. 54-58.
19. Морозов В.П. Особенности акустических средств выражения эмоций в вокальной речи и некоторые общие аспекты проблемы языка эмоций // Матер. и сообщ. Всес. симпозиума «Речь, эмоции и личность». - Л.: Наука, 1978. С. 139-144.
20. Никонов А.В. Вариативность усредненного спектра гласных звуков при тихой, нормальной и громкой речи // Матер. и сообщ. Всес. симпозиума «Речь, эмоции и личность», - Л.: Наука, 1978. С. 148-152.
21. Никонов А.В. К вопросу о возможности непрерывной оценки эмоционального состояния человека-оператора во время полета по его речевым сообщениям // Матер. Всес. Симпозиума «Речь и эмоции». - Л.: Наука, 1975. С. 7-11.
22. Никонов А.В. Психологические проблемы акустической диагностики
функциональных состояний оператора // Психологические проблемы деятельности в особых условиях. - М.: Наука, 1985. С. 136-153.
23. Никонов А.В., Попов В.А. Особенности структуры речи человека-оператора в стрессовых условиях // Матер. Всес. Симпозиума «Речь и эмоции». -Л.: Наука, 1975. С. 11-16.
24. Носенко Э.Л. Изменения характеристик речи при эмоциональной напряженности // Вопросы психологии. 1978. №6. С. 76-85.
25. Носенко Э.Л. Особенности речи в состоянии эмоциональной напряженности. - Днепропетровск, 1975.
26. Носенко Э.Л. Эмоциональное состояние и речь. - Киев: Вища школа,
1981.
27. Носенко Э.Л., Чугай А.А., Карпов О.Н. Система автоматического определения эмоционального состояния человека по акустическим и темпоральным характеристикам речи // Матер. Всес. Симпозиума «Речь и эмоции». - Л.: Наука, 1975. С. 108-113.
28. Нушикян Э.А. Частотные составляющие спектра ударных слогов эмоционально окрашенных фраз // Автоматическое распознавание слуховых образов (АРСО-13). - Новосибирск, 1984. С. 135-136.
29. Нушикян Э.А., Трунин-Донской В.Н. Исследование параметров эмоциональной речи на устройстве выделения речевых признаков // Автоматическое распознавание слуховых образов (АРСО-13). - Новосибирск, 1984. С. 133-135.
30. Попов В.А., Замалетдинов И.С., Крылов Н.В., Никонов А.В. Особенности речевого поведения человека в стрессовых условиях // Матер. и сообщ. Всес. симпозиума «Речь, эмоции и личность». - Л.: Наука, 1978. С. 162-166.
31. Попов В.А., Симонов П.В., Тищенко А.Г., Фролов М.В., Хачатурьян Л.С. Анализ интонационной характеристики речи как показателя эмоционального состояния человека в условиях космического полета // Журнал высшей нервной деятельности, 1966. Т. 16. Вып. 6. С. 974-983.
32. Попов В.А., Симонов П.В., Фролов М.В., Хачатурьянц Л.С. Частотный спектр речи как показатель степени и характера эмоционального напряжения человека // Журнал высшей нервной деятельности. 1971. Т. 21. Вып. 1. С. 104-109.
33. Потапова Р.К. О составляющих временного эмотивного признака // Матер. и сообщ. Всес. симпозиума «Речь, эмоции и личность». - Л.: Наука, 1978. С. 170-173.
34. Симонов П.В., Фролов М.В. Психофизиологический контроль функционального состояния человека-оператора // Журнал высшей нервной деятельности. 1984. Т. 34. Вып. 2. С. 195-206.
35. Симонов П.В., Фролов М.В., Таубкин В.Л. Инвариантный метод распознавания эмоционального состояния группы дикторов по их речи // Журнал высшей нервной деятельности. 1976. т. 26. Вып. 1. С. 196-199.
36. Таубкин В.Л. Некоторые результаты исследования интонационных характеристик главноударных звуков эмоциональной речи // Матер. и сообщ. Всес. симпозиума «Речь, эмоции и личность». - Л.: Наука, 1978. С. 183-187.
37. Таубкин В.Л., Фролов М.В. О влиянии эмоционального состояния диктора на некоторые параметры алгоритмов распознавания речи // Автоматическое распознавание слуховых образов (АРСО-8). - Львов, 1974. С.52-54.
38. Тищенко А.Г. Динамика формант в спектре слышимой речи как объективный показатель различения положительных и отрицательных эмоций // Космическая биология и медицина. 1968. №5. С. 46-51.
39. Федоренко О.Г. Разработка и исследование методов повышения эффективности программно-аппаратных вычислительных средств обработки речевых
сигналов. Автореф. канд. дисс. - Таганрог, 1999.
40. Фролов М.В. Контроль функционального состояния человека-оператора.
- М.: Наука, 1987.
41. Фролов М.В., Таубкин В.Л., Лужбин Н.А. Метод автоматического распознавания эмоционально окрашенных состояний диктора // Автоматическое распознавание слуховых образов (АРСО-10). - Тбилиси, 1978. С. 232-233.
42. Фролов М.В., Таубкин Л.О. О влиянии эмоционального состояния диктора на некоторые параметры речевого сигнала // Матер. Всес. Симпозиума «Речь и эмоции». - Л.: Наука, 1975. С. 46-55.
43. Фролов М.В., Черкасов О.А. Распознавание состояния утомления и эмоционального напряжения по параметрам речевого сигнала // Методика и техника экспериментальных исследований операторской деятельности. - М.: Наука, 1982. С. 137-141.
44. Чугай А.А. Разработка и исследование технических средств анализа речи для диагностики эмоционального состояния человека-оператора. Автореф. канд. дисс. - Днепропетровск, 1988.
45. Kienast M., Sendlmeier W.F. Acoustical analysis of spectral and temporal changes in emotional speech. ISCA Workshop on Speech and Emotion, Belfast 2000. http://www.aub.ac.uk/en/isca/proceedings/pdfs/kienast.pdf.
46. Scherer K.R. Emotion effects on voice and speech: Paradigms and approaches to evaluation. ISCA Workshop on Speech and Emotion, Belfast 2000. http://www.aub.ac.uk/en/isca/proceedings/pdfs/scherer.pdf.
В.А. Островский ФОНОСЕМАНТИЧЕСКАЯ ЭТИОЛОГИЯ
АЛФАВИТНО-ЛИТЕРАЦИОННОЙ СИСТЕМЫ КАК ФАКТОР ПРОДУКТИВНОСТИ МЫШЛЕНИЯ (НА ПРИМЕРЕ СОПОСТАВЛЕНИЯ
СОВРЕМЕННОГО РУССКОГО АЛФАВИТА И КИРИЛЛИЦЫ)
Введение в проблему. Вначале 20 века Россия претерпела алфавитношрифтовую реформу. Ее сущность не сводится только к сокращению количества использующихся букв для обозначения имеющихся в русском языке звуков, т.е. не сводится только к сокращению «излишних», дублирующих обозначений, «затруднявших», овладение грамотой и преодоление религиозных предрассудков широкими народными массами. От внимания экспертов, описывающих этот «просветительский» акт до настоящего времени ускользал один важный аспект этой алфавитношрифтовой реформы: была кардинально изменена психосемантическая этиология грамотности. Поясним сказанное.
Из массовой педагогической практики общеизвестно, что обучение азбуке, грамоте посредством буквенно-слогового письма невозможно, или, по крайней мере, бывает неимоверно затруднено, если не использовать вспомогательные слова, начинающиеся со звуков, обозначаемых конвенционально принятыми буквами. Ускользавший от анализа аспект алфавитной реформы в России как раз и состоял в качественной смене характера вспомогательных слов. Суть этого акта можно обозначить как кардинальную смену фоносемантического ореола репрезентативно -семиотической системы языкового мышления в целом.
В самом деле, кириллическая старославянская методика использовала в качестве вспомогательных слов такие, которые обозначали чувственно-смысловые сущности и процессы «на внутреннем небе» человека: «Аз», «Буки», «Веди», «Г ла-
