CC BY
12От классической психоакустики к психоакустике речи.
Памяти профессора Людмилы Андреевны Чистович
Люблинская В.В., кандидат биологических наук Огородникова Е.А., кандидат биологических наук
Работа посвящена памяти выдающегося учёного в области исследования речи — профессора Людмилы Андреевны Чистович. С 1961 по 1985 гг. она возглавляла научный коллектив в Институте физиологии им. И.П. Павлова РАН (до 1981г. — совместно с Валерием Александровичем Кожевниковым, её мужем и соратником). Пионерские работы коллектива, направленные на изучение слухового восприятия речи, получили мировое признание как «Ленинградская школа».
В докладе представлен краткий обзор научной деятельности коллектива от классической психоакустики до психоакустики речевых сигналов, выделены основные достижения экспериментальных работ, выполненных под руководством Л.А. Чистович и ведущих сотрудников. Более подробно авторами рассмотрены новые для того времени гипотезы о механизмах слухового анализа речи, а также конкретные реализации моделей, отражающих периферический и центральный уровни обработки речевого сигнала в слуховой системе человека. Обсуждается фундаментальная роль исторических данных в работах зарубежных коллег, продолжение научных традиций Людмилы Андреевны Чистович в современных экспериментальных и прикладных работах группы её коллег, продолжающих изучение восприятия речи в настоящее время.
88
Введение
Профессор Людмила Андреевна Чистович (1924-2006) была выдающимся учёным, внёсшим большой вклад в дело изучения речи человека. Вместе со своим мужем и соратником Валерием Александровичем Кожевниковым (1924-1981) она стала основателем нового научного направления по изучению закономерностей слуховой обработки речевых сигналов. Её имя приобрело и сохраняет до настоящего времени широкую известность как у нас в стране, так и за рубежом.
Две лаборатории — физиологии речи (руководитель Л.А. Чистович) и биофизики речи (руководитель В.А. Кожевников) — были созданы в Институте физиологии им. И.П. Павлова РАН в начале 1960 г. как один из отделов Центра космической физиологии и биологии. Оба коллектива работали в тесном взаимодействии до преждевременной смерти в 1981 г. В.А. Кожевникова, когда в данной области исследований осталась только лаборатория физиологии речи, возглавляемая Л.А. Чистович до 1986 г.
Начало 60-х годов характеризуется развитием в нашей стране космической техники и созданием связанной с ней новой научно-технической отрасли, ориентированной на разработку систем автоматического распознавания и синтеза речи. Это сопровождалось внедрением кибернетики во многие сферы науки и технологии. Задачи молодого коллектива по исследованию речи человека в большой мере определялись задачами речевых технологий на начальном этапе их становления. Неудивительно, что подход к решению проблемы исследования речи был в основе технократическим, использующим метафоры из теории информационных систем. Новым в этой идеологии была направленность на разработку моделей слухового восприятия речи человеком, основанных на результатах экспериментальных психоакустических исследований, фонетических знаниях, данных физиологии, представлений об обработке сигналов в системах связи и методах математического моделирования. В настоящее время такой междисциплинарный подход представляется обычным, но в 1960-е-70-е годы прошлого столетия он открывал новый путь в науке о речи.
Основные методы на начальном этапе работы коллектива были заимствованы из известных психоакустических исследований. Ранние экспериментальные работы Л.А. Чисто-вич и её докторская диссертация посвящены исследованию временных характеристик слуха, основанному на использовании методов классической психоакустики (обнаружение, различение, маскировка тональных и шумовых стимулов) [1]. Сама Л.А. Чис-тович обладала широкими профессиональными познаниями в этой области. Её работы о частотных кривых маскировки [2] и о влиянии длительности тональных посылок на пороги различения частоты [3] признаны классическими и значимы до сих пор. Но одни методы классической психоакустики применительно к исследованию слухового восприятия речевых сигналов оказываются недостаточно информативными. В основе классической психоакустики лежит представление о слухе как о коммуникационном канале, для изучения которого достаточно использовать в качестве стимулов чистые тоны или шумы. Речевые сигналы имеют принципиально иную акустическую структуру, определяющую необходимость поиска новых экспериментальных подходов и методов исследования [4].
В основе исследований в лабораториях Л.А. Чистович и В.А. Кожевникова была идея о том, что слуховая система и мозг человека представляют собой высокоорганизованную автоматическую систему, которая выполняет измерительные и логические операции в процессе речевого поведения. В этом случае задачи исследования должны рассматриваться как выяснение таких операций и их функциональное моделирование. «Мы полагаем в нашей группе, что единственный путь для описания речи человека состоит не в описании восприятия самого по себе, но в понимании смоделированной системы, которая наиболее соответствует экспериментальным данным, полученным при исследовании восприятия речи» [5].
89
Труды сессии научного совета РАН по акусимке и XXII сессии РАН
Изучение слухового восприятия в лабораториях проводились по двум направлениям. Одно из них было посвящено функциональному моделированию — имитации преобразований речевых сигналов на периферии слуховой системы (периферический слуховой анализатор спектра), а также некоторых процессов на более высоком уровне слухового анализа — при слуховой обработке амплитудной огибающей. Другое направление касалось экспериментального изучения закономерностей и механизмов обработки периферических откликов речевых сигналов центральными отделами слуховой системы с использованием психофизических методов исследования. Следует отметить, что проблема центральной обработки речевых сигналов до настоящего времени остаётся актуальной и сохраняет для специалистов в данной области статус одного из важнейших направлений. Реализация и применение функциональных моделей выступают здесь необходимым инструментом, а в те годы в полной мере относились к разряду инновационных разработок.
Моделирование периферии и центрального уровня слухового анализа
Первая версия периферического слухового анализатора была выполнена как аналоговая линейная модель, включающая имитацию частотных кривых на уровне откликов слухового нерва, эффекта двухтонового подавления и кратковременной адаптации (условное название «Улитка») [6]. Позднее модель с теми же параметрами была реализована на компьютере в программном виде [7].
В конце 70-х годов группа коллег под руководством В.А. Кожевникова разработала ещё одну модель — обработки амплитудной огибающей в частотных каналах слухового спектрального анализатора, известную как модель Обнаружения Амплитудных Неравномерностей (ОАН) [8]. Выходы 128 частотных каналов анализатора служили входом модели ОАН, основу которой составлял набор трёх типов полосовых фильтров с центральными частотами 7, 25 и 75 Гц. При пересечении выходными огибающими фильтров некоторого положительного порога (для фильтра 25 Гц) формировались положительные метки «оn-маркеры», пересечение отрицательного порога сопровождалось появлением «оА-маркеров». Последовательность таких ответов обозначала интервалы, выделяемые для проведения измерения их длительностей и дальнейшей обработки сигнала [9].
90
Психоакустические исследования слуховой обработки речевых сигналов
Комплекс исследований откликов модели спектрального слухового анализатора на речевые сигналы показал, что «слуховые динамические спектрограммы» отражают поток определённых событий и особенностей, характеризующих речевые сигналы. Была выдвинута рабочая гипотеза о том, что в центральных отделах слуховой системы осуществляется обнаружение и анализ этих событий. Предполагалось, что эту функцию выполняет система параллельно работающих детекторов, одна часть которых реагирует только на быстрые изменения амплитуды и частоты спектральных компонент, другая — выполняет анализ свойств более продолжительных во времени сегментов. В известном приближении, результаты такой обработки можно рассматривать как проявления фазических и тонических реакций нейронов, наблюдаемые в нейрофизиологических исследованиях на всех отделах слухового пути [10].
Большая серия психоакустических экспериментов была посвящена изучению слуховой обработки спектральной огибающей речеподобных звуков (гласных) и организации их фонемной интерпретации. В результате были установлены новые данные о восприятии формант и формантных переходов, принципах категоризации гласных, феномене спектрального центра тяжести и его механизмах, а также о закономерностях накопления информации о спектральной огибающей при распознавании гласных. Результаты этих работ до 1976 г. были опубликованы в монографии [11]. Работа [12] содержит обзор более поздних данных, в основном, о слуховой обработке спектральных свойств речевых сигналов.
Основной проблемой, которая выделялась в работах лабораторий Людмилы Андреевны и Валерия Александровича на протяжении почти всего периода, была проблема динамики речи [11, 12, 13]. Этот факт особо подчёркнут в недавно опубликованных материалах международной конференции по теме «Динамика речи и слуха», посвящённой памяти Л.А. Чистович [14].
Необходимо отметить также значительное влияние пионерских идей «Ленинградской школы» [14] на исследовательские проекты, выполняемые зарубежными специалистами. В качестве примеров такого влияния выступают следующие работы. Гипотеза о принципе последовательно-параллельного программирования артикуляторного процесса [15] была проверена экспериментально и развита в работе [16]. Метод быстрого повторения (быстрая имитация) речевых звуков, разработанный Л.А. Чистович в 60-х годах [17], был использован Марслен-Вильсоном (по его собственному признанию) при разработке «теории когорт» [18]. Гипотеза о принципе слуховой обработки как параллельного детектирования акустических событий стимулировала нейрофизиологические исследования в [19], а также попытки моделирования этого процесса [20]. Работы [21, 22] представляют примеры изучения роли, выполняемой феноменом кратковременной периферической адаптации в восприятии речи, который исследовался Чистович психоакустическими методами в начале 70-х годов [23]. Заметный отклик среди зарубежных специалистов вызвали результаты работ по исследованию эффекта спектрального центра тяжести, устанавливающие частотную область (примерно 3.5 Барк) его проявления [11, 24, 25, 26]. Эта тема была развита в дальнейшем в серии работ, изучающих проявление эффекта центра тяжести в динамике [27, 28].
После ухода Людмилы Андреевны из Института физиологии её коллеги по лаборатории в течение ряда лет продолжали экспериментальные исследования в прежнем направлении. Одним из примеров этому может служить работа [29]. В последние годы научная работа коллектива приобрела более прикладную направленность, связанную с исследованиями особенностей восприятия речи детьми со слуховыми и речевыми нарушениями [30, 31]. Однако сотрудники лаборатории сохраняют традиционный подход и стиль работы, выработанные Л.А. Чистович и В.А. Кожевниковым. Это находит отражение и в идеологии современных исследований слухоречевого восприятия у глухих людей после операции кохлеарной имплантации (электродное протезирование слуха), и в разработке системы направленного тренинга для их реабилитации, проводимой совместно со специалистами Научно-исследовательского института уха, горла, носа и речи МЗСР РФ в Санкт-Петербурге [32].
Литература
1. ЧистовичЛА. Временные характеристики слуха // Автореферат диссертации доктора биол. наук. Ин-т физиологии им. Павлова АН СССР. 1958.
2. Чистович ЛА. Частотные характеристики эффекта маскировки // Биофизика. 1957. Т. 2. № 6. С. 743-755.
91
/м? .
т.
Труды сессии научного совета РАН по акусимке и XXII сессии РАН
92
3. Лян Чжи-ань и Чистович Л.А. Дифференциальные пороги по частоте в зависимости от длительности тональных посылок // Акустический журнал СССР. 1960. Т. 6. № 1. С. 81-86.
4. Чистович Л.А. Психоакустика и вопросы теории восприятия речи // Распознавание слуховых образов. Новосибирск: Наука, 1970. С. 55-141.
5. Chistovich, L A. Auditory processing of speech. // Language and Speech. 1980. P. 23. P. 67-73.
6. Бороздин А.Н.,Кожевников ВА, Головешкин В.Т., Шупляков В.С. Особенности изображения речевых сигналов моделью спектрального слухового анализа // Физиологический журнал СССР. 1980. Т. 66. № 1. С. 125-131.
7. Венцов А.В, Зотова Е.Н., Столярова Э.И. Программный комплекс для исследования речевых сигналов // Тез. докл. Всесоюзного семинара АРСО-15. Таллин, 1989. С. 188-189.
8. Кожевников В.А., Столярова Э.И. Особенности реакций на речевые сигналы модели слухового выделения амплитудных неравномерностей // Физиологический журнал СССР, 1980. Т. 66, № 1, С. 132-138.
9. Stoliarova E.I. The functional model of auditory segmentation //Proceedings of the Xllth ICPhS. Eix-en-Provence, 1991, V. 3. P. 398-401.
10. Кожевников В.А., ЧистовичЛА. О природе слуховых признаков речевого сигнала // Акустический журнал. 1978. Т. 24. № 1. С. 152-153.
11. Чистович ЛА, Венцов А.В., Гоанстрем М.П., Жуков С.Я., Жукова М.Г., Карницкая Э.Г., Лисенко Д.М., Люблинская В.В., Мушников В.Н., Слепокуро-ва Н.А., Федорова НА, Хаавель РХ, Чистович ИА, Шупляков В.С.:Физиология речи. Восприятие речи человеком. Руководство по физиологии. Л.: Наука. 1976. 388 с.
12. Chistovich, L.A. Central auditory processing of peripheral vowel spectra // J. Acoust. Soc. Am. 1985. V. 77. P. 789-805.
13. Chistovich, L A., Lubliskaya V. V, Malinnikova T.G., Ogorodnikova EA, Stoljarova E.I., Zhukov SJa. Temporal processing of peripheral auditory patterns of speech. // The Representation of Speech in the Peripheral Auditory system. / Eds: R. Carlson and B. Grandsrom. Amsterdam: Elsevier Biomedical Press, 1982. P. 165-180.
14. Divenyi, P., Greenberg, S., Meyer, G. (Eds). Dynamics of Speech Production and Perception. 2006. IOS Press. 369 р.
15. Chistovich, L.A., Кожевников ВА, Алякринский В.В., БондаркоЛ.В., Голу-зина АГ, Клаас Ю.А., Кузьмин Ю.И., Лисенко Д.М., Люблинская В.В., Федорова НА, Шупляков В.С., Шуплякова Р.М. Речь. Артикуляция и восприятие. М.-Л.: Наука, 1965.241 с.
16. Ohala, J.J. The temporal regulation of speech / Auditory Analysis and Perception of Speech. G. Fant and M.A.A. Tatham, (Eds.), 1975. Academic Press. P. 431-464.
17. ЧистовичЛ.А., КлаасЮА, Кузьмин Ю.И. Текущее распознавание звука речи. (Опыты с быстрым повторением и буквенной записью согласных) // Вопросы психологии. 1962. Т. 6. С. 26-39.
18. Marslen-Wilson, W.D. Speech shadowing and speech comprehension. // Speech Communication, 1985. V. 4. P. 55-74.
19. Delgutte, B, Hammond, B.M., Kalluri, S K, Litvak, L.M., and Cariani, PA. Neural encoding of temporal envelope and temporal interactions in speech. // Proc. ESCA Workshop the Auditory Basis of Speech Perception, Keele University, UK, 1996. supplement.
20. Schwartz, J.L., Beautemps, D., Arrouas, Y., andEscudier, P. Auditory analysis of speech gestures. // The Auditory Processing of Speech. M. E. H. Schouten, ed. Mouton de Gruyter, Berlin, New York. 1992. P. 239-252.
21. Lacerda F. Effects of peripheral auditory adaptation on the discrimination of speech sounds. // PERILUS VI, 1987. P. 1-94.
22. Repp, B.H. On the possible role of auditory short-term adaptation in perception of the prevocalic m-n contrast. // J. Acoust. Soc. Am. 1987. V. 82. P. 1525-1538.
23. Chistovich, LA. Auditory processing of speech stimuli — evidences from psychoacoustics and neurophysiology. // Proceed. of the Seventh Intern. Congress on Acoustics. Budapest. 1971. V. 1. P. 27-42.
24. Chistovich LA, Lublinskaja V. V. .The 'Center of gravity' effect in vowel spectra and critical distance between the formants: psychoacoustical study of the perception of vowel-like stimuli. // Hearing Research. 1979. V. 1. P. 185-195.
25. Chistovich LA, Sheikin R.L., Lublinskaya V.V. 'Centres of gravity' and spectral peaks as the determinants of vowel quality. // Frontiers of Speech Communication Research. / Eds: B. Lindblom and S. Ohman. London, N.Y., San Francisco, 1979. P. 143-157.
26. Xu Q, JacewiczE., Feth L.L., KrishnamurthyA.K. Bandwidth of spectral resolution for two-formant synthetic vowels and two- tone complex signals. // J. Acoust. Soc. Am., 2004. V. 115. P.1653-1664.
27. Lublinskaja, V.V. The "center of gravity" effect in dynamics,". // Proc. ESCA Workshop on the Auditory Basis of Speech Perception, Eds: W. Ainsworth and S. Greenberg, Keele University, UK. 1996. P. 102-105.
28. Feth, L.L., Fox, R A, Jacewicz, E., and Lyer, N. Dynamic center-of-gravity effects in consonant-vowel transitions. // Dynamics Of Speech Production And Perception. Eds: P.Divenyi and G. Meyer. Amsterdam, NATO ASI Series, IOP Press. 2006. P. 103-111.
29. Lublinskaya V.V, Ross J., Ogorodnikova EA. The auditory perception and processing of amplitude modulation in speech-like signals: Legacy of the Chistovich-Kozhevnikov grouP. // Dynamics of Speech Production and Perception. Eds: P.Divenyi and G. Meyer. Amsterdam, NATO ASI Series, IOP Press. 2006. P.87-103.
30. Lublinskaja V.V., Koroleva I.V., Kornev A.N., and Lagunova E.V. Perception of noised words by normal children and children with speech and language impairments. // Proc. 5th European Conference on Speech Communication and Technology (EuroSpeech '97), 1997. V. 5. P. 2491-2494.
31. Люблинская В.В., Королева И.В., Огородникова ЕА., Пак С.П., Столярова Э.И. Восприятие высоты голоса и мелодики речевых сигналов глухими людьми с кохлеарными имплантами. // Роа оторинолар., 2007, № 4. С. 3-13.
32. Ogorodnikova E.A., Koroleva I.V., Lublinskaja V.V, Pak S.P., Stoljarova E.I., Baljakova AA. Computer in rehabilitation of patients with cochlear implants. // Proc. of 13-th International Conference «Speech and Computer — SPECOM'2009». SPb: SPIIRAS, 2009 (ISBN 978-58088-0442-5). P. 483-486.
Сведения об авторах
Люблинская Валентина Владимировна —
кандидат биологических наук. Ведущий научный сотрудник лаборатории психофизиологии речи Института физиологии им. И.П. Павлова РАН, Санкт-Петербург. Базовое образование — инженер-электроакустик, окончила Ленинградский электротехнический институт в 1959 г.
93
тт ] Щ ■ifPf ш Труды сессии научного совета РАН по акусимке и XXII сессии РАН
94 С 1961 г. работает в Институте физиологии им. И.П. Павлова в лаборатории физиологии речи (в настоящее время — лаборатория психофизиологии речи). До 1986 г. работала под руководством проф. ЛА. Чистович, с 1986 по 2006 г. руководила сектором исследования речевых сигналов. Основной научный интерес — закономерности слухового восприятия речевых сигналов человеком. Автор более 150 печатных научных работ на русском и английском языках. Огородникова Елена Александровна — кандидат биологических наук. Работает в Институте физиологии им. И.П. Павлова РАН с 1977 г. С 1977 по 1981 г. работала в лаборатории биофизики речи под руководством ВА. Кожевникова, 1981 по 1986 г. — в лаборатории физиологии речи под руководством Л.А. Чистович. С 2006 г. является руководителем лаборатории психофизиологии речи. Институт физиологии им. И.П. Павлова РАН. Россия, 199034, Санкт-Петербург, наб. Макарова, д.6. Тел. (812) 328 13-01; факс: (812) 328 05 01. E-mail: speech.inf@gmail.com
