CC BY
31
Доклады БГУИР
Doklady BGUIR
2018, № 7 (117) 2018, No. 7 (117)
УДК 616-009.5; 004.934
АДАПТАЦИЯ МЕТОДОВ ЦИФРОВОЙ ОБРАБОТКИ СИГНАЛОВ К ЗАДАЧЕ АНАЛИЗА РЕЧИ ПРИ НЕВРОЛОГИЧЕСКИХ ПАТОЛОГИЯХ
Т.П. КУЛЬ1, ЮН. РУШКЕВИЧ2, С.А. ЛИХАЧЕВ2
1 Белорусский государственный университет информатики и радиоэлектроники, Республика Беларусь 2Республиканский научно-практический центр неврологии и нейрохирургии, Республика Беларусь
Поступила в редакцию 15 ноября 2018
Аннотация. Предложено методическое и программное обеспечение для анализа речевых сигналов при неврологических патологиях, в частности, бульбарных нарушениях. В основе подхода - методы цифровой обработки сигналов, адаптированные к задаче анализа речи в клинической медицине. Результат представляет собой программу, разработанную в среде MatLab, выполняющую расчет и построение спектрограммы, гистограммы, кепстрограммы, частоты основного тона для записанных речевых тестов. Апробация разработанного авторами метода, выполненная на базе РНПЦ неврологии и нейрохирургии Министерства здравоохранения Республики Беларусь, показала перспективность его использования для диагностики бульбарного синдрома.
Ключевые слова: цифровая обработка сигналов, речевой сигнал, неврология, бульбарный синдром, речевые нарушения.
Abstract. The methodical and software for the speech signal analysis at neurological pathologies, in particular, bulbar violations, has been offered. The approach is based on the digital signal processing methods adapted to the problem of speech analysis in clinical medicine. The result is a program developed in MatLab that performs the calculating and plotting spectrogram, histogram, kepstrogramm, frequencies of the main tone for the recorded speech tests. Approbation of the method was performed on the basis of Republican research and clinical center of neurology and neurosurgery and showed the prospects of its use for the diagnosis of bulbar syndrome.
Keywords: digital signal processing, speech signal, neurology, bulbar syndrome, speech disorders.
Doklady BGUIR. 2018, Vol. 117, ]Чо. 7, pp. 128-132 Adaptation of digital signal processing methods to the analysis of speech in neurological pathologies T.P. Kul, Y.N. Rushkevich, S.A. Lihachev
Введение
В настоящее время для реализации задачи быстрой и эффективной дифференциальной диагностики в медицинскую практику активно внедряются методы цифровой обработки биомедицинских сигналов. Однако многообразие методов цифровой обработки сигналов, существующие особенности использования каждого из них, а также сложность интерпретации получаемых данных требуют адаптации такого эффективного инструмента к конкретному виду биомедицинских сигналов. Кроме того, необходимо учитывать специфику решаемой задачи, в частности, особенности изменений биомедицинских сигналов при конкретных заболеваниях и патологических процессах.
Применительно к речевым сигналам методы цифровой обработки традиционно решают задачи анализа, распознавания, синтеза и сжатия речи. Разработанные c применением информационных технологий системы широко используются как эффективный инструмент
диагностики и коррекции речевых нарушений детей младшего возраста [1]. Но существующие инструменты не позволяют диагностировать неврологические патологии, сопровождающиеся нарушениями речевой функции. Решение данной проблемы требует дополнительных исследований механизмов речевых расстройств и адаптации методов цифровой обработки сигналов для анализа речи в норме и при конкретных неврологических нарушениях.
Речевые нарушения неврологического характера клинически проявляются потерей внятности, смазанностью, замедленностью, монотонностью, скудностью речевой функции на фоне дисфонии и сопутствующих расстройств глотания. Различные нарушения произношения объединяют под общим понятием «дизартрия». В неврологии выделяют бульбарную дизартрию, обусловленную поражением черепно-мозговых нервов бульбарной группы. Болезни подвержены лица любого возраста: от новорожденных до глубоко пожилых людей. У взрослых бульбарная дизартрия наиболее часто возникает после перенесенного инсульта, тяжелой черепно-мозговой травмы, в детском возрасте - вследствие нейроинфекций, травм, церебральных опухолей. Прогрессирующие бульбарные нарушения способны привести к серьезным отклонениям дыхательной и сердечной деятельности, в особо тяжелых случаях -к смерти пациента [2].
Бульбарная дизартрия диагностируется по данным всестороннего неврологического обследования: для выявления причины патологии проводится ряд исследований, что существенно осложняет постановку диагноза [3]. Для анализа речевых сигналов при бульбарной дизартрии авторы разработали методику и специальные программные средства. В основе подхода - методы цифровой обработки сигналов, адаптированные к задаче анализа речи в клинической медицине.
Основная часть
Для идентификации патологических изменений речи выполнялись речевые тесты (счет от одного до десяти, произношение слов, нот, длительного звука «и»). Регистрация речевых сигналов производилась посредством разработанного авторами под платформу Android мобильного приложения, которое реализует функции воспроизведения испытуемому видеоряда с речевыми тестами и одновременной регистрации данных с микрофона посредством Bluetooth-интерфейса. Мобильное приложение автоматически сохраняет записанные речевые сигналы в формате .wav [4].
Для последующей обработки зарегистрированных речевых сигналов авторами в среде MatLab разработана программа с графическим интерфейсом (рис. 1).
Рис. 1. Внешний вид окна программного обеспечения для обработки речевых сигналов
Программа позволяет автоматически выделить интересующий речевой тест из общей записи с последующей его обработкой. Графические результаты обработки включают: изменение амплитуды речевого сигнала во времени с отображением распознанных речевых фрагментов, изменение амплитудно-частотных характеристик сигнала во времени (спектрограмма), частоту основного тона для распознанных речевых фрагментов, гистограмму речи, кепстрограммы для распознавания речевых фрагментов. Количественные результаты обработки включают: число распознанных речевых фрагментов, общее время речевых фрагментов, среднюю амплитуду речи, коэффициент вариации основного тона, коэффициент ассиметрии гистограммы, коэффициент эксцесса гистограммы.
Апробация разработанного методического и программного обеспечения выполнена в группе здоровых лиц (36 человек), а также в группе пациентов с бульбарным синдромом (24 человека, находящиеся на лечении в РНПЦ неврологии и нейрохирургии).
Для выделения из речевого сигнала голосовых и неголосовых участков исходный сигнал разделялся на фрагменты длиной 45,4 мс. При превышении энергией фрагмента порогового значения принималось решение о принадлежности данного фрагмента к речи. Подобным образом выполнялось выделение слов и/или отдельных фонем в сигнале.
График речевого сигнала (рис. 2) демонстрирует изменение амплитуды речевого сигнала во времени. В норме речевые сигналы имеют высокую амплитуду (рис. 2, а), при патологии речевые сигналы демонстрируют слабую амплитуду (рис. 2, б). Амплитуды в норме и при патологии различаются более чем в 1,5 раза.
5 4 5
бре из. сек
а б
Рис. 2. График речевого сигнала в норме (а) и при патологии (б) (тест на основе произношения односложных слов)
Спектрограмма (рис. 3) показывает изменение амплитудно-частотных характеристик сигнала во времени. На спектрограмме амплитуда сигнала показана цветом: увеличение амплитуды сигнала соответствует изменению цвета от темно-синего (-80 dB) до красного (20 dB); в черно-белом варианте - от светло-серого до черного соответственно. В норме речевые фонемы четко различимы, имеют высокочастотные составляющие (рис. 3, а). При патологии речевые фонемы на спектрограмме смазаны, не имеют четкого очертания, представлены низкочастотными составляющими (рис. 3, б).
а б
Рис. 3. Спектрограмма речевого сигнала в норме (а) и при патологии (б) (тест на основе произношения односложных слов)
Частота основного тона определяется как частота вибрации голосовых связок. При патологии в процессе произнесения звука частота основного тона меняется, что хорошо видно на графике (рис. 4, б). В норме значения частоты основного тона различаются незначительно - в пределах 10-15 Гц (рис. 4, а).
Для оценки статистического распределения отсчетов сигнала выполнялось построение гистограммы для массива всех речевых фрагментов. Гистограмма речи (рис. 5) оценивает
функцию плотности вероятности отсчетов речевого сигнала, наглядно показывает различия и симметричность распределения исследуемых значений. Распределение является симметричным, если среднее значение и максимум гистограммы соответствуют середине разбега данных. Такая форма свидетельствует о стабильности речевой функции и соответствует норме (рис. 5, а). Несимметричная форма гистограммы возникает, когда среднее значение гистограммы располагается либо правее, либо левее середины разбега данных. Такая форма образуется, когда крайнее значение невозможно достигнуть из-за наличия асимметрии распределения, что в данном случае указывает на наличие речевых отклонений (рис. 5, б).
а б
Рис. 4. Частота основного тона в норме (а) и при патологии (б) (тест на основе произношения односложных слов)
а б
Рис. 5. Гистограмма речи в норме (а) и при патологии (б) (тест на основе произношения односложных слов)
Кепстрограммы для распознавания речевых фрагментов (рис. 6) отражают зависимость спектральной плотности мощности сигнала от времени. Принципиально отличается характер кепстрограммы в норме и при патологии: пиковые значения в норме сконцентрированы в начальном периоде сигнала (от 0 до 50) (рис. 6, а), при наличии речевых отклонений - в более длительном периоде сигнала (от 0 до 320) (рис. 6, б).
а б
Рис. 6. Кепстрограммы для распознавания речевых фрагментов в норме (а) и при патологии (б) (тест на основе произношения односложных слов)
Заключение
Предложено методическое и программное обеспечение для анализа речевых сигналов при неврологических патологиях, в частности, бульбарных нарушениях. В основе подхода -методы цифровой обработки сигналов, адаптированные к задаче анализа речи в клинической медицине. Результат представляет собой программу, разработанную в среде MatLab, выполняющую расчет и построение спектрограммы, гистограммы, кепстрограммы, частоты основного тона для записанных речевых тестов. Апробация разработанного авторами метода,
выполненная на базе РНПЦ неврологии и нейрохирургии, показала перспективность его использования для диагностики бульбарного синдрома. Результаты апробации позволили выявить качественные (на основе полученных графиков спектрограмм, кепстрограмм, гистограмм) и количественные (на основе вычисленных параметров) различия между параметрами речевых сигналов в норме и при бульбарном синдроме.
Список литературы
1. Борисова В.В., Налбандян О.Г. Информационная система «речевые технологии» как эффективный инструмент диагностики и коррекции речевых нарушений детей младшего возраста // Сб. матер. Ежегодной междунар. науч.-практ. конф. «Воспитание и обучение детей младшего возраста». 2016. С. 125-127.
2. Завалишин И. А. Боковой амиотрофический склероз. М.: ГЭОТАР-Медиа, 2009. 272 с.
3. EFNS guidelines on the clinical management of amyotrophic lateral sclerosis (MALS)-revised report of an EFNS task force / P. Andersen [et al.] // Eur J. Neurol. 2012. Vol. 19 (3). P. 360-375.
4. Мобильное приложение для сбора диагностической информации посредством регистрации речевых сигналов / А.Н. Осипов [и др.] // Матер. IV Междунар. конф. «BIG DATA and Advanced Analytics». Минск, 2018.
References
1. Borisova V.V., Nalbandjan O.G. Informacionnaja sistema «rechevye tehnologii» kak jeffektivnyj instrument diagnostiki i korrekcii rechevyh narushenij detej mladshego vozrasta // Sb. mater. Ezhegodnoj mezhdunar. nauch.-prakt. konf. «Vospitanie i obuchenie detej mladshego vozrasta». 2016. S. 125-127. (in Russ.)
2. Zavalishin I.A. Bokovoj amiotroficheskij skleroz. M. : GJeOTAR-Media, 2009. 272 s. (in Russ.)
3. EFNS guidelines on the clinical management of amyotrophic lateral sclerosis (MALS)-revised report of an EFNS task force / P. Andersen [et al.] // Eur J. Neurol. 2012. Vol. 19 (3). P. 360-375.
4. Mobil'noe prilozhenie dlja sbora diagnosticheskoj informacii posredstvom registracii rechevyh signalov / A.N. Osipov [i dr.] // Mater. IV Mezhdunar. konf. «VIG DATA and Advanced Analytics». Minsk, 2018. (in Russ.)
Сведения об авторах Information about the authors
Куль Т.П., аспирант Белорусского государ- Kul T.P., PG student of Belarussian state university ственного университета информатики и радио- of informatics and radioelectronics. электроники.
Рушкевич Ю.Н., к.м.н., доцент, в.н.с. неврологического отдела РНПЦ неврологии и нейрохирургии.
Лихачев С.А., д.м.н., профессор, заведующий неврологическим отделом РНПЦ неврологии и нейрохирургии.
Rushkevich Y.N. PhD, leading researcher of the neurology department RSPC of neurology and neurosurgery.
Likhachev S.A, D.Sci, professor, head of neurological department of RSPC of neurology and neurosurgery.
Адрес для корреспонденции
220013, Республика Беларусь,
г. Минск, ул. П. Бровки, 6,
Белорусский государственный университет
информатики и радиоэлектроники
тел. +375-17-293-85-44;
e-mail: tatianakul81@tut.by
Куль Татьяна Петровна
Address for correspondence
220013, Republic of Belarus, Minsk, P. Brovki st., 6, Belarussian state university of informatics and radioelectronics tel. +375-17-293-85-44; e-mail: tatianakul81@tut.by Kul Tatiana Petrovna
