CC BY
2
УДК 519. 6
doi: 10.21685/2307-5538-2024-3-14
МЕТОДОЛОГИЧЕСКИЙ ПОДХОД ПОВЫШЕНИЯ РЕЗУЛЬТАТИВНОСТИ ПРОЦЕССА РЕАБИЛИТАЦИИ НА ОСНОВЕ АНАЛИЗА ПОТОКОВЫХ РЕЧЕВЫХ ДАННЫХ
А. Н. Тычкова1, А. К. Алимурадов2
1 2 Пензенский государственный университет, Пенза, Россия 1 [email protected], 2 [email protected]
Аннотация. Актуальность и цели. Оперативная и эффективная реабилитация людей с умственной отсталостью посредством обработки и анализа потоковых речевых данных имеет важное значение для своевременного реагирования систем поддержки принятия врачебных решений, направленных на улучшение состояния человека с ограниченными возможностями здоровья. Целью данной работы является представление оригинального методологического подхода, обеспечивающего повышение эффективности и оперативности оценки процесса реабилитации людей с умственной отсталостью посредством анализа информативных параметров речевых сигналов в условиях аудиовизуального стимулирования. Материалы и методы. Для достижения поставленных целей в работе использованы математические и статистические методы обработки и обнаружения амплитудных, частотных и временных параметров речевых сигналов, программирование и математическое моделирование. Результаты. Разработана схема формирования информационной подсистемы регистрации речевых сигналов у человека с умственной отсталостью, которая включает различные этапы обработки и анализа речевых сигналов с целью формирования набора информативных значимых параметров. Выводы. Представлен и обоснован методологический подход повышения эффективности процесса реабилитации за счет применения оригинальных алгоритмов и программ обнаружения и сравнения значимых параметров речевых сигналов до и после процесса реабилитации и корректировки процесса посредством отрицательной обратной связи.
Ключевые слова: речевой сигнал, система принятия врачебных решений, база данных, значимые параметры, чувствительность и специфичность
Финансирование: работа выполнена в рамках проекта № FSGE-2023-0006 «Социально-средовая, социально-педагогическая и социально-психологическая реабилитация детей-инвалидов с психическими расстройствами и расстройствами поведения», за счет средств федерального бюджета.
Для цитирования: Тычкова А. Н., Алимурадов А. К. Методологический подход повышения результативности процесса реабилитации на основе анализа потоковых речевых данных // Измерение. Мониторинг. Управление. Контроль. 2024. № 3. С. 119-124. doi: 10.21685/2307-5538-2024-3-14
METHODOLOGICAL APPROACH TO IMPROVING THE EFFECTIVENESS OF THE REHABILITATION PROCESS BASED ON THE ANALYSIS OF STREAMING SPEECH DATA
A.N. Tychkova1, A.K. Alimuradov2
1 2 Penza State University, Penza, Russia 1 [email protected], 2 [email protected]
Abstract. Background. Prompt and effective rehabilitation of people with mental retardation through processing and analysis of streaming speech data is important for the timely response of medical decision support systems aimed at improving the condition of a person with disabilities. The purpose of this work is to present an original methodological approach that ensures increased efficiency and efficiency of assessing the rehabilitation process of people with mental retardation through the analysis of informative parameters of speech signals under audiovisual stimulation. Materials and methods. To achieve the stated goals, the work uses mathematical and statistical methods for processing and detecting amplitude, frequency and time parameters of speech signals, programming and mathematical modeling. Results. A scheme has been developed for forming an information subsystem for recording speech signals in a person with mental
© Тычкова А. Н., Алимурадов А. К., 2024. Контент доступен по лицензии Creative Commons Attribution 4.0 License / This work is licensed under a Creative Commons Attribution 4.0 License.
retardation, which includes various stages of processing and analyzing speech signals in order to form a set of informative significant parameters. Conclusions. A methodological approach to increasing the efficiency of the rehabilitation process through the use of original algorithms and programs for detecting and comparing significant parameters of speech signals before and after the rehabilitation process and adjusting the process through negative feedback is presented and substantiated.
Keywords: speech signal, medical decision making system, database, significant parameters, sensitivity and specificity
Financing: the work was carried out within the framework of the FSGE-2023-0006 project "Socio-environmental, socio-pedagogical and socio-psychological rehabilitation of disabled children with mental disorders and behavioral disorders", at the expense of the federal budget.
For citation: Tychkova A.N., Alimuradov A.K. Methodological approach to improving the effectiveness of the rehabilitation process based on the analysis of streaming speech data. Izmerenie. Monitoring. Upravlenie. Kontrol' = Measuring. Monitoring. Management. Control. 2024;(3):119-124. (In Russ.). doi: 10.21685/2307-5538-2024-3-14
Введение
По различным статистическим данным министерств и ведомств как в России, так и за рубежом около 10 % рожденных детей имеют ограниченные возможности здоровья, среди которых около 2-3 % имеют диагноз умственная отсталость. В России уход, диагностика и реабилитация за данной категорией детей контролируются соответствующими стандартами. Данные стандарты имеют определенные ограничения, не позволяющие в широком смысле внедрять современные технологии на стыке медицины, приборостроения и информационных технологий. Однако в России и мире известны определенные научные школы и коллективы, которые активно изучают вопросы поведения детей с умственной отсталостью и возможности внедрения новых инженерных решений с целью реабилитации [1, 2].
Для повышения эффективности процесса реабилитации известны различные методы психоэмоционального стимулирования в качестве инструментов реабилитации [3, 4]: когнитивно-поведенческая терапия, межличностная терапия, диалектическая поведенческая терапия, физические упражнения, электромагнитная стимуляция и аудиовизуальная стимуляция. В свою очередь методы и средства аудиовизуальной стимуляции включают: акустическую стимуляцию (цифровая музыка, звуки), олфакторную стимуляцию (запахи), тактильную стимуляцию (интерактивные игры, инструментальная музыка, температурные изменения), визуальную стимуляцию (цвет, свет, изображение), художественную стимуляцию (рисование, лепка), виртуальную и дополненную реальность. Выявлено, что метод аудиовизуальной терапии является самым перспективным, востребованным и широко распространенным среди неврологов и психологов.
Согласно информации из открытых источников литературы [5, 6], известны определенные методы и средства инструментальной диагностики умственной отсталости. Среди всего многообразия методов диагностика речевого развития является наиболее оперативным и простым для принятия решения врачом [7]. Следует отметить, что среди различных методов диагностики по уровню речевого развития анализ параметров речевых сигналов у детей с умственной отсталость является малоизученным и перспективным направлением исследования. Несмотря на огромный научный задел в области цифровой обработки речевых сигналов для различных целей и назначения, анализ речевых сигналов у говорящих детей с умственной отсталостью в настоящей работе выполнен впервые. Целью настоящей работы является представление нового методологического подхода, направленного на повышение эффективности и оперативности оценки процесса реабилитации детей с умственной отсталостью посредством анализа информативных параметров речевых сигналов.
Основной раздел
Речевой сигнал - слабо структурированный и нестационарный сигнал сложной формы, который невозможно описать четкой аналитической функцией в различных временных, частотных и энергетических формах представления. Для формирования речи используются различные органы речевого аппарата. Однако у большинства детей с умственной отсталостью отмечаются определенные физиологические особенности формирования речи, например, замедленное развитие речи, ограниченный словарный запас, нарушения звукопроизношения, нарушения грамматики, нарушения связной речи и ряд других изменений [8]. Следует также отметить, что в данной работе исследуются такие просодические компоненты, как темп, ритм, интонация, голос.
Measuring. Monitoring. Management. Control. 2024;(3) i ..................................................................................................í
На рис. 1 приведен методологический подход повышения эффективности процесса реабилитации за счет применения оригинальных алгоритмов и программ обнаружения и сравнения значимых параметров речевых сигналов до и после процесса реабилитации и корректировки процесса посредством отрицательной обратной связи. Методологический подход включает в себя следующие основные этапы: регистрацию речевого сигнала до и после аудиовизуального стимулирования, базы данных речевых сигналов и пороговых значений значимых параметров, блок обработки речевых сигналов, блоки обнаружения и сравнения значимых параметров, блок результатов сравнении значимых параметров и принятия решения, блок корректировки аудиовизуального стимулирования. Применение такого подхода в качестве дополнительного источника информации в системе принятия врачебных решений позволит улучшить качество жизни говорящих детей с умственной отсталостью.
Рис. 1. Методологический подход повышения эффективности процесса реабилитации
Для реализации методологии разработана схема формирования информационной подсистемы регистрации речевых сигналов у детей с умственной отсталостью (рис. 2), которая включает различные этапы обработки и анализа речевых сигналов с целью формирования набора информативных значимых параметров.
Рис. 2. Схема формирования информационной подсистемы регистрации речевых сигналов
Схема формирования информационной подсистемы регистрации речевых сигналов включает в себя следующие этапы: блоки регистрации речевых сигналов до и после аудиовизуального стимулирования, блок аудиовизуального стимулирования, микрофон и диктофон, база
данных речевых сигналов, блоки обработки, обнаружения и хранения значимых параметров речевых сигналов. В свою очередь, блок обработки речевых сигналов включает в себя блок предварительной обработки, сегментации и выделения информативных параметров исследуемых сигналов. Для реализации данного блока обработки используются современные математические и статистические методы, подходы, алгоритмы и программы цифровой обработки нелинейных и нестационарных сигналов, каким и является речевой сигнал.
В соответствии с результатами собственных исследований [9], а также обзора источников литературы [10, 11] сформирован оптимальный набор информативных параметров речевых сигналов для темпа, ритма, интонации и речи испытуемого.
Известно значительное число параметров речевых сигналов, характеризующих речь в различных амплитудных, временных и частотных представлениях. В настоящей работе исследованы 15 информативных параметров, среди которых только семь параметров показали наилучшие результаты, отражающие динамические характеристик речевых сигналов в период реабилитации с использованием различных аудиовизуальных средств стимулирования, такие как:
1) скорость речи;
2) ускорение речи;
3) энтропия распределения временных интервалов тональных, нетональных участков и участков пауз;
4) стандартное отклонение контура ЧОТ;
5) энергия;
6) среднее значение амплитуды;
7) стандартное отклонение контура амплитуды.
Для оценки результатов исследования использовались понятия чувствительности и специфичности, которые были рассчитаны для 15 и 7 значимых параметров соответственно.
Расчет чувствительности осуществлялся согласно следующей формуле:
Бв = ■
ТР
ТР - РЫ
-100 %.
где ТР - истинные положительные результаты; РР - ложные положительные результаты; РЫ - ложные отрицательные результаты; ТЫ - истинные отрицательные результаты.
На рис. 3 приведены графические результаты расчетов чувствительности и специфичности для исследованных информативных параметров речевых сигналов. Показано, что предложенная методология обнаружения значимых параметров речевых сигналов обеспечивает чувствительность и специфичность параметров темпа 96 и 92 % соответственно, ритма 93 и 90 %, речи 82 и 89 %, интонации 85 и 91 %, что может быть использовано врачом или специалистом на этапе оценки процесса реабилитации детей с умственной отсталостью в системе принятия врачебных решений.
а)
б)
Рис. 3. Графические результаты расчетов: а - чувствительности информативных параметров речевых сигналов; б - специфичности информативных параметров речевых сигналов
Заключение
Разработан методологический подход повышения эффективности оценки процесса реабилитации с использованием аудиовизуальных средств стимулирования за счет применения оригинальных алгоритмов и программ обнаружения и сравнения значимых параметров речевых сигналов до и после процесса реабилитации и отрицательной обратной связи как дополнительного источника информации в системе принятия врачебных решений для улучшения качества жизни детей (говорящих) с умственной отсталостью.
Список литературы
1. Озерецкий Н. И. Психопатология детского возраста : пособие для высших пед. учеб. заведений. Изд. 2-е, доп. и перераб. Л. : Учпедгиз, 1938. 328 с.
2. Гуревич М. О., Серейский М. Я. Учебник психиатрии. Перераб. 4-е изд. М.-Л. : Медгиз, 1940. 316 с.
3. Емалетдинов Б. М. «Психические расстройства» или «психические нарушения» // Вестник Башкирского университета. 2020. Т. 25, № 3. С. 681-687.
4. Корень Е. В. Психосоциальная реабилитация детей и подростков с психическими расстройствами в современных условиях // Социальная и клиническая психиатрия. 2008. № 4. C. 5-14.
5. Первова И. Л., Келасьев В. Н. Социальная реабилитация инвалидов с тяжелыми и множественными нарушениями развития // Ученые записки СПбГИПСР. 2020. Вып. 2, Т. 34. С. 76-81.
6. Реабилитация инвалидов / под ред. Г. Н. Пономаренко. М. : ГЭОТАР-Медиа, 2018. 736 с.
7. Тычкова А. Н., Агейкин А. В., Алимурадов А. К. [и др.]. Анализ и оценка сигнальных систем диагностики пограничных психических расстройств // Биотехносфера. 2017. № 1 (49). С. 35-39.
8. Saha G., Chakroborty S., Senapat S. A new silence removal and endpoint detection algorithm for speech and speaker recognition applications // Eleventh National Conference on Communications (NCC-2005) (Jan. 28-30, 2005). Kharagpur, India, 2005. P. 51-61.
9. Алимурадов А. К., Тычков А. Ю. Повышение эффективности обнаружения психических расстройств на основе адаптивной декомпозиции и кепстрального анализа речевых сигналов // Физика и радиоэлектроника в медицине и экологии (ФРЭМЭ'2018). 2018. Кн. 1. С. 405-409.
10. Schuller B. Towards intuitive speech interaction by the integration of emotional aspects // IEEE International Conference on Systems, Man and Cybernetics. 2002. Vol. 6. P. 6.
11. Алдошина И. А. Связь акустических параметров с эмоциональной выразительностью речи и пения // Звукорежиссер. 2003. № 2. С. 34-46.
References
1. Ozeretskiy N.I. Psikhopatologiya detskogo vozrasta: posobie dlya vysshikh ped. ucheb. zavedeniy. Izd. 2-e, dop. i pererab. = Psychopathology of childhood: a manual for higher educational institutions. institutions. 2nd edition, add. and rev. Leningrad: Uchpedgiz, 1938:328. (In Russ.)
2. Gurevich M.O., Sereyskiy M.Ya. Uchebnikpsikhiatrii. Pererab. 4-e izd. = Textbook of psychiatry. Pererab. 4th ed. . Moscow-Leningrad: Medgiz, 1940:316. (In Russ.)
3. Emaletdinov B.M. "Mental disorders" or "mental disorders". Vestnik Bashkirskogo universiteta = Bulletin of Bashkir University. 2020;25(3):681-687. (In Russ.)
4. Koren' E.V. Psychosocial rehabilitation of children and adolescents with mental disorders in modern conditions. Sotsial'naya i klinicheskaya psikhiatriya = Social and clinical psychiatry. 2008;(4):5-14. (In Russ.)
5. Pervova I.L., Kelas'ev V.N. Social rehabilitation of the disabled with severe and multiple developmental disorders. Uchenye zapiski SPbGIPSR = Scientific notes of the SPbGIPSR. 2020;34(2):76-81. (In Russ.)
6. Ponomarenko G.N. (ed.). Reabilitatsiya invalidov = Rehabilitation of the disabled. Moscow: GEOTAR-Media, 2018:736. (In Russ.)
7. Tychkova A.N., Ageykin A.V., Alimuradov A.K. et al. Analysis and evaluation of signaling systems for the diagnosis of borderline mental disorders. Biotekhnosfera = Biotechnosphere. 2017;(1):35-39. (In Russ.)
8. Saha G., Chakroborty S., Senapat S. A new silence removal and endpoint detection algorithm for speech and speaker recognition applications. Eleventh National Conference on Communications (NCC-2005) (Jan. 28-30, 2005). Kharagpur, India, 2005:51-61.
9. Alimuradov A.K., Tychkov A.Yu. Improving the effectiveness of detecting mental disorders based on adaptive decomposition and cepstral analysis of speech signals. Fizika i radioelektronika v meditsine i ekologii (FREME'2018) = Physics and radioelectronics in medicine and ecology (FRAME'2018). 2018;(bk. 1):405-409. (In Russ.)
10. Schuller B. Towards intuitive speech interaction by the integration of emotional aspects. IEEE International Conference on Systems, Man and Cybernetics. 2002;6:6.
11. Aldoshina I. A. The connection of acoustic parameters with the emotional expressiveness of speech and singing. Zvukorezhisser = Sound engineer. 2003;(2):34-46. (In Russ.)
Информация об авторах/Information about the authors
Анна Николаевна Тычкова
начальник отдела координации научных мероприятий, Пензенский государственный университет (Россия, г. Пенза, ул. Красная, 40) E-mail: [email protected]
Алан Казанферович Алимурадов
доктор технических наук, доцент, профессор кафедры радиотехники и радиоэлектронных систем, Пензенский государственный университет (Россия, г. Пенза, ул. Красная, 40) E-mail: [email protected]
Anna N. Tychkova
Head of scientific events coordination department,
Penza State University
(40 Krasnaya street, Penza, Russia)
Alan K. Alimuradov
Doctor of technical sciences, associate professor,
professor of the sub-department
of radio engineering and radioelectronic systems,
Penza State University
(40 Krasnaya street, Penza, Russia)
Авторы заявляют об отсутствии конфликта интересов / The authors declare no conflicts of interests.
Поступила в редакцию/Received 03.06.2024 Поступила после рецензирования/Revised 01.07.2024 Принята к публикации/Accepted 05.08.2024
