CC BY
0УДК 004.934.1
Бородатый В.В.
студент,
факультет автоматики и вычислительной техники Новосибирский государственный технический университет (г. Новосибирск, Россия)
АВАТАРНАЯ СИСТЕМА: ВИЗУАЛИЗАЦИЯ РЕЧИ ДЛЯ ГЛУХИХ ПОЛЬЗОВАТЕЛЕЙ
Аннотация: в данной статье представлена разработка системы аватарных технологий для глухих, предназначенной для улучшения коммуникации и визуализации речи. Система основана на интеграции алгоритмов распознавания речи с библиотекой анимаций, позволяя аватару анимировать слова, фразы и предложения с использованием жестов русской дактильной азбуки. Разработанное программное обеспечение предоставляет пользователю удобный интерфейс для взаимодействия с аватаром, включая возможность изменения скорости анимации, паузу и очистку текста.
Ключевые слова: аватарные технологии, глухие, распознавание речи, визуализация речи, дактильная азбука, коммуникация.
ВВЕДЕНИЕ.
Аватарные технологии представляют собой инновационный метод взаимодействия для глухих и слабослышащих людей, обеспечивая им доступ к информации и коммуникации. В современном мире, где цифровизация играет ключевую роль, обеспечение доступа к информации становится все более важным для включения всех членов общества.
В рамках работы был разработан и реализован проект аватарных технологий, направленный на улучшение коммуникации для глухих. Этот проект представляет собой комплексное решение, включающее в себя
использование современных технологий распознавания речи, виртуальных ассистентов и интерактивных пользовательских интерфейсов.
Целью данной работы является исследование и разработка инструментов, способствующих облегчению коммуникации для глухих людей. В процессе работы были изучены существующие технологии и разработаны собственные решения, а также проведены тестирования с целью оценки эффективности и удобства использования разработанных инструментов.
ОБЗОР ЛИТЕРАТУРЫ.
Интеграция методов обучения: Для создания анимаций жестов на основе видеоуроков использовались методы адаптации видеоматериалов. Исследования в области адаптации жестовых уроков из видео для глухих играют ключевую роль в разработке алгоритмов для анализа и интерпретации жестов [3].
Рис. 1. Видеоматериалы жестов для глухих.
Технологии распознавания речи: Исследования в области распознавания речи играют важную роль в разработке технологий для глухих. Системы распознавания речи, такие как Vosk и Google Speech-to-Text, предоставляют возможность преобразования аудиосигналов в текст, что может быть
использовано для автоматического перевода речи на язык жестов или текстовую форму [1].
Виртуальные ассистенты и аватары: Виртуальные ассистенты, такие как Siri, Alexa и Google Assistant, а также аватары, являются эффективными средствами коммуникации для глухих. Эти технологии предоставляют возможность взаимодействия с компьютером или мобильным устройством через голосовые и текстовые команды.
Применение аватарных технологий в реальной жизни: Существует ряд исследований и проектов, посвященных применению аватарных технологий в реальной жизни. Эти проекты включают в себя разработку приложений для мобильных устройств, интерактивных систем коммуникации и образовательных программ для глухих.
Преимущества и ограничения технологий для глухих: Важно учитывать как преимущества, так и ограничения аватарных технологий в контексте их применения для глухих. Это включает в себя вопросы доступности, эффективности, приватности и безопасности таких технологий.
МЕТОДИКА РАЗРАБОТКИ И РЕАЛИЗАЦИИ.
Для разработки и реализации аватарных технологий для глухих был использован следующий подход:
Дизайн и концепция: Определение потребностей пользователей и целей системы, а также анализ существующих технологий и методов коммуникации для глухих. Создание концепции системы, включая дизайн интерфейса и выбор методов распознавания речи.
Разработка алгоритма распознавания речи: Применение современных методов распознавания речи для создания алгоритма, который эффективно преобразует аудиосигналы в текст. Важной частью этого процесса является добавление функционала распознавания цифр и преобразования их в соответствующие числовые значения.
Создание библиотеки анимаций: Разработка библиотеки анимаций, включающей жесты и движения для каждой буквы русского алфавита. Анимации создаются на основе видео показа жестов человека, которые адаптируются в Blender для создания выразительных и понятных движений [2].
Рис. 2. Создание анимации для аватара на основе видео показа жестов.
Рис. 3. Дактиль алфавит глухонемых.
Создание аватара для глухих: Разработка и внедрение аватара, который динамически отображает распознанный текст в виде соответствующих жестов, обеспечивая наглядную и эмоционально выразительную коммуникацию.
Рис. 4. Аватар для глухих.
Интеграция алгоритма и библиотеки: Связывание алгоритма распознавания речи с библиотекой анимаций для динамического отображения распознанного текста в виде соответствующих жестов. Это позволяет создавать анимацию слов, фраз и предложений в реальном времени.
Разработка пользовательского интерфейса: Создание удобного и интуитивно понятного пользовательского интерфейса для взаимодействия с аватаром. В интерфейсе предусмотрены элементы управления скоростью анимации, возможностью постановки паузы и очистки текста.
Тестирование и оптимизация: Проведение тестирования системы на целевой аудитории с целью выявления ошибок и несоответствий. Дальнейшая оптимизация производительности и качества работы системы.
Доработка и улучшение: Внесение корректив в систему на основе обратной связи пользователей и выявленных недостатков. Постоянное совершенствование функционала и возможностей аватарных технологий.
Весь процесс разработки проводился с использованием среды разработки Unity3D, что позволило создать интуитивно понятный и удобный пользовательский интерфейс, а также интегрировать все компоненты системы в единую работающую модель [4].
РЕЗУЛЬТАТЫ.
В результате разработки и реализации аватарных технологий для глухих были достигнуты следующие основные цели:
1. Распознавание и преобразование речи в текст: Разработанная система способна распознавать речь пользователя и преобразовывать её в текстовый формат в реальном времени. Это позволяет глухим пользователям коммуницировать с аватаром с использованием речи.
2. Анимация аватара и жесты: При распознавании речи аватар анимируется и отображает соответствующие жесты, соответствующие смыслу произнесенных фраз. Это делает коммуникацию более наглядной и эмоционально выразительной.
3. Интерактивная обработка ввода с клавиатуры: Пользователь также может взаимодействовать с аватаром, вводя текст с клавиатуры. Введенный текст также обрабатывается системой и отображается в виде соответствующей анимации аватара.
4. Контроль скорости анимации: Пользователь имеет возможность контролировать скорость анимации аватара, что позволяет адаптировать коммуникацию к индивидуальным потребностям и предпочтениям.
5. Пауза во время показа жестов: Также предусмотрена функция постановки на паузу во время показа жестов. Это позволяет пользователям более удобно контролировать процесс взаимодействия с аватаром.
6. Очистка текста: Пользователь может очищать текстовое поле, отображающее распознанный текст, для подготовки к новому вводу или начала новой коммуникации.
Результаты разработки и реализации аватарных технологий предоставляют глухим пользователям эффективный и удобный инструмент для коммуникации и взаимодействия с окружающим миром.
Рис. 5. Результат разработки аватарных технологий для глухих.
ЗАКЛЮЧЕНИЕ.
В рамках работы была разработана и реализована система аватарных технологий для глухих, предназначенная для улучшения коммуникации и обмена информацией с окружающим миром. Эта система представляет собой инновационный подход к визуализации речи и текста, позволяя пользователям взаимодействовать с аватаром, который анимирует слова, фразы и предложения с использованием жестов русской дактильной азбуки.
В ходе работы была проведена аналитика существующих технологий и методов коммуникации для глухих, а также разработаны и интегрированы
алгоритмы распознавания речи и библиотека анимаций для создания динамических анимаций слов и фраз. Созданный пользовательский интерфейс обеспечивает удобное управление системой, включая возможность изменения скорости анимации, паузу и очистку текста.
Результаты работы демонстрируют эффективность и перспективность применения аватарных технологий для глухих в повседневной жизни, облегчая процесс коммуникации и улучшая доступность информации. Дальнейшее развитие системы позволит расширить ее функциональные возможности и повысить удобство использования, открывая новые возможности для социальной интеграции глухих людей.
СПИСОК ЛИТЕРАТУРЫ:
1. Автономный API распознавания речи VOSK // alphacephei URL: https://alphacephei.com/vosk/ (дата обращения: 22.04.2024);
2. Blender предназначен для аниматоров // blender URL: https://www.blender.org/features/animation/ (дата обращения: 22.04.2024);
3. Русский жестовый язык // surdo. me URL: https: //surdo. me/ (дата обращения: 22.04.2024);
4. Платформа для разработки в реальном времени Unity | 3D, 2D, VR и AR // unity.com URL: https://unity.com/ru (дата обращения: 22.04.2024).
Borodatyi V.V.
Novosibirsk State Technical University (Novosibirsk, Russia)
AVATAR SYSTEM: SPEECH VISUALIZATION FOR DEAF USERS
Abstract: article presents the development of an avatar technology system for the deaf, designed to improve communication and speech visualization. The system is based on the integration of speech recognition algorithms with an animation library, allowing the avatar to animate words, phrases and sentences using gestures of the Russian Dactyl alphabet. The developed software provides the user with a user-friendly interface for interacting with the avatar, including the ability to change the animation speed, pause and clear text.
Keywords: avatar technologies, deaf, speech recognition, speech visualization, dactylic alphabet, communication.
