CC BY
0УДК 004.9
Бородатый В.В.
студент, факультет автоматики и вычислительной техники Новосибирский государственный технический университет (г. Новосибирск, Россия)
МАТЕМАТИЧЕСКОЕ ОБЕСПЕЧЕНИЕ И СИСТЕМНЫЙ АНАЛИЗ ИССЛЕДОВАНИЙ В ОБЛАСТИ АВАТАРНЫХ ТЕХНОЛОГИЙ ДЛЯ ГЛУХИХ
Аннотация: в статье будут рассмотрены основные термины, связанные с разработкой аватарных технологий для глухих, принципы и методы, а также программный комплекс, позволяющий упростить построение компьютерных персонажей.
Ключевые слова: аватар, компьютерный сурдоперевод, жестикуляция, анимированный персонаж, словарь жестов.
ВВЕДЕНИЕ.
В мире существует небольшой процент людей, которые сталкиваются с ограничениями в своих возможностях из-за различных факторов. В России, например, количество людей с инвалидностью составляет около 8,1% от общего населения. Среди них значительная доля составляется глухие люди. В современном обществе активно внедряются аватарные технологии, направленные на улучшение коммуникации между глухими и слышащими. Однако, разработка компьютерных систем сурдоперевода сталкивается с некоторыми трудностями, такими как визуализация русского жестового языка и точное считывание жестов программой с искусственным интеллектом. Для этого используются различные программные средства, такие как 3ds Max, Maya, Rhino, Unity3D и другие.
Основные понятия.
Аватар - цифровой сурдопереводчик, транслирующий речь в язык жестов в реальном времени. Разработка таких инструментов для глухих и слабослышащих имеет высокую актуальность в свете роста числа людей с такими ограничениями.
Компьютерный сурдопереводчик распознает и переводит речь на РЖЯ, анимируя "куклу", что полезно как в обучении, так и в повседневном общении, например, между родителями и детьми.
Жестикуляция - это телодвижения, сопровождающие речь для усиления выразительности, включая движения рук и головы.
иш!у3Б - кросс-платформенный движок для создания игр и приложений, обеспечивающий разработку для различных устройств. Анимированные персонажи играют ключевую роль в передаче эмоций и вовлечении зрителя в происходящее.
Словарь жестов - лексикографическое издание, описывающее кинетическую систему, включая жесты, мимику и позы.
Принципы и методы в разработке аватарных технологий для глухих.
Первая система транскрибирования жестов, созданная У. Стокоу, включала 55 символов, разделенных на четыре группы по трем параметрам:
Место выполнения жеста относительно тела говорящего.
Форма кисти руки, выполняющей жест.
Траектория движения руки, включая мелкие движения пальцев или кисти
руки.
Ориентация рук в пространстве относительно друг друга и тела говорящего [1].
Эти параметры, названные Стокоу хиремами, по сути, являются составными частями жестов и сейчас принято называть их фонемами, а их функциональность схожа с морфемами - минимальными единицами звучащих языков [3].
Программный комплекс.
Для разработки 3D-модели сурдопереводчика выбран графический движок Unity3D из-за его кроссплатформенности и доступности. В Unity3D модель анимированного персонажа (аватара) разбивается на части с использованием древовидной структуры скелета. Рука персонажа состоит из ключицы, плеча, предплечья и кисти, управляемых последовательностью суставов. Для перемещения каждой части руки указываются углы поворота и время перехода в новое положение. Создано программное обеспечение для конвертации движений из Unity3D в текстовый формат и обратно. Этот текстовый формат является основой для всех анимационных движений аватара.
Таблица 1. Пример текстового описания движения правого плеча.
Элемент руки Конечное положение Время Расчетные углы поворота
X У ъ Секунда АХ АУ АЪ
Правое плечо XI У1 Ъх 1х Х1-Х0 У1-У0 Ъ1-Ъо
Для описания естественного для человека движения элемента руки часто требуется более сложная траектория, которую необходимо описывать состоящей из нескольких промежуточных положений. Для этой цели создается более сложный сценарий («кривая»), содержащий последовательные действия (таблица. 2).
Таблица 2. Кривая - совокупность последовательного выполнения нескольких перемещений.
Элемент руки Конечное положение Время Расчетные углы поворота
X У ъ Секунда АХ АУ АЪ
Плечо Х1 У1 Ъ1 11 Х1-Х0 У1-У0 Ъ1-Ъ0
Плечо Х2 У2 Ъ2 12 Х2-Х1 У2-У1 Ъ2-Ъ1
Плечо Хз Уз Ъз 1з Х3-Х2 У3-У2 Ъз-Ъ2
Для сложных движений, таких как перемещение плеча без движения ключицы или поворот кисти без поворота предплечья, требуются комплекты простейших анимаций. В Unity3D эти действия выполняются параллельно [5].
Анимация.
Анимация оживляет статичные объекты, делая их движущимися. Она широко используется в различных областях, таких как реклама, кино, игры и телевидение. В Unity можно легко создавать анимации объектов, таких как перемещение, вращение, изменение размера и цвета, используя окно Animation. Однако для анимации персонажей требуется подготовленная модель с скелетом, или риггингом, который отражает структуру модели. Загрузка файла описания сцены с аватаром и создание анимационных сценариев доступны в режиме "Разработчик" в Unity3D. При необходимости разработчик может внести изменения или создать новые элементы анимации в оболочке Unity3D [4].
ЗАКЛЮЧЕНИЕ.
В Разработка аватарных технологий для глухих требует тщательного изучения литературы и интернет-ресурсов из-за её ответственности. Это значимо для улучшения коммуникации и устранения недопонимания. В аватаре хранится пять тысяч жестов, но для полноценного общения требуется в три раза больше. Технология, основанная на искусственном интеллекте, машинном обучении и нейросетях, будет доступна на различных операционных системах и смартфонах. Её главное преимущество - бесплатность. [2]
Дальнейшее развитие системы позволит расширить ее функциональные возможности и повысить удобство использования, открывая новые возможности для социальной интеграции глухих людей.
СПИСОК ЛИТЕРАТУРЫ:
1. Гриф Михаил Геннадьевич, Лукоянычев Алексей Викторович Мультимедийный программный комплекс для создания словаря русского жестового языка // Вестник АГТУ. Серия: Управление, вычислительная техника и информатика. 2017. №1. URL: https://cyberlemnka.ru/article/n/multimediynyy-programmnyy-kompleks-dlya-sozdaniya-slovarya-russkogo-zhestovogo-yazyka (дата обращения: 16.12.2022);
2. Первый в России цифровой аватар синхронного сурдопереводчика создали в Новосибирске // NEWS URL: https://news.myseldon.com/ru/news/index/276267044 (дата обращения: 16.12.2022);
3. РОССИЙСКИЙ ЖЕСТОВЫЙ ЯЗЫК КАК ПРЕДМЕТ ЛИНГВИСТИЧЕСКОГО ИССЛЕДОВАНИЯ // Русский филологический портал URL: http://www.philology.ru/linguistics2/prozorova-07.htm (дата обращения: 16.12.2022);
4. 3D-анимация в Unity Источник - Онлайн школа Skysmart // Skysmart URL: https://skysmart.ru/articles/programming/animaciya-unity-3d (дата обращения: 16.12.2022);
5. Словари и энциклопедии на Академике // Академик URL: https://academic.ru/ (дата обращения: 16.12.2022)
Borodatyi V.V.
Novosibirsk State Technical University (Novosibirsk, Russia)
MATHEMATICAL SUPPORT AND SYSTEM ANALYSIS OF RESEARCH
IN FIELD OF AVATAR TECHNOLOGIES FOR DEAF PEOPLE
Abstract: article will explore the key terms related to the development of avatar technologies for the deaf, principles, and methods, as well as a software package that simplifies the construction of computer characters.
Keywords: avatar, computer sign language translation, gesture, Unity3D, animated character, sign language dictionary.
