38«Инновационные аспекты развития науки и техники»
УДК 004.94
Кудубаева Сауле Альжановна Kudubayeva Saule Alzhanovna
кандидат технических наук, ассоциированный профессор candidate of technical sciences, associate professor Евразийский национальный университет имени Л.Н.Гумилева, Нур-Султан Eurasian National University named after L. N. Gumilyov, Nur-Sultan
Жусупова Ботагоз Тулегеновна Zhussupova Botagoz Tulegenovna
докторант doctoral student
Костанайский региональный университет имени А.Байтурсынова, Костанай Kostanay Regional University named after A. Baitursynov, Kostanay
ПРОЕКТИРОВАНИЕ СИСТЕМЫ КОМПЬЮТЕРНОГО ПЕРЕВОДА С КАЗАХСКОГО ЯЗЫКА НА КАЗАХСКИЙ ЯЗЫК ЖЕСТОВ С ВОЗМОЖНОСТЬЮ ДЕМОНСТРАЦИИ ЖЕСТОВ ПЕРСОНАЖЕМ
DESIGNING A COMPUTER TRANSLATION SYSTEM FROM KAZAKH LANGUAGE TO KAZAKH SIGN LANGUAGE WITH THE ABILITY TO DEMONSTRATE GESTURES BY THE CHARACTER
Аннотация. В данной статье представлены особенности проектирования системы компьютерного перевода с казахского языка на казахский жестовый язык (КЖЯ), в которой помимо учета семантической составляющей, представлена возможность демонстрации жестов посредством анимированного персонажа (аватара). Раскрываются особенности создания анимированного персонажа и применения нотаций жестового языка для управления им.
Abstract: This article presents the design features of a computer translation system from Kazakh to Kazakh sign language (KZHL), which, in addition to taking into account the semantic component, provides the possibility of demonstrating gestures through an animated character (avatar). The features of creating an animated character and using sign language notation to control it are revealed.
Ключевые слова. компьютерная лингвистика, сурдоперевод, жестовый язык, анимированный персонаж.
Key words: computational linguistics, sign language translation, sign language, animated character.
VII Международная научно-практическая конференция
В Казахстане насчитывается порядка 200 тысяч людей с инвалидностью по
слуху. По законодательству Республики Казахстан (РК) [1], каждому инвалиду по слуху ежегодно предусмотрены бесплатные услуги специалиста жестового языка в объеме до 60 часов, но порой отведённых часов недостаточно. Актуальность данной темы обоснована общим интересом государства, носителей жестовой речи, родителей слабослышащих детей. Исследования и разработки в этой области имеют в большей степени социальную направленность для помощи людям, имеющим нарушения слуха.
Настоящее исследование направлено на создание системы сурдоперевода, обладающей такими свойствами, как перенос смыслового значения языка перевода (казахского языка) на казахский жестовый язык (КЖЯ) и представление результата перевода с помощью анимированного персонажа, удобного для графического представления жестов. Первое из данных свойств достигается за счет исключения неоднозначности слов вводимого предложения на этапе его морфологического анализа. Второе - за счет проектирования анимированного персонажа, управляемого анимациями на основе нотаций жестов КЖЯ, созданной с помощью системы нотаций Л.С.Димскис.
Разрабатываемые в мире системы компьютерного сурдоперевода не всегда учитывают морфологические и синтаксические особенности языка перевода, либо семантическую составляющую жестового языка, необходимых для более качественного перевода [2-5]. При разработке системы компьютерного перевода с казахского языка на казахский жестовый язык очень важен учет семантической составляющей для получения качественного перевода, понятного носителям казахской жестовой речи. Передача семантической составляющей вводимого предложения в системе компьютерного сурдоперевода на КЖЯ происходит за счет снятия омонимии на этапе морфологического анализа с помощью формализованного словаря лексических значений омонимов и многозначных слов.
Таким образом, учитывая особенности казахского языка, было принято решение составить формализованный словарь лексических значений омонимов
«Инновационные аспекты развития науки и техники» и многозначных слов казахского языка, в некоторой степени аналогичный
семантическому словарю В.Тузова [6]. Но так как словарь В.Тузова отражает
перевод на семантический язык слов русского языка и создание работающей
компьютерной системы семантического анализа текстов на русском языке,
имеющем флективный строи, противоположный агглютинативному, то
алгоритм семантического анализа по словарю В.Тузова не может быть
полностью перенесен на казахский язык. Возможно только использование
некоторых методов формализации, чтобы построить аналогичную систему, как
и предлагает сам автор.
Словарь хранится в файле в формате UTF-8, так как остальные форматы не поддерживают казахский шрифт. Создание формализованного словаря омонимов основано на разработках лингвистов по казахскому языку:
1) 15-томном толковом словаре казахского литературного языка (разработанный исследователями Института языкознаний имени А.Байтурсынова) [7];
2) словарях омонимов казахского языка «К,азак тшшщ омонимдер сездт», автора М.Белбаевой, и «Казак тшндеп омонимдер», автора К.Аханова [8-9].
В качестве программной среды для создания системы перевода с казахского языка на КЖЯ был выбран Visual Studio 2019, алгоритм и интерфейс написан на языке C#, имеющий большое количество методов для обработки текста. База слов, суффиксов и окончаний хранится в базе данных MySQL, администрирование посредством phpMyAdmin, установленной на локальном сервере MAMP.
При морфологическом анализе для каждого слова в предложении определяются его словообразующие и словоизменяющие морфемы и их характеристики, таким образом получаем набор морфологических характеристик по каждому слову в предложении и лемму данного слова. Далее для каждого слова, в том числе и для совпадающих слов, определяем их принадлежность к омонимам и многозначным словам. Затем определяем альтернативы их использования согласно формализованному словарю
VII Международная научно-практическая конференция лексических значений омонимов и многозначных слов. Затем проверяем
выполнение условий для выбора необходимого значения омонима, таким
образом, выбор альтернативы зависит от морфологических характеристик
самого слова либо харатеристик, находящегося рядом слов. Выбор верной
альтернативы многозначного слова в дальнейшем в системе перевода заменяется
на верный жест, тем самым передается правильное смысловое значение
предложения для носителя жестовой речи.
В словаре каждый омоним имеет порядка 2-5 альтернатив. К каждой альтернативе в фигурных скобках указывается часть речи, в круглых скобках -условие для выбора данного значения омонима. Методы языка С# для работы со строками позволяют провести проверку наличия одной из альтернатив омонима, многозначного слова в переводимом предложении.
Использование формализованного словаря лексических значений омонимов и многозначных слов позволяет исключить неоднозначность слов входного предложения, достичь верную передачу смысла слов исходного языка в системе компьютерного сурдоперевода.
Разработанная система автоматического сурдоперевода раскрывает смысл переводимого текста, он переводится в грамматику казахского жестового языка (КЖЯ), затем для показа результата перевода казахского текста на жестовый язык используется ранее созданный нами словаря нотаций жестов казахского жестового языка (КЖЯ). Переведенное на жестовую речь предложение представляется как набор слов (жестов) с сохранением синтаксических конструкций. Затем составленный словарь нотаций жестов КЖЯ используется для поиска слов(жестов) в словаре, представления их в виде нотации и отображения с помощью анимированного персонажа.
Для создания модели аватара поэтапно используются такие программные средства, как MakeHuman, Photoshop, Blender. Настройка анимаций жестов выполняется в современном кроссплатформенном графическом пакете Unity3D посредством библиотек «клипов», созданных на основе словаря нотаций жестов КЖЯ.
«Инновационные аспекты развития науки и техники»
Для управления аватаром используется впервые разработанный нами для
жестов казахского жестового языка словарь нотаций жестов, созданный на основе нотации Л.С. Димскис. Особенность словаря в том, что компоненты нотации определенного жеста несут в себе смысл данного жеста, тем самым, также отражая его грамматику.
Основой любого компьютерного сурдоперевода является словарь жестового языка. Ранее нами проводилось исследование различных систем нотаций и было дано обоснование выбора системы Л.С.Димскис для записи жестов казахского жестового языка и составлен словарь КЖЯ [2]. Исходя из наглядности, лёгкости в использовании, доступности базы знаков, возможности применения к национальным жестовым языкам, наилучшим, оптимальным вариантом для фиксации КЖЯ в письменном виде была выбрана система Л.С.Димскис [10].
Согласно нотации Л.С.Димскис каждый жест имеет 5 элементов, характеризующих положение руки и пальцев:
- первый элемент - характер исполнения жеста (одноручный, двуручный);
- второй элемент - положение пальцев (конфигурация);
- третий элемент - направление ладони;
- четвертый элемент - направление пальцев;
- пятый элемент структуры - место расположения жеста [11].
Для того, чтобы модель аватара демонстрировала нам необходимый жест, создана библиотека «клипов» для правой руки, левой руки и для двуручных жестов, содержащие анимации компонентов нотаций жестов. По окончанию выполнения жеста аватар возвращается в заключительный «клип» - «возврат в начальное состояние».
Приступая к созданию аватара, необходимо сначала спроектировать модель человека. Для этого использовался MakeHuman - бесплатный интерактивный инструмент моделирования с открытым исходным кодом для создания пользовательских трехмерных персонажей. А также использовалась программа трехмерной графики Blender. Для настройки текстуры одежды
VII Международная научно-практическая конференция
прибегали к средствам Photoshop. Настройку аминаций, создание «клипов» проводили в графическом движке Unity3D.
При создании модели человека сначала задаем в программе MakeHuman гендерные характеристики нашему будущему аватару, указывая пол, возраст, мускулатуру, вес, рост, пропорции и даже расовую принадлежность. Из MakeHuman модель аватара экспортируется в формате .obj. Работу в программе Blender начинаем с импорта созданной в MakeHuman модели аватара, хранящейся в файле с расширением .obj. Работая с полигональной сеткой модели, задаём контуры одежды аватара, группируя полигоны для каждого вида одежды. Текстуровать одежду можно как на 2D плоскости, так и на самой 3D модели. 2D модель можно сохранить как изображение и дополнительно текстурировать в Photoshop.
В программе Blender, добавляя скелет в модель аватара, мы можем более точно расположить суставы на руках и пальцах, что очень важно при показе жестов (рис. 1).
Рис. 2. Создание скелета модели аватара в Blender
Перед тем как экспортировать модель аватара из Blender в Unity3D необходимо задать ей соответствующий масштаб. Также в Unity3D импортируются все текстуры, связанные с нашей моделью аватара - текстура одежды, обуви, волос, бровей, глаз. Функционал пакета Unity3D удовлетворяет всем требованиям по работе с аватаром: позволяет создавать библиотеки клипов
34
«Инновационные аспекты развития науки и техники»
и настраивать анимации по компонентам нотации жестов, использую созданный нами словарь нотации жестов КЖЯ по Л.С.Димскис (табл. 1).
При необходимости шестым элементов структуры является направление и характер движения исполняемого жеста. При отсутствии движения шестой элемент отсутствует.
Таблица 1. Фрагмент словаря нотаций жестов КЖЯ различной тематики
Жесты КЖЯ Нотация жестов КЖЯ
(по Л.С. Димскис)
АДАМ П ^>n°t
АНА п® ЗлО«-
ЭКЕ nfWQl
СЭБИ
БАЛА п^одП"«-
БАЛА (2) ndDAO*
БАЛАЛАР лп ! ^v ........►
¥Л БАЛА П^ЭУГГ
лп ^v HQ
^ЫЗ БАЛА п&ЭлГТ
ЛП ^VHQ
^ЫЗ nfWO nif^vUI
В Unity3D дверовидная структура скелета рук аватара управляется по частям и состоит из следующих элементов: ключица, плечо, предплечье, кисть. Перемещение любого элемента руки происходит по относительной полярной системе координат и рассчитывается от конечной точки предыдущего элемента (сустава). А также обязательно указываются параметры конечного пространственного угла и время для перемещения руки в новое положение. Вычисление угла поворота по часовой и против часовой стрелки необходимо для выбора кратчайшего пути для перемещения элемента руки, которое будет соответствовать естественному движению аватара (человека) [11].
Текстовое описание движения элемента руки включает в себя 3 угла поворота и время перехода (табл. 2). Unity позволяет данное текстовое описание
VII Международная научно-практическая конференция переводить в анимационное движение. Сложные сценарии движения отличаются
от простого описания нескольких промежуточных положений.
Таблица 2. Пример текстового описания движения правого плеча
Элементы руки Конечное положение Время, с Расчетные углы пово рота
X У ъ ДХ ДУ ДЪ
Правое плечо XI У1 21 и Х1-Х0 У1-У0 Ъ1-Ъ0
Так как движение плеча невозможно без движения руки, а поворот кисти -без поворота предплечья, то создаются «клипы», содержащие наборы анимаций для перемещения элементов руки.
Каждый элемент нотации Л.С. Димскис описывается «клипом», а жест состоит из 5 или 6 элементов в зависимости от того, является ли он динамичным или нет. Первый элемент нотации жестов предполагает наличие 3 библиотек «клипов» - это библиотеки «клипов» правой руки, левой руки и двуручных жестов. Затем необходимы библиотеки «клипов» конфигураций руки, направлений ладони, направлений пальцев, локализаций и характера движений. Таким образом, для показа жестов аватаром необходимо 8 библиотек «клипов».
Большую сложность представляет собой описание перемещения элементов кисти, которое подразумевает движение запястья, пястья, пальцев.
Если статические «клипы» описывают только перемещение руки из начального состояния в конечное, то динамические - перемещение элементов руки, соответствующее движению жестов. Статический и динамический «клипы» иногда формирую составной «клип». Например, из буквы Ы можно
получить жест СЭБИ, добавив динамический «клип» (поворот запястья, обратимое).
Все созданные анимационные «клипы», иерархия библиотек доступны в режиме «Разработчик». В режиме «Пользователь» доступно внесение записи жеста в нотации Л.С.Димскис, который демонстрируется посредством отбора «клипов» из библиотек.
«Инновационные аспекты развития науки и техники»
Заключение. Представленный в разработанной системе подход, позволяющий исключить неоднозначность слов, может быть применен и для других задач автоматической обработки текста. Принципы его построения могут быть использованы специалистами в области компьютерной лингвистики агглютинативных языков. При разработке системы автоматического сурдоперевода раскрывается смысл переводимого текста, он переводится в грамматику КЖЯ, семантика которого отражается в элементах нотации жестов. Затем составленный словарь КЖЯ используется для поиска слов в словаре, представления их в виде нотации и отображения с помощью аватара. Созданный аватар может быть использован не только в системе компьютерного сурдоперевода, но и как программное средство для обучения детей и взрослых жестам КЖЯ, так как исследования и разработки в данной области имеют в большей степени социальную направленность для помощи людям, имеющим нарушения слуха.
Библиографический список:
1. Закон Республики Казахстан от 13 апреля 2005 г. №2 39 -III «О социальной защите инвалидов в Республике Казахстан» (с изменениями и дополнениями по состоянию на 23.04.2021 г.)
2. Zhao L., Kipper K., Schuler W. A machine translation system from English to American sign language // Lecture Notes in Computer Science - 2000 - Vol.1934, - P. 54-67.
3. Zhao L., Badler N. Acquiring and validating motion qualities from live limb gestures //
Graphical Models. DOI: https://doi.org/10.1016/j.gmod.2004.08.002 - 2005 -Vol.67, P.1-16.
4. Sys-consulting: Avatars. https://www.sys-consulting.co.uk/web/Expertise_ Avatars.html.
5. Azure Kinect DK. https://azure.microsoft.com/ru-ru/services/kinect-dk/#features.
VII Международная научно-практическая конференция
6. Тузов В.А. Компьютерная семантика русского языка. СПб: Изд-во СПбГУ, 2004 - 400с.
7. Жакрак; Т., Омарбеков С., ЖYнiсбек Э., т.б., К,азак эдеби ттлшщ сeздiгi. Он бес томдык. - Алматы, 2011.
8. Белбаева М., «К,азак ттлшщ омонимдер сездш», Алматы: «Мектеп», 1988 - 193 с.
9. Аханов К., «К,азак тшндеп омонимдер», Алматы: КМОПБ, 1958 - 132 с.
10. Димскис Л. Изучаем жестовый язык // Учебное пособие, Издательский центр «Академия» - 2002 - С.4-6.
11. Гриф М.Г., Лукоянычев А.В. Мультимедийный программный комплекс для создания словаря русского жестового языка // Вестник АГТУ, Серия: Управление, вычислительная техника и информатика, ISSN 2072-9502 - 2017 -№1, - С. 105-114.
© С.А. Кудубаева, Б.Т. Жусупова, 2021
