CC BY
65
Система перевода текста с учетом синтаксической составляющей русского жестового языка
Гриф Михаил Геннадьевич профессор, д.т.н., заведующий кафедрой Автоматизированных систем управления, Новосибирский государственный технический университет, пр-т. К. Маркса, 20, г. Новосибирск, Россия, 630073, (383) 3460843
grifmg@mail.ru
Мануева Юлия Сергеевна аспирант кафедры Автоматизированных систем управления, Новосибирский государственный технический университет, пр-т. К. Маркса, 20, г. Новосибирск, Россия, 630073, (383) 3460843 manueva.is@gmail.com
Аннотация
В данной статье рассмотрена проблема коммуникации людей с ограниченными возможностями по слуху в образовательном процессе. В качестве решения предложена разработанная система перевода русского текста на русский жестовый язык. Проанализированы существующие системы компьютерного сурдоперевода. Описаны особенности русского языка и русского жестового языка. В статье описана система, выполняющая семантический анализ текста и преобразования предложения в соответствии с синтаксическими требованиями русского жестового языка. Разработанная технология семантического анализа и соответствующие алгоритмы реализованы в модуле семантического анализа. Описана база данных, разработанная на основе семантического словаря В.А. Тузова. Также в модуле присутствует возможность изменения порядка слов в предложении для последующего корректного отображения на жестовый язык. Приводится описание программного обеспечения и алгоритмическая часть модуля семантического анализа и синтаксических преобразований. Первоначально системой выполняется первичный семантический анализ, который состоит из морфологического и синтаксического анализа, определения семантических отношений. В основе первичного семантического анализа лежат разработки системы Диалинг. Затем система осуществляет семантический анализ для определения корректного значения слова для дальнейшего правильного отображения предложения на жестовом языке и проводит изменения порядка слов в предложении в соответствии с требованиями жестового языка Приведены примеры использования разработанной системы. This article deals with the problem of communication of people with hearing disabilities in the educational process. Developed translation system to Russian sign language is proposed to solve this problem. Different translation system to sign language are analyzed. The article will consider a system that performs semantic analysis of the text and syntactically converts sentences in accordance with the syntactic requirements of the Russian sign language. The developed technology of the semantic analysis and corresponding algorithms are realized in the module of the semantic analysis. Also in the module there is the possibility of changing the order of words in the sentence for subsequent correct mapping to the sign language. A database developed on the basis of the semantic vocabulary made by V. Tuzov is described. The description of the software and the algorithmic part of the module of the semantic analysis and syntactic transformations are given. The system performs a primary semantic analysis, which consists of morphological and syntactic analysis,
the definition of semantic relationships. The semantic analysis determines the correct meaning of the word and conducts word order changes in the sentence in accordance with the requirements of the sign language. Examples of developed system are given.
Ключевые слова
обучение слабослышащих студентов, система перевода, семантический анализ, синтаксический анализ, жестовый язык
learning students with hearing problems, translation system, semantic analysis, syntactic analysis, sign language
Введение
В процессе обучения слабослышащих студентов возникают коммуникативные проблемы. В образовательном процессе важное место занимают сурдопереводчики, число которых не является достаточным для решения данной проблемы. Одним из возможных методов решения является использование системы компьютерного перевода с русского языка на русский язык жестов и с русского жестового языка на русский язык.
Большинство существующих компьютерных переводчиков на жестовый язык реализовано для перевода с английского языка на английский язык жестов. Примерами таких систем являются: система перевода Zardoz, система машинного перевода TEAM, проект ViSiCAST [9,10,11]. Примером отечественной разработки в области компьютерного сурдоперевода с русского языка на русский язык жестов является система Сурдофон [2].
Система Zardoz является системой перевода с английского языка на американский язык жестов с применением интерлингвы [9]. Компьютерный переводчик имеет ограниченную область применения. Архитектура системы перевода представляет собой модульную структуру. Введенный текст обрабатывается морфологическим анализатором, затем определяются составные слова. Далее проводятся проверки на идиоматические выражения. Синтаксический анализ и специальные службы преобразуют структуру текста языка-посредника в набор конструкций, которые отображаются на язык жестов с использованием анимированного персонажа. Вместо попытки построить универсальную грамматику, обобщающую все синтаксические формы различных языков, используются знания, полученные путем моделирования смысла предложения на интерлингву. В этом отражается уникальность данной системы.
Система TEAM представляет собой систему машинного перевода с английского языка на американский язык жестов. Перевод системой TEAM выполняется в два этапа. На первом этапе выполняется перевод введенного предложения с английского языка на промежуточное представление с учетом синтаксической, грамматической и морфологической информации. На втором этапе осуществляется отображение промежуточного представления в виде движения с минимальным набором параметров, которые преобразуются в параметры для управления компьютерной моделью человека. Планируется выполнение и обратного перевода: распознавание жестов и преобразование результата в речь [11].
Система ViSiCAST направлена на перевод текстовых субтитров на язык жестов, обеспечивая более широкий выбор программ слабослышащим людям. На текущий момент проект ViSiCAST является упрощенной системой, которая фиксирует движения и жесты человека-сурдопереводчика, а затем эти координаты передаются для последующего анализа с целью получения реалистичного анимированного
персонажа. Сначала текст на английском языке (в том числе субтитры) анализируется, затем получается представление исходного предложения. Далее последовательность жестов интерпретируются программным модулем, который управляет анимацией [10].
Система Сурдофон предназначена для перевода речи с русского языка на русский жестовый язык. На первом этапе проводится распознавание звучащей речи, затем проводится анализ текста и далее проводится перевод на русский язык жестов. Процесс перевода завершается анимацией русского жестового языка. Перевод проводится по правилам русского языка жестов в отличие от большинства случаев, когда проводится калькирующий перевод. Обработка голосовой информации является отличительной особенностью данной системы [2].
Все рассмотренные системы отображают жесты с использованием анимированного персонажа, но только в системе ViSiCAST достигнута максимальная реалистичность. Стратегия перевода в данных системах основана на морфологическом и синтаксическом анализе. Семантический анализ проводится только в системе Zardoz.
Для осуществления качественного перевода недостаточно морфологической и синтаксической информации, необходимо проводить семантический анализ предложения. Перечисленные компьютерные переводчики предполагают работу только с английским языком, таким образом они не применимы для перевода с русского языка на русский жестовый язык.
На данный момент в России не существует переводчика осуществляющего прямой и обратный перевод с жестового языка с учетом семантики русского языка и специфики жестового языка. Цель исследования заключается в разработке системы, выполняющей семантический анализ текста и синтаксические преобразования предложения в соответствии с требованиями русского жестового языка.
Лингвистические особенности русского языка и русского жестового языка
Понятие «семантика» представляет собой значение или значения языковых единиц (слов, грамматических форм слов, фразеологизмов, словосочетаний, предложений) [8]. Смысл единицы русского языка зависит от ее соотношения с остальными единицами языка и от ее лексической и синтаксической сочетаемости с ними. Слова «грамм», «килограмм», «тонна» являются словами одного лексического уровня единицы измерения, но различны по числовому значению [8].
Проблема разрешения лексической неоднозначности является одной из приоритетных проблем в процессе перевода с одного языка на другой, ведь от правильной работы семантического модуля зависит смысл всего текста. В случае неправильного определения, смысл может быть полностью искажен. Особый интерес в данном вопросе представляют омонимы и фразеологизмы.
О.С. Ахманова характеризует омонимы как пару слов или набор слов, принадлежащий тождественным фонемным рядам и разница между которыми носит семантический или грамматический характер, а в некоторых случаях одновременно как семантический, так и грамматический. В словаре приведена следующая классификация омонимов. К первой категории относятся слова с выраженной морфологической структурой, ко второй категории отнесены исконно разные слова, третья категория представляет собой разошедшуюся полисемию [1]. Фразеологизмы отличаются от обычных сочетаний слов тем, что общее значение фразеологического оборота не равно сумме отдельных значений слов. Например, фразеологизм «авгиевы конюшни» имеет значение «очень грязное место» [1]. Фразеологизмы имеют сложную структуру, образуются из нескольких компонентов, не сохраняющих при этом значение самостоятельных слов. Также такие конструкции семантически неделимы,
имеют общее значение, которое зачастую можно выразить одним словом: «очки втирать» - обмануть, «точить лясы» - разговаривать, «кот наплакал» - мало. Фразеологизмы также характеризуются постоянством состава. Ни один из компонентов оборота нельзя заменить синонимом. Например, «яблоко раздора» нельзя заменить словами «груша раздора» [1]. Омонимы и фразеологизмы являются основной трудностью при определении значения слов. От правильной обработки данных конструкций в полной мере зависит корректное сопоставление слову жеста, которое определяет в дальнейшем весь процесс перевода.
Различия между звучащими и жестовыми языками, наиболее существенно затрагивающие семантический уровень представления, обусловлены наличием в жестовых языках «классификаторных предикатов». При изображении данных конструкций траектория движения руки повторяет траекторию движения объекта из описываемой ситуации, а форма руки отображает некоторые свойства данного объекта. Одна и та же форма руки может служить для обозначения целого класса объектов со схожими внешними признаками. Такой знак может отображать траекторию и скорость перемещения объекта, изменения его формы, ориентации. Количество аргументов «классификаторного предиката» может значительно отличаться от соответствующего ему предиката звучащего языка. На основании анализа таких различий в [5] делается вывод о том, что перевод со звучащего языка на жестовый только на уровне синтаксиса может быть удовлетворительным лишь в том случае, если в переводимых текстах отсутствуют «классификаторные предикаты».
Рассмотрим синтаксические особенности русского жестового языка, которые основаны на проведенных лингвистических исследованиях [5]. Жестовая речь представляет собой набор изображений с использованием специальных знаков, относящимся к атомарным. Предложения на звучащем языке имеют более сложную синтаксическую структуру, которые состоят из более простых предложений. В такой ситуации человек-сурдопереводчик при переводе с русского звучащего языка на русский язык жестов переводит сложные предложения как более простые предложения. Цель рассматриваемых синтактико-семантических преобразований заключается в упрощении текста на русском языке за счёт разбиения сложных предложений на последовательность более простых предложений. В качестве атомарной единицы будем рассматривать предложение с полным причастием. В качестве выходной информации преобразований вместо сложного входного предложения получаем набор более простых предложений. В процессе преобразования предложения проводится следующая дополнительная обработка. Во-первых, причастие заменяется глаголом. Во-вторых, проводятся изменения порядка слов в предложении. В-третьих, повторяющиеся существительные заменяются соответствующими местоимениями. Отмечается, что возможен и перевод на основе базового порядка следования жестов в предложении [3]. Произвольный русский текст (предложение) вводится в программу и подвергается морфологическому, синтаксическому и семантическому анализу. Затем формируется стандартная схема предложения на разговорном русском жестовом языке: подлежащее, определение, обстоятельство, сказуемое и дополнение.
Процесс преобразования предложения заключается в разбиении на более простые предложения. Предпосылкой к разбиению является наличие одной или нескольких конструкций, содержащих полное причастие. При этом данные конструкции обрабатываются последовательно слева направо. После деления исходного предложения получается два упрощенных предложения с соответствующим глаголом вместо причастия, по которому шло разбиение. Для хранения данных используется структура двоичного дерева, в которой каждый узел хранит предложение, а оба его потомка - результат разбиения.
Реализация модуля семантического анализа
Упрощенный алгоритм перевода представлен на рисунке 1. На первом этапе введенное предложение на русском языке обрабатывается системой Диалинг [6].
Рис. 1. Алгоритм анализа текста для перевода на русский жестовый язык
Основная задача первого этапа заключается в определении начальных форм слов, морфологических и синтаксических характеристик, а также семантических отношений [4]. Второй этап предназначен для выполнения семантического анализа предложения. На данной этапе происходит установление корректных семантических значений слов в предложении с целью устранения лексической многозначности. Для разрешения проблемы омонимии в модуле семантического анализа используется семантический словарь В.А. Тузова [7].
Словарная статья компьютерного семантического словаря содержит заголовочное слово и его толкование на семантическом языке. Большинство слов словаря имеют несколько семантических описаний. Самой многозначной частью речи являются предлоги, количество значений для предлога «в» составляет 239. Например, семантическое описание для глагола «ехать» представлено на рисунке 2.
ВЕРХОМ$ 0(0рег01 (! Им. ПОЕЗ ДКА$ 15402(ПО ДАТ: НЕЧТО $1~!поДат.ОТ КУДА: НЕЧТ 0$1-~Г Откуда. КУДА: НЕЧТО $ 1 Куда. НАПРЕД: ТР АНСПОРТЭ121324(
ОрегО 1 (!Им,ПОЕЗДКА$15402^ПОЧЕМУ :ПРИЧИНА$ 1/3 7/05\ПРИКАЗ$ 152603 1 Почему. ПО ДАТ: НЕЧТО $ 1 --! по Д ат. ОТКУДА: НЕЧТО $ 1 ! Откуда ДУДА: НЕЧТО $
Рис. 2. Семантическое описание глагола «ехать»
Как видно из семантического описания глагол «ехать» имеет две альтернативы. В отдельное значение вынесено устойчивое выражение «ехать верхом». Для упрощения работы со словарем на его основе разработана база данных, состоящая из 13 взаимосвязанных таблиц (рис. 3).
Рис. 3. Структура базы данных
Рассмотрим алгоритм семантического анализа. На основе информации, полученной на предыдущем этапе (начальные формы слов, морфологические и синтаксические характеристики, семантические отношения), проводится поиск возможных значений слов в базе данных. Затем определяется количество омонимов в предложении: одно слово с несколькими значениями или несколько многозначных слов. В зависимости от полученного результата выполняются различные алгоритмы семантического анализа. Далее на основе информации о принадлежности к части речи проводится семантический анализ многозначных слов. На выходе после работы семантического модуля у слов определены единственные значения и найдены соответствующие жесты русского жестового языка. На этапе синтаксических преобразований проводится изменение порядка слов в предложении. В системе различается два вида базового порядка слов: «субъект, глагол, объект» и «субъект, объект, глагол». С учетом семантической информации результатом работы системы является корректная последовательность жестов русского жестового языка. Таким образом, предложение с русского языка переведено на русский жестовый язык.
Анализ и оценка разработки
Рассмотрим примеры перевода предложений с русского языка на русский язык жестов в разработанной системе. В качестве примеров приведем предложения, содержащие слова, имеющие более одного значения. В русском языке омоним «лисичка» в соответствии со словарем В.А. Тузова имеет два значения: лиса (животное) и лисичка (гриб). Проанализируем корректность определения семантического значения слова «лисичка» в предложении «Лисичка убежала в лес» (рис. 4). На рисунке 4 представлен результат семантического анализа предложения.
Пеоевоа Переплыл «мягичес*!« анализ | Ссмаин^соч^ Miws | С^тако-кжке пеесфаке*«»
Исямпое преоложенде Резуяыа"
ЛИСИЧКА УБЕЖАЛА В ЛЕС Семантический анализ
ЛИСИЧКА -> ЛИСА
УБЕЖАТЬ -г убежать
В -> В
ПЕС -> ЛЕС
Рис. 4. Семантический анализ предложения
На рисунке 5 показаны результаты работы системы Диалинг, а именно, представлены начальные формы слов, синтаксические и морфологические
Рис. 5. Результат работы системы Диалинг
На рисунке 6 приведены списки исходных и итоговых альтернатив слов в предложении.
Рис. 6. Список исходных и итоговых альтернатив слов
На рисунке 7 представлен результат синтаксических преобразований для базового порядка «субъект, глагол, объект» и итоговое переведенное предложение.
___ —-Я*»
Мемк* Прмиср ^ СсьимТичСссИЙ ЛнЛАяЗ Очи^ТмТь форму СикТам »«А» пимвбриашм
Ио.ааное предложение
ЛИСИЧКА УБЕЖАЛА ВЛЕС Семантическим анализ ЛИСИЧКА ■> ЛИСА УБЕЖАТЬ убежать В > В ЛЕС -> ЛЕС Синтаксические преобразования ЛИСИЧКА УБЕЖАТЬ В ЛЕС Перевод ЛИСА убежать В ЛЕС
Рис. 7. Результат работы системы с порядком «субъект, глагол, объект»
На рисунке 8 показан результат синтаксических преобразований для базового порядка «субъект, объект, глагол» и итоговое переведенное предложение.
Меню Пришр ► Семмтнчеоий пили] Очистки фврыу Синтактические прмбршошша
Г!®0«®33 П»рим>и мпд [ ачлня | Ои приДимиф _|
ч Исходное предложение_ Результат Я
ЛИСИЧКА УБЕЖАЛА В ЛЕС Семантический анализ
ЛИСИЧКА -> ЛИСА
УБЕЖАТЬ -> убежать
В -> В
ЛЕС -> ЛЕС
Синтаксические преобразования
ЛИСИЧКА В ЛЕС УБЕЖАТЬ.
Перевод
ЛИСА В ПЕС убежать
Рис. 8. Результат работы системы с порядком «субъект, объект, глагол»
Рассмотрим второе предложение «Жареные лисички были вкусные» (рис. 9). На рисунке 9 представлен результат семантического анализа предложения.
Рис. 9. Семантический анализ второго предложения
На рисунке 10 представлены результаты работы системы Диалинг, на которой представлены начальные формы слов, синтаксические и морфологические характеристики, семантические отношения.
Рис. 10. Результат работы системы Диалинг для второго предложения.
На рисунке 11 приведены списки исходных и итоговых альтернатив слов в предложении «Жареные лисички были вкусные».
Рис. 11. Список исходных и итоговых альтернатив слов для второго
предложения
На рисунке 12 представлен результат синтаксических преобразований для
Рис. 12. Результат работы системы с порядком «субъект, глагол, объект» для
второго предложения
На рисунке 13 показан результат синтаксических преобразований для базового порядка «субъект, объект, глагол» и итоговое переведенное предложение.
Меню Пример ► Семантический анализ Очистить ферму Синтаксические преобразование
Неполное предложение Реэулыат
ЖАРЕНЬЕ ЛИСИЧКИ бьпи вкусными Семантический анализ ЖАРЕНЫЙ -» жареный ЛИСИЧКА -> ЛИСИЧКА (ГРИБ) БЫТЬ -> быть ВКУСНЫ* «кусный Синтаксические преобразования ЛИСИЧКА ЖАРЕНЬЙ БЫТЬ ВКУСНЬЙ. Перевод ЛИСИЧКА (ГРИБ) жареный вкусный БЫТЬ
Рис. 13. Результат работы системы с порядком «субъект, объект, глагол» для
второго предложения
В рассмотренных предложениях отражена корректность работы модуля семантического анализа и проведения синтаксических преобразований. В обоих случаях модуль семантического анализа верно определил значения слова «лисичка» в контексте. В первом случае лисичка употреблялась в значении лиса (животное), во втором случае в значении лисичка (гриб). Результат работы семантического анализа и синтаксических преобразований отражен в итоговом предложении, в котором жесты распределены в корректном для жестового языка порядке.
Разработанная система семантического анализа и перевода на русский язык жестов осуществляет определение значений слов в предложении, ставит в соответствие с найденными значениями жест русского жестового языка и проводит синтаксические преобразования для корректного отображения последовательности жестов. В дальнейшем к наиболее приоритетным направлениям разработки относятся: учет семантической составляющей жестового языка (классификаторные предикаты) и синтаксические преобразования входного предложения для упрощения последующего семантического анализа.
Заключение
В данной работе проведен анализ систем перевода на жестовый язык, направленный на решение проблемы коммуникации студентов с ограниченными возможностями по слуху в учебном процессе. Рассмотрены семантические особенности русского звучащего языка и русского жестового языка. Приведено описание синтаксических преобразований предложений для отображения на жесты. Также описан алгоритм перевода, включающий в себя семантический анализ и синтаксические преобразования. В результате работы системы получаем предложение на жестовом языке, которое состоит из корректной последовательности жестов, полученных в результате соответствия единственным значениям слов.
Литература
1. Ахманова О.С. Словарь омонимов русского языка [Текст]: - Москва: Советская энциклопедия, 1974. - 451 с.
2. Говорит и показывает: в Новосибирске изобрели электронный сурдопереводчик [Электронный ресурс]. URL: http://sdelanounas.ru/blogs/39491
3. Гриф М. Г. Алгоритм перевода русского текста на русский жестовый язык на основе сопоставления синтаксических конструкций / М. Г. Гриф, А. А.
Волынцев, М. К. Тимофеева // Сборник научных трудов Новосибирского государственного технического университета. - 2014. - № 1 (75). - C. 94-104.
4. Гриф М.Г. Методы и технологии компьютерного сурдоперевода: учебное пособие. - Новосибирск: НГТУ, 2012. - 71 с.
5. Прозорова Е.В. Российский жестовый язык как предмет лингвистического исследования // Вопросы языкознания. - 2007. - №1. - С. 44-61
6. Сокирко А. Семантические словари в автоматической обработке текста (по материалам системы Диалинг). - М., 2000. - 108 c.
7. Тузов В.А. Компьютерная семантика русского языка: учебное пособие - СПб: СПбГУ, 2003. - 391 c.
8. Шаляпина З.М. Автоматический перевод: эволюция и современные тенденции // Вопросы языкознания. - 1996. - №2. - С. 105-117.
9. Veale T., Conway A. Cross modal comprehension in ZARDOZ an English to sign-language translation system. - Trinity. - 1994. - 326 p.
10. Wakefield M. VisiCAST. - Milestone: Final Report. - 2002. - 97 p.
11. Zhao L., Kipper K., Schuler W. A Machine Translation System from English to American Sign Language // Lecture Notes in Computer Science. - 2000. - Vol. 1934. -P. 54-67.
