CC BY
17ISSN 1814-1196 Научный вестник НГТУ том 62, № 1, 2016, с. 106-119
http://journals.nstu.ru/vestnik Science Bulletin of the NSTU Vol. 62, No. 1, 2016, pp. 106-119
ОБРАБОТКА ИНФОРМАЦИИ INFORMATION PROCESSING
УДК 004.82
Разработка алгоритма семантического анализа
речи (текста) для перевода на русский
*
жестовый язык
М.Г. ГРИФ1, Ю.С. МАНУЕВА2
1 630073, РФ, г. Новосибирск, пр. Карла Маркса, 20, Новосибирский государственный технический университет, доктор технических наук, профессор. Е-тай:
grifmg@mail.ru
2 630 0 73, РФ, г. Новосибирск, пр. Карла Маркса, 20 Новосибирский государственный технический университет, аспирант. Е-тай: juleno4eknot1@rambler.ru
В статье рассмотрены существующие системы сурдоперевода, выявлены их преимущества и недостатки. Основным недостатком данных систем является отсутствие блока семантического анализа исходного текста, направленного на решение проблемы многозначности слов в языке. В статье приведена общая схема перевода с русского языка на русский жестовый язык, которая состоит из анализа исходного текста, перевода на жестовую речь и визуализации жестовой речи. Разработан блок анализа исходного текста с учетом семантической составляющей русского языка, работа которого основана на словаре В.А. Тузова. В статье описан алгоритм семантического анализа. Приведена схема семантического анализа имени существительного. Анализ текста завершается в случае, когда у каждого слова остается только одно семантическое описание, таким образом решается проблема многозначности. К наиболее приоритетным направлениям модификации модуля семантического анализа можно отнести следующие: расширение базы жестов, осуществление разбора сложных предложений, добавление учета в алгоритм анализа специфики русского жестового языка. Проводится перевод текста на жестовую речь, который осуществляется с помощью анализа синтаксических конструкций русского языка и русского жестового языка. На основе данного анализа определяется соответствие синтаксических конструкций, в котором сложные предложения разбиваются на более простые. В ходе преобразования исходное предложение подвергается определенным дополнительным модификациям. В частности, причастие заменяется соответствующим глаголом. Данное преобразование применяется к обоим согласованным причастиям. Для указания на идентичность упоминаемых объектов вводятся местоимения. Затем формируется стандартная схема предложения на разговорном русском жестовом языке: подлежащее, определение, обстоятельство, сказуемое, дополнение. Разработана соответствующая библиотека для определения синтаксических конструкций.
Ключевые слова: русский жестовый язык, компьютерный сурдоперевод, семантический анализ, морфологический анализ, синтаксический анализ, омонимы, синтаксические конструкции, альтернативы
БО!: 10.17212/1814-1196-2016-1-106-119
* Статья получена 03 октября 2015 г.
ВВЕДЕНИЕ
По данным Всероссийской переписи населения, прошедшей в 2010 году, владение русским жестовым языком (РЖЯ) отметили 120 528 человек. Из приведенной статистики следует, что разработка систем перевода со звучащего языка на язык жестов и наоборот имеет особую социальную значимость. Компьютерный перевод на данный момент представляет одно из доминирующих направлений в области прикладной лингвистики.
Язык жестов - это способ коммуникации слабослышащих людей, в котором информации передается за счет движения рук, тела, мимики [1]. Же-стовый язык представляет собой естественный человеческий язык, и для его анализа используются методы, основанные на исследованиях звучащих языков [2]. Несмотря на то что жестовые языки задействуют не звуковой, а визуально-кинетический канал передачи информации, по своим фундаментальным свойствам они схожи со звучащими языками, что позволяет причислять их к естественным человеческим языкам и анализировать, используя методы и понятия, разработанные на материале звучащих языков [3]. В повседневной жизни жесты применяются каждым, но особое значение имеют для слабослышащих людей. Несмотря на все сложности взаимодействия с обществом, среди слабослышащих есть много талантливых людей. В качестве примера можно привести Виктора Гюго, Бетховена, Жан Жака Руссо. Этим людям ничто не помешало реализовать себя. В настоящий момент существуют язык жестов, специальные школы, различные объединения для реабилитации слабослышащих людей. Но данные программы не решают в полной мере проблему коммуникации людей с дефектами слуха с обществом и государственной властью. В связи с этим возникает необходимость в использовании мультимедийных компьютерных систем, которые будут переводить речь на язык жестов, и наоборот.
1. ПОСТАНОВКА ЗАДАЧИ
Основная сложность при реализации системы компьютерного сурдоперевода заключается в качестве перевода на РЖЯ. Под качеством перевода будем понимать правильность передачи смыслового значения предложения (его семантику). На первый взгляд можно ограничиться использованием субтитров, но при более подробном изучении можно сделать вывод, что использование субтитров не решают данную проблему. Во-первых, субтитры представляют собой калькирующую речь, т. е. происходит отображение на экране текста на русском языке, который не учитывает особенности жестового языка: грамматику, синтаксис, семантику. Вследствие этих особенностей у слабослышащих возникают сложности в понимании субтитров. Во-вторых, на основе поправки к Закону «О соцзащите инвалидов в Российской Федерации» от 26 декабря 2012 года русский жестовый язык получил статус «языка общения при наличии нарушений слуха и (или) речи, в том числе в сферах устного использования государственного языка», т. е. РЖЯ представляет собой самостоятельную языковую систему. Поэтому возникает необходимость в разработке системы компьютерного сурдоперевода, которая обеспечит достойную замену человеку-сурдопереводчику [4].
В качестве исходных данных используется текстовая строка, полученная в результате распознавания речи. Для повышения точности перевода разработаны программный модуль семантического анализа и модуль анализа на основе синтаксических конструкций. Суть данного подхода заключается в том, что впервые был применен словарь Тузова в алгоритме отбора многозначных слов, имеющих соответствующие жесты, и выделены основные конструкции жестового языка, на основе которых происходит перевод предложения. Таким образом, решается проблема перевода русской речи на РЖЯ. Целью данной статьи является описание способа построения модуля семантического анализа системы компьютерного сурдоперевода русского языка на основе словаря семантических отношений В.А. Тузова, алгоритма сопоставления синтаксических конструкций.
2. ОБЗОР СУЩЕСТВУЮЩИХ СИСТЕМ КОМПЬЮТЕРНОГО СУРДОПЕРЕВОДА
Последние 10 лет было замечено увеличение количества разработок систем машинного перевода со звучащего языка на язык жестов. Перевод на язык жестов фактически игнорировался общественностью машинных переводов, хотя системы перевода на язык жестов имеют большое значение для людей с ограниченными возможностями по слуху [2]. Рассмотрим системы перевода с английского языка на американский язык жестов.
Система 2аМо2 является системой перевода с английского языка на язык жестов с использованием языка-посредника (интерлингвы). Из-за большой трудоемкости применение системы возможно только для ограниченного количества предметных областей. Текущие исследования сосредоточены на разработке всеобъемлющей грамматики, морфологии и лексике для ирландского языка жестов [5]. Архитектура системы 2аМо2 представляет собой модульную систему, работающую в определенной структуре, которая представляет собой фреймовую структуру (рис. 1).
Рис. 1. Архитектура системы
Процессно-ориентированный взгляд на систему отражает структуру системы в виде различных списков. Для решения конкретных задач и получения необходимых знаний происходит обращение к этим спискам с помощью
операций чтения и записи. К входному документу, представляющему собой текст, применяются морфологические правила и эвристики для определения конструкции составного слова. Обработанный текст затем подвергается проверке на идиоматические выражения. Из этой унифицированной структуры можно выявить независимые от языка метафорические и метонимические структуры, характерные для исходного языка [6]. Далее проводится преобразование структуры текста языка-посредника в конструкции, которые отображаются на язык жестов с помощью аватара. Вместо попытки построить универсальную грамматику, обобщающую все синтаксические формы многих языков, используются данные, полученные путем моделирования смысла предложения на интерлингву [7]. В этом отражается уникальность данной системы.
Система TEAM - это система машинного перевода с английского языка на американский жестовый язык. Перевод в системе TEAM состоит из двух этапов: первый - перевод введенного предложения с английского языка на промежуточное представление с учетом синтаксической, грамматической и морфологической информации; второй - отображение промежуточного представления в виде движения с небольшим набором параметров, которые в дальнейшем преобразуются для управления моделью человека, воспроизводящей жесты. Гибкость системы позволяет адаптировать ее к другим жесто-вым языкам [8]. Для вывода предложения на американском жестовом языке необходима детально проработанная 3D модель человека. Модель должна иметь кисть с шарнирными пальцами, высокоточные руки и тело, а также лицо с управляемым выражением лица. Кроме того, нужны быстрые вычислительные модели для процедурной генерации широкого спектра естественно выглядящих жестов [9]. В общей сложности модель человека имеет 80 суставов со 135 степенями свободы (рис. 2).
Рис. 2. Модель человека системы TEAM
Туловище состоит из 17 суставов в позвоночнике между талией и шеей [10]. Обрабатывающий алгоритм движения используется для определения
положение туловища по комплексу углов стыковки. Движения руки определяются через параметр времени и векторы конечных позиций (ключевых точек). Аналитический алгоритм обратного движения вычисляет вращение плеча и локтя вокруг ключевой точки. В итоге формируется движение руки.
Проект У!81СЛ8Т является упрощенной системой, которая фиксирует движения и жесты человека-сурдопереводчика, а затем эти координаты рук переводчика передаются для последующего анализа с целью получения реалистичного аватара [11]. Рассмотрим более подробно процесс обработки жестов. Сурдопереводчик показывает жесты, сопровождая телевизионную программу. В этот момент для получения данных, необходимых для анимации, записываются жесты сурдопереводчика с помощью технологии захвата движений. Для достижения данной цели используются отдельные датчики для рук, лица и тела. Для записи позиции рук используются специальные перчатки. Также используются магнитные датчики для записи координат запястья, плеча, головы и верхней части туловища в трехмерном пространстве. Видеодатчик лица, состоящий из нашлемной камеры с инфракрасным фильтрами, записывает выражение лица. Отражатели располагаются в областях лица, представляющих интерес, таких как рот и брови.
Далее последовательность жестов интерпретируется программным модулем, который управляет анимацией аватара. На этом этапе происходит перевод жеста на ХМЬ-язык с помощью промежуточного языка [12]. Затем модуль совмещает описание жеста с описанием геометрических свойств для управления аватаром. Главный модуль программы представлен на рис. 3.
1 • —^ о^у——нп ЯПО
I !1» а» псШпд уи1»о. £ I !(11 коту. I 1мПК*<) Гоиг (с1*м1в. ||[9|:1{110М| ■ «1« ( ■ I I мсШв-; [ т | 1 1 1 , ■ II • С 1 1 : на» ( V ( 1 ) 1 , II '. < в > : ыЬ*л 1 • < В ) 1 . ■ С I в ><!»* | III » < 1 ) 1 НИ Ио|у ( » | в } ) , 1 1<[П :М>1»П, ■ 1 с 1 > : ui.rn |>(|)|. ] 1 • < 2 1 : 1а*1и ( г < * > , 1« < (1 I иг ( о | . «и»! * » ( 4 | } , ■ иг* ( »«г ( в I > * гвч( , II с I > : им» 1 • ( г 1 > . II * 1 Ь > £ 1[|)М [ШОП. 1 с [ д 1 с [1ыг.1 1 Я1 1 и 1 ] пявнввн ■та \ * »< -ятют | /СМ -----1 /ОиядгОк^!
I ап мсШпд VI ■. * I («11 гЬ» эЬсгу. I ¿я л ио*ап 1г> сп* 111л. I 1 глг! 1*<1 Гоиг Гг1«ы1в. I соок воир. I риЕ Лк оедп?* ?Ьс Ь1*М*с. [1 ИГ1М ОЛ с К* Ы*к1*(. ] ГЬ» Ы.*№]«с ГМ бГМф* Йр1ММ* мни ву 1СОМ. -г УК. ..к-к-к ш
[ ! ь ! Ь«тум£лс. Ьш«Ь<а1 1 1 МСИ«! Ь 1 &ев_»1*»4 1. 3 Ш)ун1|, 1шы1с*ськ1|ьдо11<л. (.«»! и г.»«!и.';«1С»Г1-1т.:.:, ЬаниГичк!, Ьш(>а
|И^ПИ 2 Г1С1»0 -- иь» VI эи л 1 *1«мш оС 1*1« |м!«П9« 3 1«1|у1ио11, и1ки(1п;, ТУ, уийо --
1 ^ Зв'г. И; 1 бТ*-'. оеъ
1 ^ С 1 Р« ]Г* П№?ум. М1ис. ЬамоосЬ. 1шнтн) 1 ымямтм, 1 1 I Г.аиуы!!. Ш*1С*1Ь*<1|ЧНС1«е. Ьш11 Ьм(1пд«1ир, 1ивга||г [<1: Ьш(юд«1С!р, haaf.li Ш. Т.П.
ГИвЭипоЬ Со»Ь: 0 Ап<1 СошЪ: 0 ИпУ Со»1 +----------------хр...............+ 1 +------с?р------♦ I +■—*<!- + -Кр»1-+ +--СЫО-+ 1 ...... ///// 1.р» 1В1Г1Ь*<1.У Соиг £П*ь4«.& .
Рис. 3. Главное модуль программы У18ЮЛ8Т
Ни одна из зарубежных систем не может обрабатывать входную информацию, поступающую в виде голоса. Для систем перевода, которые направлены именно на устный перевод, этот недостаток является существенным. Жестовые языки от звучащих отличаются тем, что используют пространственную информацию вокруг говорящего [13]. Следовательно, в данных си-
стемах необходим учет специфики жестового языка. Специфика воспроизведения жестов учитывается только в системе Team. Для более качественного перевода недостаточно только морфологической и синтаксической информации. В системе Zardoz делаются попытки учета семантической составляющей жестового языка. Технология перевода в системе ViSiCAST включает привлечение человека в процесс перевода, что является основным недостатком данной системы. Все системы отображают жесты с использованием аватара, но только в системе ViSiCAST достигнута максимальная реалистичность. Основным недостатком рассмотренных выше систем является отсутствие учета семантической составляющей как звучащего, так и жестового языка. Учет семантической составляющей в процессе перевода является большим преимуществом системы, обладающей таким свойством [14]. Качество перевода заметно повышается за счет этого улучшения. Для достижения наилучшего результата необходимо учитывать особенности семантики исходного языка и язык перевода.
3. ОБЩАЯ СХЕМА КОМПЬЮТЕРНОГО ПЕРЕВОДА РУССКОЙ РЕЧИ (ТЕКСТА) НА РУССКИЙ ЖЕСТОВЫЙ ЯЗЫК
Современные системы компьютерного перевода основываются на трехчленной модели Шаляпиной. Данная модель состоит из трех подсистем: анализа исходного текста, анализа межъязыковых преобразований и синтеза жестовой речи.
Компьютерный переводчик также должен обеспечивать загрузку текста, визуализацию результатов перевода, возможность изменения структуры системы (расширение, изменение словарей).
Анализ русского текста, состоит из следующих этапов:
1) морфологического анализа слов в предложении;
2) синтаксического анализа структуры предложения;
3) семантического анализа слов в предложении [2].
Морфологический и синтаксический анализ выполняется на основе системы «Диалинг» [15]. В системе «Диалинг» морфологический анализ состоит из морфоанализа и лемматизации словоформ. Под лемматизацией будем понимать приведение различных форм слова к словарным, а под мор-фоанализом - определение морфологических характеристик слова. Работа морфологического модуля основана на использовании трех морфологических словарей: большого словаря, который базируется на грамматическом словаре А.А. Зализняка; словаря имен собственных (например, Петр, Иванович, Иванов); словаря географических слов (например, Москва, Россия). На этапе лемматизации происходит определение начальной формы слова, необходимой для дальнейшей работы со словарями. Морфологическая часть речи определяется традиционным образом. Граммема - это единица морфологического описания. Например, у слова «кошка» будет следующий список граммем: жр, ед, им, од. При анализе реальных текстов необходимо учитывать соседние слова, потому что от выбора конкретной интерпретации зависит выбор интерпретации другого слова. Объем морфологического словаря составляет более 130 тысяч лексем, но и этого оказывается недоста-
точно. Если в словаре отсутствует данная словоформа, то применяется алгоритм, который ищет в словаре словоформу, максимально совпадающую с конца со входной словоформой.
В качестве входной информации синтаксического анализа поступают результаты морфологического анализа. На выходе получаем набор семантических отношений. Определим семантическое отношение как универсальную связь, которая усматривается носителем языка в конкретном контексте. Любой текст представляет собой набор различных отношений. Основная идея авторов списка отношений заключается в том, что связи в тексте можно определить через предложенные отношения или через их композицию. Большинство существующих семантических отношений считается универсальным. Главный недостаток отношений заключается в том, что одни отношения похожи на другие, но определить общие черты отношений и их различия непросто.
Так как в существующих системах перевода отсутствует модуль, выполняющий семантический анализ, то ниже будет более подробно рассмотрена система семантического анализа.
4. СИСТЕМА СЕМАНТИЧЕСКОГО АНАЛИЗА РУССКОГО ТЕКСТА
Значение слова в предложении определяется его соотношением с другими словами. Смысл предложения целиком зависит от смысла входящих в него единиц. Качество перевода с одного языка на другой в большей степени определяется корректностью работы семантического модуля. Для разрешения проблемы лексической многозначности необходимо обработать омонимы и фразеологизмы в предложении. Омонимия - это совпадение по звучанию и написанию различных слов: ласка - животное и ласка - проявление нежности, такса - собака и такса - тариф. Словарь омонимов русского языка О.С. Ахмановой содержит более 2000 словарных статей, содержащих группы или пары омонимов. Фразеологизмы отличаются от обычных сочетаний слов тем, что общее значение фразеологического оборота не равно сумме отдельных значений слов. Например, фразеологизм «авгиевы конюшни» имеет значение «очень грязное место».
Информация, полученная на этапах морфологического и синтаксического анализа, является входной информацией для семантического анализа: набор морфологических характеристик и набор семантических отношений. В некоторых случаях задача разрешения омонимии решается на основе данных морфологического анализа. В случае с примером «древние стены города» слово «древние» имеет два различных морфологических описания (прилагательное и существительное), как и слово «стен» (существительное женского рода и существительное мужского рода). При построении группы «прилсущ» были отвергнуты вторые варианты слов, и это упрощает последующий семантический анализ.
Разработанный модуль семантического анализа основывается на словаре В.А. Тузова [16]. В.А. Тузов каждое слово определил как валентную структуру, состоящую из набора актантов. Каждый актант состоит из набора характеристик, описанных в формуле
А = [СМ,, БЬ], Жк, МБ1, Ст, БРр}, (1)
где СИ, - номер класса, , = 1,...,N ; БЬ} - базисная лексема, ] = 1,...,М; Жк - семантическое описание, к = 1,...,Р ; МБ1 - морфологическое описание, I = 1,...,Х; Ст - комментарий, т = 1,...,Ь ; 5Рр - часть речи, р = 1,...,Ж.
Словарная статья компьютерного семантического словаря содержит заголовочное слово и его толкование на семантическом языке. Большинство слов словаря имеют несколько семантических описаний. В данном словаре предлоги являются частью речи, значение единиц которой может содержать более двухсот значений. В отдельные значения вынесены фразеологические обороты. Например, глагол «идти» имеет 25 словарных значений. Из них 12 значений относятся к фразеологическим оборотам: «идти вразрез», «впрок», «на поправку», «ва-банк», «замуж» и другие. Основная семантическая информация содержится в номере класса, кроме этого, может содержаться и дополнительная информация.
На основе семантического словаря была разработана база данных. Логическая структура базы данных состоит из тринадцати взаимосвязанных таблиц. К основным таблицам отнесем: таблицу «Словарные статьи», таблицу «Семантические описания», таблицу «Слова», таблицу «Фразеологизмы». Таблица «Словарные статьи» насчитывает 163 903 записи. Кроме того, были разработаны таблицы «Жесты» и таблица-связка «Жест-слово». На основе данных этих двух таблиц определяется соответствие «слово-жест».
Алгоритм семантического анализа состоит из следующих этапов:
1) выделение списка альтернативных лексических значений;
2) обработка фразеологизмов;
3) обработка предлогов;
4) закрепление лексических значений;
5) поиск соответствующих жестов.
Основная задача семантического анализа - построение списка независимых альтернатив и вычисление семантико-грамматического типа каждой альтернативы, входящей в описание. Эти преобразования выполняются в несколько этапов. На первом этапе происходит поиск всех альтернативных значений для каждого слова в предложении. На втором этапе выполняется следующая вспомогательная работа: нумеруются и идентифицируются все альтернативы каждого слова, выносится номер семантического класса слова, из семантического описания выносятся все аргументы. Построенное описание состоит из набора альтернатив, каждая из которых содержит две основные части: морфологическую с указанием семантического класса слова и семантическую. Первая часть альтернативы содержит информацию о том, к каким словам может присоединиться данное слово, вторая часть - какие слова оно может присоединить. При сборке во взаимодействие вступают две рядом стоящие конструкции.
Следующий этап работы семантического модуля заключается в обработке фразеологизмов. В семантическом словаре фразеологизмы определены в отдельные альтернативы. Для уменьшения количества альтернатив необходимо сначала обработать фразеологизмы. Для этого необходимо проверить все найденные альтернативы на вероятность вхождения во фразеологический
оборот. Если альтернатива может входить во фразеологический оборот, то происходит проверка связанных с ней слов на фразеологизм. При нахождении в предложении фразеологизмов удаляются все остальные альтернативы и остается только одна, представляющая собой фразеологический оборот. Иначе удаляются альтернативы, содержащие фразеологизмы. Таким образом уже на первом этапе количество альтернатив уменьшилось.
Процесс обработки предлогов начинается с определения списка предлогов предложения. На следующем шаге осуществляется поиск предложно-падежных сочетаний. Правильный выбор семантического описания предлога зависит от класса связанного с ним существительного. После определения подходящего значения предлога удаляются остальные альтернативы предлога. В итоге получаем, что каждому предлогу соответствует единственное семантическое описание.
Дальнейшие действия анализатора зависят от вида предложения. Выделим два вида предложений: первый - предложения, в составе которых только одно слово имеет несколько альтернатив, второй случай - в предложении несколько слов-омонимов. В первом случае цикл отсутствует и анализируется только одно слово. Анализ зависит от части речи многозначного слова. На текущий момент проводится анализ глаголов, имен существительных, имен прилагательных, инфинитивов, причастий, деепричастий, наречий, вводных конструкций. Алгоритмы в каждом случае различны.
Рассмотрим алгоритм анализа имени существительного. Проводится анализ каждой альтернативы существительного. Делается заключение, является ли данное слово главным или зависимым в словосочетании. На основе семантических отношений, построенных на предыдущих этапах, определяется часть речи второго слова. Далее выполняется обработка словосочетания в зависимости от части речи второго слова. Значение существительного может зависеть от прилагательного, глагола, причастия или от другого существительного. Далее происходит поиск соответствующей альтернативы на основе соответствия семантического класса и падежа. Если для одного словосочетания подходящих альтернатив нет, то алгоритм продолжает свою работу с оставшимися, и так до тех пор, пока не остается одно значение имени существительного.
Для корректной обработки глагола необходимо учесть словосочетание, где глагол выступает в роли главного слова и зависимого слова. Гипотеза запоминается и подтверждается в случае, если второе словосочетание удовлетворяет исследуемой альтернативе.
Во втором случае анализ происходит в цикле. Каждая итерация начинается с проверки количества слов с множеством альтернатив. Предложение просматривается до тех пор, пока у каждого слова будет только одно семантическое описание. Когда каждому слову соответствует только одна семантическая характеристика, то происходит поиск соответствующего жеста. Результатом работы системы является список соответствия «слово-жест». Разработан программный комплекс, позволяющий выполнять семантический анализ предложений (рис. 4).
Рис. 4. Система семантического анализа
Последние разработки в данном направлении ориентированы на увеличение количества жестов и улучшение процесса обработки предложений. Для достижения первой цели были использованы три способа. В первом случае для увеличения количества жестов был использован словарь синонимов. Это позволило переводить большее количество слов звучащего языка на язык жестов. Другой метод заключается в использовании антонимов с отрицанием. Толкование значения слова является третьим способом увеличения количества жестов.
5. ПЕРЕВОД ПРЕДЛОЖЕНИЯ НА ЖЕСТОВУЮ РЕЧЬ
Рассмотрим модуль перевода русского текста на РЖЯ. На данном этапе будем опираться на полученные ранее результаты лингвистического исследования русского жестового языка в части особенностей лексики, словообразования, морфологии, синтаксиса и семантики жестового языка глухих и слабослышащих граждан Российской Федерации, которые используются при разработке компьютерного сурдопереводчика русского языка. Цель описываемых синтактико-семантических преобразований - упрощение текста русского языка за счет разбиения предложений, представляющих сложные ситуации, на последовательности более простых предложений. Единицей, над которой осуществляются преобразования, является предложение, содержащее полное причастие.
В результате применения каждого правила преобразования исходное предложение разбивается на две части, каждая из которых обозначает меньшее число ситуаций, чем исходное предложение, и в этом смысле является более простым по сравнению с ним. В ходе преобразования исходное предложение подвергается определенным дополнительным модификациям. В частности, причастие заменяется соответствующим глаголом. Данное преобразование применяется к обоим согласованным причастиям. Для указания на идентичность упоминаемых объектов вводятся местоимения.
Предложение разделяется на три части: первая - начало предложения, вторая - выделенная синтаксическая конструкция, третья - конец предложе-
ния. В предложении «Плеск дождевых капель, ниспадавших на его поверхность, далеко относил гул» второй фрагмент соответствует части «Плеск капель, ниспадавших на его поверхность».
Правила могут заменять или устранять некоторые части исходного текста, а также изменять порядок следования некоторых частей текста. Общее условие применимости: правила данного типа применимы только в том случае, если в результате предшествующего (морфологического и синтаксического) анализа выделена группа причастие и существительное, в которой причастие является полным. Данный тип правил представлен шестью вариантами (2 правила для причастий действительного залога и 4 правила для причастий страдательного залога). Например, в результате применения правила предложение «Плеск дождевых капель, ниспадавших на его кипящую поверхность, далеко относил гул» будет разделено на два более простых: [дождевые капли ниспадали на его поверхность] и [плеск этих капель далеко относил гул].
Нужно заметить, что возможен и перевод на основе базового порядка следования жестов в предложении. Затем формируется стандартная схема предложения на разговорном русском жестовом языке: подлежащее, определение, обстоятельство, сказуемое, дополнение.
ЗАКЛЮЧЕНИЕ
В данной работе рассмотрена система компьютерного перевода с русского языка на русский жестовый язык. Проведен анализ существующих систем компьютерного сурдоперевода. Описана технология компьютерного перевода русской речи на русский жестовый язык. Впервые разработан блок анализа исходного текста с учетом семантической составляющей русского языка на основе словаря В. А. Тузова. Разработаны и реализованы алгоритмы семантического анализа для многозначных слов. Приведена схема семантического анализа имени существительного. Анализ текста завершается в случае, когда у каждого слова остается только одно семантическое описание, таким образом решается проблема многозначности. К наиболее приоритетным направлениям модификации модуля семантического анализа можно отнести следующие: расширение базы жестов, осуществление разбора сложных предложений. Перевод текста на жестовую речь осуществляется с помощью анализа синтаксических конструкций языка перевода и целевого языка. Разработан модуль для определения синтаксических конструкций. В будущем планируется внедрить разработанные технологии в систему «Сурдофон».
СПИСОК ЛИТЕРАТУРЫ
1. Прозорова Е.В. Российский жестовый язык как предмет лингвистического исследования // Вопросы языкознания. - 2007. - № 1. - С. 44-61.
2. Мануева Ю.С., ГрифМ.Г., КозловА.Н. Построение системы компьютерного сурдоперевода русского языка // Труды СПИИРАН. - 2014. - Вып. 6 (37). - С. 170-187.
3. Гриф М.Г., Тимофеева М.К. Проблема автоматизации сурдоперевода с позиции прикладной лингвистики // Сибирский филологический журнал. - 2012. - № 1. - С. 211-219.
4. Гриф М.Г. Методы и технологии компьютерного сурдоперевода: учебное пособие. -Новосибирск: Изд-во НГТУ, 2012. - 71 с.
5. Veale T., Conway A. Cross modal comprehension in ZARDOZ: an English to sign-language translation system // Proceedings of the Seventh International Workshop on Natural Language Generation, Kennebunkport, Maine, USA, 21-24 June 1994. - Kennebunkport, 1994. - P. 249-252.
6. Andre E. The generation of multimedia presentations // A Handbook of Natural Language Processing: Techniques and Applications for the Processing of Language. - New York: Marcel Dek-ker, 2000. - P. 305-327.
7. Multimodal generation in the COMIC dialogue system / M.E. Foster, M. White, A. Setzer, R. Catizone // Proceedings of the ACL 2005 on Interactive Poster and Demonstration Sessions, Ann Arbor, Michigan, 25-30 June 2005. - Morristown: Association for Computational Linguistics, 2005. - P. 40-48.
8. Zhao L., Kipper K., Schuler W. A machine translation system from English to American sign language // Lecture Notes in Computer Science. - 2000. - Vol. 1934. - P. 54-67.
9. Kopp S., Tepper P., Cassell J. Towards integrated microplanning of language and iconic gesture for multimodal output // 6th International conference on Multimodal interfaces, 6-9 August 2004. - USA, Pennsylvania: State College, 2004. - P. 136-144.
10. Cassell J., Stone M., Yan H. Coordination and context-dependence in the generation of embodied conversation // International Natural Language Generation Conference, 2-5 September 2000. - Stroudsburg, Pennsylvania, USA, 2000. - P. 171-178.
11. WakefieldM. VisiCAST Milestone: final report N IST-1999-10500 / Information Societies Technology. - [S. l.], 10 December 2002. - 97 p.
12. SpeersA.L. Representation of American sign language for machine translation: doctoral dissertation / Georgetown University, Department of linguistics. - Washington, 2001. - 136 p.
13. Huenerfauth M. Improving spatial reference in American sign language animation through data collection from native ASL signers Proceedings of the 5th International Conference on Universal Access in Human-Computer Interaction, UAHCI 2009. Pt. 3: Applications and Services, San Diego, California, USA, 19-24 July 2009. - Berlin; Heidelberg: Springer, 2009. - P. 530-539.
14. Huenerfauth M. Spatial, temporal, and semantic models for American sign language generation: implications for gesture generation // International Journal of Semantic Computing. - 2008. -Vol. 2, iss. 1. - P. 21-45.
15. СокиркоА. Семантические словари в автоматической обработке текста: по материалам системы Диалинг: дис. ... канд. техн. наук: 05.13.17 / Российский государственный гуманитарный университет. - М., 2000. - 120 c.
16. ТузовВ.А. Компьютерная семантика русского языка: учебное пособие. - СПб.: Изд-во СПбГУ, 2003. - 391 c.
Гриф Михаил Геннадьевич, доктор технических наук, профессор, заведующий кафедрой автоматизированных систем управления факультета автоматики и вычислительной техники Новосибирского государственного технического университета. Области научных интересов: проектирование и оптимизация процесса функционирования человеко-машинных систем, системы искусственного интеллекта, лингвистические и технологические аспекты разработки компьютерного сурдопереводчика. Опубликовано более 200 научных работ. E-mail: grifmg@mail.ru
Мануева Юлия Сергеевна, аспирант кафедры автоматизированных систем управления факультета автоматики и вычислительной техники Новосибирского государственного технического университета. Область научных интересов - компьютерный сурдопереводчик. Опубликовано 14 научных работ. E-mail: juleno4eknot1@rambler.ru)
Development of a semantic speech (text) analysis for translation into the Russian sign language*
M.G. GRIF1, J.S. MANUEVA2
1 Novosibirsk State Technical University, 20, K. Marx Prospekt, Novosibirsk, 630073, Russian Federation, D.Sc.(Eng.), professor. E-mail: grifmg@mail.ru
Novosibirsk State Technical University, 20, K. Marx Prospekt, Novosibirsk, 630073, Russian Federation, postgraduate student. E-mail: juleno4eknot1@rambler.ru
The paper makes an analysis of the existing computer sign language interpretation systems. Their advantages and disadvantages are revealed. The main disadvantage is a lack of an original text semantic analysis unit designed to solve the problem of homonyms. A general scheme of the translation system from the sounding Russian language into the Russian sign language is presented which includes a semantic analysis unit. A block of the source code analysis taking into account the semantic component of the Russian language is developed. The semantic module operation is based on the Tuzov dictionary. The semantic analysis algorithm is proposed. The scheme of the semantic analysis of the noun is also described. The text analysis is completed when every word has only one semantic description, which solves the problem of ambiguity. The priority areas of the semantic analysis module modification include expanding the base of gestures, implementing complex sentence parsing, and taking into the account the specifics of the Russian sign language in the algorithm analysis. Translations of texts in the sign language are carried out by analyzing the syntax of the target language. Based on this analysis matching syntax structures are found in which complex sentences are divided into simpler ones. During this conversion an original sentence undergoes some additional modifications. In particular, the participle is replaced by the verb. This transformation is applied to both matched participles. Pronouns are used to specify the identity of the objects referred to. Then the standard sentence structure in the spoken Russian sign language is built, namely the subject, the attribute, the adverbial modifier, the predicate and the object. A library to determine syntax constructions has been developed.
Keywords: Russian sign language, computer sign language interpretation, semantic analysis, morphological analysis, syntactic analyses, homonyms, syntax constructions, alternatives
DOI: 10.17212/1814-1196-2016-1-106-119 REFERENCES
1. Prozorova E.V. Rossiiskii zhestovyi yazyk kak predmet lingvisticheskogo issledovaniya [Russian sign language as an object of linguistic research]. Voprosy yazykoznaniya - Topics in the study of language, 2007, no. 1, pp. 44-61.
2. Manueva Y.S., Grif M.G., Kozlov A.N. Postroenie sistemy komp'yuternogo surdoperevoda russkogo yazyka [Computer sign language interpretation system development of Russian language]. Trudy SPIIRAN- SPIIRAS Proceedings, 2014, iss. 6 (37), pp. 170-187.
3. Grif M.G., Timofeeva M.K. Problema avtomatizatsii surdoperevoda s pozitsii prikladnoi lingvistiki [The problem of automation of sign language from the perspective of applied linguistics]. Sibirskii filologicheskii zhurnal - Siberian Philologycal Journal, 2012, no. 1, pp. 211-219.
4. Grif M.G. Metody i tekhnologii komp'yuternogo surdoperevoda [Methods and techniques of computer sign language]. Novosibirsk, NSTU Publ., 2012. 71 p.
5. Veale T., Conway A. Cross modal comprehension in ZARDOZ: an English to sign-language translation system. Proceedings of the Seventh International Workshop on Natural Language Generation, Kennebunkport, Maine, USA, 21-24 June, 1994, pp. 249-252.
* Received 03 October 2015.
6. Andre E. The generation of multimedia presentations. A Handbook of Natural Language Processing: Techniques and Applications for the Processing of Language. New York, Marcel Dek-ker, 2000, pp. 305-327.
7. Foster M.E., White M., Setzer A., Catizone R. Multimodal generation in the COMIC dialogue system. Proceedings of the ACL 2005 on Interactive Poster and Demonstration Sessions, Ann Arbor, Michigan, 12-14 June 2005, pp. 40-48.
8. Zhao L., Kipper K., Schuler W. A machine translation system from English to American sign language. Lecture Notes in Computer Science, 2000, vol. 1934, pp. 54-67.
9. Kopp S., Tepper P., Cassell J. Towards integrated microplanning of language and iconic gesture for multimodal output. 6th International conference on Multimodal interfaces, USA, Pennsylvania, 6-9 August 2004, pp. 136-144.
10. Cassell J., Stone M., Yan H. Coordination and context-dependence in the generation of embodied conversation. International Natural Language Generation Conference, Stroudsburg, Pennsylvania, USA, 2-5 September 2000, pp. 171-178.
11. Wakefield M. VisiCASTMilestone: final report no. IST-1999-10500. Information Societies Technology, 10 December 2002. 97 p.
12. Speers A.L. Representation of American sign language for machine translation. Doctoral dissertation. Georgetown University, Department of linguistics. Washington, 2001. 136 p.
13. Huenerfauth M. Improving spatial reference in American sign language animation through data collection from native ASL signers. Proceedings of the 5th International Conference on Universal Access in Human-Computer Interaction, UAHCI2009. Pt. 3: Applications and Services, San Diego, California, USA, 19-24 July 2009, pp. 530-539.
14. Huenerfauth M. Spatial, temporal, and semantic models for American sign language generation: implications for gesture generation. International Journal of Semantic Computing, 2008, vol. 2, iss. 1, pp. 21-45.
15. Sokirko A. Semanticheskie slovari v avtomaticheskoi obrabotke teksta: po materialam sis-temy Dialing. Diss. kand. tekhn. nauk [Semantic dictionaries in automatic text processing: based on materials of the DIALING system. PhD eng. sci. diss.]. Moscow, 2000. 120 p.
16. Tuzov V.A Komp'yuternaya semantika russkogo yazyka [Computer semantic of Russian language]. St. Petersburg, SpbSU Publ., 2003. 391 p.
ISSN 1814-1196, http://journals.nstu.ru/vestnik Science Bulletin of the NSTU Vol. 62, No 1, 2016, pp. 106-119
