CC BY
82
М.Г. Гриф
Новосибирский государственный технический университет
М.К. Тимофеева
Институт математики им. С.Л. Соболева СО РАН, Новосибирский государственный университет
Проблема автоматизации сурдоперевода с позиции прикладной лингвистики
Аннотация: В статье рассматриваются базовые отличительные свойства автоматического перевода, ориентированного на жестовые языки; формулируются общие функциональные требования к семантическому компоненту такой системы; очерчиваются основные современные подходы к построению систем автоматического перевода для жестовых языков.
The paper considers basic distinctive features of a system of sign language machine translation, formulates general functional requirements of a semantic component of such a system, and outlines principal present-day approaches to the construction of sign language machine translation systems.
Ключевые слова: автоматический перевод, русский язык, русский жестовый язык, семантика.
Machine translation, the Russian language, Russian sign language, semantics.
УДК: 81'33.
Контактная информация: Новосибирск, пр. К. Маркса, 20. НГТУ. Тел. (383) 3461153. E-mail: [email protected]. Новосибирск, пр. акад. Коптюга, 4. ИМ СО РАН. Тел. (383) 3332598. E-mail: [email protected].
В настоящее время в России существуют три основных средства коммуникации, предназначенных для глухих и слабослышащих людей: дактильная азбука, калькирующая жестовая речь, русский жестовый язык. Первые два средства, в отличие от третьего, не являются самостоятельными семиотическими системами, а лишь кодируют определенные составляющие русского звучащего языка (дактильная азбука кодирует буквы русского алфавита, калькирующая речь - слова).
Сфера коммуникации, доступная носителям русского жестового языка (РЖЯ) пока значительно уже, чем у носителей русского звучащего языка1 (РЗЯ). Многие источники текстовой информации и каналы языковой связи остаются недоступными. Создание автоматического сурдопереводчика, способного осуществлять двунаправленный перевод текстов с РЗЯ на РЖЯ и обратно, позволит существенно расширить сферу использования жестового языка, включив в нее, в част-
© М.Г. Гриф, М.К. Тимофеева, 2012
1 «Звучащим языком» здесь именуется естественный язык, имеющий звуковую форму. При этом объектом рассмотрения не обязательно должна быть именно звуковая форма, в частности, автоматический перевод может быть ориентирован на преобразование письменной формы звучащего языка в жестовый язык.
ности, такие актуальные для сегодняшнего дня средства как интернет-сервисы и системы сотовой связи.
В 1998 году в институте социальной реабилитации Новосибирского государственного технического университета впервые в мировой практике был разработан компьютерный сурдопереводчик с русской звучащей речи на калькирующую речь. В настоящее время планируется разработать на этой основе систему компьютерного сурдоперевода непрерывной русской звучащей речи на русский жесто-вый язык [Гриф, Королькова, 2011; Гриф, Демьяненко, Королькова, 2011]. Грамматические аспекты данной задачи обсуждаются в [Королькова, 2011].
Цели данной статьи: определить особенности жестовых языков, существенные для организации системы автоматического перевода и предопределяющие ее специфику по сравнению с автоматическим переводом звучащих языков; сформулировать базовые функциональные требования к семантическому компоненту системы; представить общую картину существующих методов автоматического перевода для других жестовых языков.
Первый вопрос, который здесь возникает, таков: в какой степени указанный автоматический перевод является межъязыковым?
С позиции современной лингвистики жестовые языки - это самостоятельные семиотические системы, относимые к числу естественных языков, сравнимые с ними по сложности, но построенные на основе визуально-кинетических модальностей (изменения расположения рук, их конфигурации, выражения лица и т. д.). Жестовые языки во многом сходны с полисинтетическими языками [Прозорова, 2006б].
Уже эти факты свидетельствуют о том, что указанный перевод является весьма нетривиальным, требует не только знания обеих семиотических систем (РЖЯ и РЗЯ) и построения межъязыковых соответствий, но и изучения ряда специфических проблем, с которыми не сталкиваются создатели систем автоматического перевода, ориентированных на звучащие языки. Прежде чем рассматривать эти проблемы, кратко характеризуем жестовые языки и базовые принципы их описания.
Жестовые языки используются преимущественно глухонемыми людьми. Относительно общего числа таких языков единого мнения нет, одни лингвисты полагают, что их немногим более ста, другие насчитывают сотни [Wilcox, Morford, 2006]. Современные исследования жестовых языков, начавшиеся в 60-х годах ХХ в. с трудов У. Стоуки (Stokoe), основываются на выделении единиц жеста, которые Стоуки назвал «керемами» («черемы», «хиремы», от гречеф, -
«рука») и подразделил на три класса: 1) конфигурации рук (руки), 2) место производства знака, 3) характер движения. Позже добавили четвертый параметр - ориентацию ладони руки при производстве знака. Основанием для выделения этих параметров, которые современные лингвисты называют «фонемами» [Прозорова, 2006], является существование минимальных пар знаков, различающихся только по одному параметру и имеющих разные значения. В отличие от фонем звучащих языков, организующихся в морфеме в линейную последовательность, керемы присутствуют в жесте одновременно.
Автоматический перевод, связывающий звучащие языки с жестовыми, сопряжен с решением ряда специфических проблем, не возникающих при построении систем автоматического перевода для звучащих языков. Основные проблемы можно кратко резюмировать следующим образом.
1. Жестовый язык - это многомодальное средство коммуникации. Смысловую нагрузку в нем могут нести не только жесты, но и немануальные компоненты: взгляд, выражение лица, положение головы и тела. Коммуникация на звучащем языке также многомодальна, но в гораздо меньшей степени, кроме того, она может иметь одномодальный вариант (письменный текст). Письменные нотации жестового языка не используются как средство коммуникации.
В настоящее время возрастает интерес к изучению многомодальных аспектов коммуникации (в звучащих и жестовых языках). Особенно активны исследования в когнитивной науке и в области разработки многомодальных интерфейсов между человеком и компьютером. Однако существующие общедоступные системы автоматического перевода для звучащих языков предназначены для перевода одно-модальных письменных текстов и поэтому не сталкиваются с рядом специфических проблем, с которыми сопряжен автоматический перевод, ориентированный на многомодальную коммуникацию. Так, принципы интеграции различных входных модальностей пока не разработаны даже для звучащих языков [Мйе1Ьег§, 2006]. Решение этой проблемы осложняется тем, что разные модальности не обязательно синхронизированы по времени. Например, и в звучащем, и в жестовом языке спонтанные жесты несколько опережают само речевое высказывание [Рон-жин, Карпов, Ли, 2006, с. 139-141]: при использовании аудиоинформации и видеоинформации о форме губ в системах аудиовизуального распознавания речи выяснилось, что эти модальности не являются полностью синхронизированными.
2. Пока не существует унифицированного способа записи знаков жестового языка. Применяется несколько разных систем нотации, или транскрипции, (некоторые из них рассмотрены в [МШ:е1Ье^, 2006]; [Карпов, Кагиров, 2011]), так или иначе, использующих указанные выше четыре параметра, но по-разному определяющих область их значений и символическую запись. Разработка нотации, подходящей для системы автоматического перевода, представляет собой самостоятельную и очень непростую проблему.
3. Жестовые языки обладают меньшей степенью стандартизации, чем звучащие языки. О недостаточной стандартизации РЖЯ свидетельствует, в частности, наличие нескольких диалектов этого языка. Прежде всего выделяют петербургский и московский диалекты РЖЯ (по данным мультимедийных словарей различия между ними могут доходить до 30-40 % жестов-слов [Карпов, Кагиров, 2011]). Диалекты РЖЯ используются в Белоруссии, Казахстане, Украине. Соответственно возникает проблема выбора тех диалектов, на которые будет ориентирован перевод.
4. Жестовый язык - смешанная семиотическая система, в рамках которой помимо средств, входящих только в жестовый язык, может использоваться дак-тильная азбука и калькирующая речь. Дактильная азбука служит для введения и передачи звучания новых слов (например, собственных имен), для которых не существует готовых средств жестового языка. Калькирующая жестовая речь - это вторичная знаковая система, она калькирует лингвистическую структуру звучащего языка. Жесты здесь являются эквивалентами слов, а порядок их следования такой же, как в обычном предложении.
Это, пожалуй, единственная особенность жестового языка, облегчающая автоматический перевод: она уменьшает значимость проблемы неполноты словаря. Если при переводе со звучащего языка на жестовый некоторое слово не найдено ни в одном из доступных словарей, то оно может быть передано с помощью дак-тильной азбуки. В автоматических переводчиках для звучащих языков такое слово обычно просто переносится в выходной текст в непереведенном виде.
5. Жестовые языки относят к числу контактных языков, взаимодействующих с соответствующими звучащими языками и подверженными их влиянию (некоторые примеры такого влияния в РЖЯ рассматривает В.И. Киммельман [К1шше1шап 2009]). При разработке системы автоматического сурдоперевода возникает проблема выявления основных направлений, условий и результатов влияния РЗЯ на РЖЯ.
6. Как и в звучащих языках, в жестовом языке, помимо собственно жесто-вых знаков, используется также жестикуляция. Однако в звучащем языке жестикуляция и вербальная речь реализуются каждая в своей модальности, поэтому они легко отделимы друг от друга. В жестовом языке аналогичное разграничение про-
извести невозможно: эти две составляющие слиты воедино [Прозорова, 2006а, с. 28]. При автоматизации сурдоперевода возникает проблема выявления критериев отграничения собственных знаков РЖЯ от сопутствующей им жестикуляции.
7. В отличие от звучащего языка, тексты которого линейны, жестовый язык основан на использовании трехмерного пространства. Знак жестового языка может иметь теоретически бесконечное количество разных по смыслу пространственных вариаций. Таковы, например, жестовые знаки, предназначенные для локализации мыслимых или воспринимаемых объектов, определения траекторий движения, очертаний предметов и т. д., варьирующиеся в пределах всей области жестикуляции, принимая любое из бесконечного числа возможных значений. Ни в каком звучащем языке не найдется аналогичного количества словесных обозначений. Система нотации жестового языка обычно вносит дискретность в область жестикуляции и, тем самым, обедняет язык, сводя бесконечное количество возможных вариантов знака к некоторому конечному числу. При разработке автоматического сурдоперевода (в частности, при выборе системы нотации) необходимо найти некий оптимальный способ решения данной проблемы.
8. Жестовые языки обладают определенными когнитивными особенностями, значимыми для семантического компонента системы перевода. Укажем те из них, которые представляются наиболее важными.
8.1. Текстам жестовых языков свойственна лаконичность. Это проявляется, например, в тенденции к редуцированию содержания сообщения за счет устранения малозначащих элементов [Воскресенский, Хахалин, 2007]. В этом плане интересно экспериментальное исследование звучащих языков, в рамках которого сравнивались лингвистические характеристики многомодальной и од-номодальной (письменной) коммуникации в системе русскоязычного интерфейса между человеком и компьютером [Ронжин, Карпов, Ли, 2006]. Оказалось, что при многомодальной коммуникации вербальная составляющая более лаконична (разные модальности дополняют друг друга, уменьшая, вербальную часть). Можно предположить, что наблюдаемая в жестовых языках тенденция к редукции содержания отчасти обусловлена жестовой модальностью. Это, однако, не снимает саму проблему: требуется определить, какие составляющие содержания наиболее подвержены редукции.
8.2. Жестовым языкам свойственна конкретность. «Для слова характерно обобщение, для жеста - конкретность» [Гейльман, 2001, с. 9]. Знаки жесто-вого языка образны, поэтому обобщения, абстракции здесь не столь распространены и часто выражаются более сложно, чем конкретные понятия. В частности, чтобы обозначить собирательное понятие в РЖЯ нужно перечислить последовательно несколько конкретных предметов, охватываемых этим понятием. Например, понятие «мебель» обозначается так: СТОЛ, СТУЛ, КРОВАТЬ, РАЗНЫЙ1 [Зайцева, 2000, с. 40]. Система перевода, ориентированная на современное состояние жестового языка, должна учитывать эту его особенность, хотя исследователи и полагают, что множество обобщенных, отвлеченных и абстрактных понятий в таких языках имеет тенденцию пополняться с течением времени [Гейльман, 2001].
8.3. На синтаксис жестового языка могут влиять те семантические характеристики знаков, которые тесно связаны с визуально-кинетическими модальностями этого языка. Например, в локативных конструкциях (описывающих местонахождение или перемещение объектов) в начале предложения обычно указывается местонахождение. Предполагается, что устройство таких конструкций определяется визуальной модальностью жестового языка [Киммельман, 2010, с. 49]. Интересно, что исследование звучащих языков [Ронжин, Карпов, Ли, 2006,
1 Жесты принято обозначать соответствующими им словами, напечатанными прописными буквами.
с. 142-143] показало, что при многомодальной коммуникации в них также может нарушаться канонический порядок слов. В каноническом варианте порядок таков: «субъект - глагол - объект - местоположение», при многомодальном взаимодействии 95 % слов, определяющих локализацию объектов, стоят в первой позиции. Иначе говоря, для звучащих языков многомодальный способ взаимодействия лингвистически отличается от одномодального. При автоматизации перевода необходимо выявить те семантические классы конструкций жестового языка, которые - в силу визуально-кинетической модальности этого языка - могут оказывать влияние на синтаксис его высказываний.
8.4. В жестовом языке возможно «привязать» обсуждаемый, но не находящийся в поле визуального восприятия объект к определенному месту пространства жестикуляции [Кибрик, Прозорова, 2007]. Последующие референции к тому же объекту базируются на данной его локализации. Это означает, что если в процессе коммуникации говорится о перемещении этого объекта, то соответствующим образом должно меняться и его местонахождение. Например, если некий человек «размещен» в точке А жестового пространства вдали от человека, «размещенного» в точке В, а затем утверждается, что эти два человека идут навстречу друг другу, то (по прошествии подходящего промежутка времени) точки А и В должны сблизиться. Иначе говоря, система перевода должна включать в себя динамическую модель трехмерного пространства.
8.5. Очень существенная особенность жестового языка, привлекающая всё большее внимание в современных исследованиях, состоит в том, что многие знаки в нем иконичны, то есть основаны на воспроизведении физических свойств обозначаемых ими объектов (формы, траектории движения и т. д.).
На первый взгляд может показаться, что данный факт должен сделать разные жестовые языки похожими друг на друга. Однако это не так. Сходство не превышает определенного, не слишком высокого, порога, обеспечивающего базовый уровень взаимопонимания: по оценке из [Карпов, Кагиров, 2011] менее 30 % жестов разных жестовых языков одинаковы. Поэтому создание единого автоматического сурдопереводчика, не ориентированного на конкретный жестовый язык, -пока задача нереализуемая. (Имеется международный жестовый язык, но он не получил широкого распространения.)
Иконичность многих знаков жестового языка обусловливает ряд непростых проблем. Об одной из этих них уже говорилось выше (см. пункт 7). Иконичный знак реализуется в недискретном трехмерном пространстве, поэтому любой конечный дискретный инвентарь знаков жестового языка недостаточен, что затрудняет формальное описание такого языка.
Вторая проблема связана с возможностями образования метафор. В жесто-вом языке могут использоваться метафоры [Wilcox, Morford, 2006], однако это языковое средство здесь имеет специфические ограничения, отсутствующие в звучащих языках. В частности, форма иконического знака может препятствовать образованию метафор, вполне обычных для звучащего языка. Эта особенность жестовых языков детально рассмотрена в [Meir, 2010] и проиллюстрирована следующим примером. Во многих звучащих языках употребляются метафоры типа «время летит», «день пролетел» и т. д. Однако в израильском жестовом языке невозможно использовать знак ЛЕТАТЬ в подобных выражениях. Это объясняется тем, что форма данного знака иконична (махание руками как крыльями), но в указанных выражениях звучащих языков вовсе не подразумевается, что время «машет крыльями», а имеется в виду, что полет - это очень быстрый способ перемещения. Форма знака (махание крыльями) входит в конфликт с тем аспектом значения, на котором строится метафора в звучащем языке (быстрое движение), что и препятствует образованию аналогичной метафоры в жестовом языке. Таким образом, метафоры звучащего языка не всегда можно непосредственно перевести на жестовый язык. Естественно предположить, что особенности визуально-
кинетических модальностей влияют и на другие виды переносных значений в жестовых языках. Этот вопрос требует специального рассмотрения при разработке автоматического перевода.
Третья проблема обусловлена существованием в жестовых языках так называемых классификаторных предикатов. В иконическом знаке, относимом к этому классу, траектория движения руки соответствует траектории движения объекта-участника описываемой ситуации, а форма руки отображает некоторые значимые свойства этого объекта, при этом одна и та же форма руки может служить для обозначения целого класса объектов со схожими внешними признаками1 [Прозорова, 2006А]. В классификаторных предикатах, способных представлять трехмерную ситуацию, наиболее ярко отражается возможность бесконечного варьирования знака жестового языка. Это усложняет применение традиционных методов компьютерной лингвистики при построении системы автоматического перевода. Действительно, опыт разработки систем перевода текстов с английского звучащего языка на амслен (американский жестовый язык, родственный русскому жесто-вому языку) показывает, что для моделирования таких предикатов необходимо использовать семантический анализ, знания о мире, о пространственных отношениях, средства рассуждения [Huenerfauth, 2003; 2004]. Проблема усугубляется тем, что частота использования классификаторных предикатов довольно велика: в речи на амслене встречается примерно один такой предикат в минуту (один на 100 знаков) [Huenerfauth, 2004].
Разработка системы автоматического перевода, ориентированного на жесто-вый язык, должна основываться на той или иной степени (в зависимости от назначения системы) решения проблем, описанных в пунктах 1-8. В частности, можно сформулировать базовые функциональные требования к семантическому компоненту: коммуникация, обеспечиваемая системой перевода, должна быть похожа на жестовую коммуникацию по характеристикам, указанным в пунктах 8.1 - 8.5. Конечно, этот перечень не является исчерпывающим. Визуально-кинетические модальности жестового языка могут обусловливать особенности других аспектов семантики, например, отношений между смыслами (противоречие, синонимия, антонимия, гипонимия и т. д.), референции и кореференция, семантических валентностей, многозначности, анафоры и т. д. При любом межъязыковом переводе возникает также проблема сопоставления «картин мира», соответствующих рассматриваемым языкам, разные языки могут по-разному «делить» мир на составляющие, соответствующие отдельным лексическим единицам. Часть перечисленных вопросов рассмотрена на материале РЖЯ в работах А.А. Кибрика, Е.В. Прозоровой, В.И. Киммельмана, А.Л. Воскресенского, Г.К. Хахалина и др.
Опыт разработки систем автоматического перевода для жестовых языков составляет примерно два десятилетия. Выделяют два основных подхода: перевод, базирующийся на правилах (rule-based), и перевод, базирующийся на данных (data-based). В системах первого типа правила перевода строятся вручную на основе знания обоих языков, в системах второго типа правила выводятся автоматически на основе компьютерного анализа языковых данных, не опирающегося на какие-либо предварительные знания об устройстве рассматриваемых языков. Примером системы второго типа может служить статистический автоматический перевод.
Одна из систем первого типа предложена в [Huenerfauth, 2004]. Автор фокусирует внимание на возможности перевода классификаторных предикатов. Он
1 У лингвистов нет единого мнения насчет классификаторных предикатов: одни считают составляющими языковой системы, другие - паралингвистическими средствами. Однако, как справедливо отмечено в [НиепейаиШ, 2003], эти дебаты не устраняют необходимость моделирования таких предикатов при разработке систем машинного перевода и вряд ли способны облегчить эту задачу.
сравнивает существующие системы первого типа (rule-based), переводящие тексты английского звучащего языка на амслен, с точки зрения их способности работать с разными типами текстов [Huenerfauth, 2003]. Большинство систем перевода можно сгруппировать в три класса (хотя имеются и переходные варианты).
1. Прямой перевод: пословный перевод без проведения синтаксического анализа.
2. Трансфер. Входной текст анализируется на уровне синтаксиса (или семантики), после этого множество переводных правил («трансфер») генерирует соответствующую синтаксическую (или семантическую) структуру выходного языка. На следующем этапе порождающий компонент системы преобразует эту структуру в текст выходного языка.
3. Интерлингва. В этом случае анализ входного текста продвигается еще глубже: строится семантическое представление («интерлингва») на специальном искусственном языке, не зависящем от входного и выходного языков. На основе этого представления порождающий компонент системы поэтапно генерирует текст выходного языка.
Эти три типа систем можно изобразить в виде пирамиды [Huenerfauth, 2003]. Чем до более высокой части пирамиды доходит анализ языка, тем более сложным и тонким этот анализ является, тем более резко возрастает объем работы, которую надо осуществить создателям системы. Для прямого перевода требуется только двуязычный словарь, при использовании трансфера добавляются правила синтаксического (семантического) анализа и собственно правила трансфера, для интерлингвы - язык описания глубинной семантики и, возможно, база знаний, специфичная для рассматриваемой предметной области.
Прямой перевод дает приемлемые результаты в тех случаях, когда порядок слов в английском тексте и в амслене одинаков. Трансфер позволит справиться с большинством предложений амслена, не требующих сложного анализа трехмерного жестового пространства. Для классификаторных предикатов необходим подход третьего типа (интерлингва). Таким образом, каждый из способов подходит для своего типа текстов, поэтому в [НиепейаиШ, 2004] предлагается объединить все эти способы в одной системе, способной выбирать траекторию перевода текста в зависимости от его типа.
Как утверждается в [Dreuw et al., 2008], сейчас довольно интенсивно используется автоматический перевод, основанный на данных (data-based). Такие системы существуют, например, для немецкого, нидерландского, ирландского, китайского жестовых языков.
Вопрос о том, какие результаты дает использование разных принципов организации автоматического перевода для русского жестового языка, еще предстоит исследовать.
Литература
Воскресенский А.Л., Хахалин Г.К. Мультимедийный толковый словарь русского жестового языка // Компьютерная лингвистика и интеллектуальные технологии: Труды международной конференции «Диалог 2007» (Бекасово, 30 мая -3 июня 2007 г.). М., 2007. С. 115-120.
Гейльман И.Ф. Знакомьтесь: ручная речь. М., 2001.
Гриф М.Г., Королькова О.О. Разработка компьютерного сурдопереводчика звучащей речи на разговорный русский жестовый язык // Материалы XI Межд. науч.-метод. конф. «Информатика: проблемы, методология, технологии». 1011 февраля 2011 года. Воронеж, 2011. Т. 1. С. 206-208.
Гриф М.Г., Демьяненко Е.А., Королькова О.О. Разработка технологий компьютерного сурдоперевода непрерывной русской речи на разговорный русский жестовый язык // Сборник науч. труд. Российской науч.-практ. конф. «Автоматизированные системы и информационные технологии» 22-23 сентября 2011 года. Новосибирск, 2011. С. 59-68.
Зайцева Г.Л. Жестовая речь. Дактилология: Учебник для студентов. М., 2000.
Карпов А.А., Кагиров И.А. Формализация лексикона системы компьютерного синтеза языка жестов. СПб., 2011. Вып. 1(16). С. 123-140.
Кибрик А.А., Прозорова Е.В. Референциальный выбор в русском жестовом языке // Компьютерная лингвистика и интеллектуальные технологии: Труды международной конференции «Диалог 2007» (Бекасово, 30 мая - 3 июня 2007 г.). М., 2007. С. 220-230.
Киммельман В.И. Базовый порядок слов в русском жестовом языке: Дипломная работа. М., 2010.
Киммельман В.И. Нерегулярные отрицания в русском жестовом языке // Структуры и интерпретации: Работы молодых исследователей по теоретической и прикладной лингвистике. М., 2007. С. 89-103.
Королькова О.О. Сопоставление морфологии русского звучащего и русского жестового языка // Приложение к журналу «В мире научных открытий». Красноярск, 2011. Вып. 1: Материалы IV Всероссийской научно-практической конференции с междунар. участием «Научное творчество ХХ1 века» (апрель 2011 г.). С. 182-183.
Прозорова Е.В. Референциальные характеристики именных групп в российском (русском) жестовом языке. Дипломная работа. М., 2006а.
Прозорова Е.В. Является ли российский жестовый язык полисинтетическим? // Третья конференция по типологии и грамматике: Материалы. СПб, 2006б. С. 128-132.
Прозорова Е.В. Маркеры локальной структуры дискурса в русском жестовом языке: Автореф. дис. ... канд. филол. наук. М., 2009.
Ронжин А.Л., Карпов А.А., Ли И.В. Речевой и многомодальный интерфейсы. М., 2006.
Dreuw P., Stein D., Deselaers T., Rybach D., Zahedi M., Bungeroth J., Ney H. Spoken Language Processing Techniques for Sign Language Recognition and Translation // Technology and Disability. Vol. 20, N. 2. 2008. P. 121-133.
Huenerfauth M. A Survey and Critique of American Sign Language Natural Language Generation and Machine Translation Systems. Technical Report MS-CIS-03-32, Computer and Information Science, University of Pennsylvania. 2003.
Huenerfauth M. A Multi-Path Architecture for Machine Translation of English Text into American Sign Language Animation // Proceedings of the Student Workshop at the Human Language Technology conference / North American chapter of the Association for Computational Linguistics annual meeting (HLT-NAACL 2004), Boston, MA, USA. 2004. P. 25-30.
Kimmelman V. Russian grammar features in Russian Sign Language discourse // International Conference on Minority Languages XII «Language contact and change in multiply and multimodally bilingual minority situations». Tartu, 2009.
Meir I. Iconicity and metaphor: Constraints on metaphorical extension of iconic forms // Language. Vol. 86. № 4. 2010. Рp. 865-896.
Mittelberg I. Methodology for multimodality: one way of working with speech and gesture data // Methods in cognitive linguistics. Amsterdam; Philadelphia, 2006. P. 225-248.
Wilcox S., Morford J. P. Empirical methods in signed language research // Methods in cognitive linguistics. Amsterdam; Philadelphia, 2006. P. 171-200.
