CC BY
163
ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ В ОБРАЗОВАТЕЛЬНОЙ ДЕЯТЕЛЬНОСТИ
УДК 004.82
М. Г. Гриф, А. В. Лукоянычев
МУЛЬТИМЕДИЙНЫЙ ПРОГРАММНЫЙ КОМПЛЕКС ДЛЯ СОЗДАНИЯ СЛОВАРЯ РУССКОГО ЖЕСТОВОГО ЯЗЫКА
Исследуется возможность компьютерного сурдоперевода русского жестового языка, основой которого является словарь. Проанализированы современные мультимедийные словари жестового языка с точки зрения их использования при автоматическом сурдопереводе. Обоснована перспективность использования анимированного персонажа (аватара) для демонстрации жестов и применения нотаций жестового языка для управления им. Проведен анализ современных нотаций жестового языка. Приведены обоснования использования нотации Димскис в качестве перспективной для разработки словаря русского жестового языка. Использование современного кроссплатформенного графического пакета Unity3D для создания модели анимированного сурдопереводчика позволяет создать экономичную и эффективную систему. Функционал пакета Unity3D доступен и удовлетворяет всем требованиям по работе с аватаром. Рассматриваются основные характеристики нотации Димскис и особенности использования элементов нотации при компьютерной реализации. Описана многоуровневая структура программного комплекса для создания справочника жестового языка. Иерархическая структура построения дерева анимаций позволяет структурировать последовательность доступности элементарных записей для применения, ограничить возможности необратимых изменений основных разработанных движений и в то же время обеспечить пользователю простую доступность всех необходимых элементарных анимаций. Применение нотации Димскис позволяет пользователям, знакомым с русским жестовым языком, самостоятельно пополнять словарь терминов, использование справочника предполагается для демонстрации дактилем и слов, а также составных словосочетаний. Предложенный подход предоставляет возможность создания «уроков» по определенным темам.
Ключевые слова: жестовый язык, русский жестовый язык, мультимедийный словарь, нотация Димскис, Unity3D, анимированный персонаж, аватар, библиотека «клипов».
Введение
Программа «Доступная среда» [1] предусматривает положительную социализацию слабослышащих людей в условиях современного общества. Для реализации сурдоперевода разрабатываются мультимедийные компьютерные системы, используются возможности сети Интернет.
Универсального жестового языка, единого для глухих людей всего мира, не существует, в мире зафиксировано более 120 жестовых языков. В начале 50-х гг. 20 в. комиссией Всемирной федерации глухих был разработан международный жестовый язык жестуно (Gestuno) для облегчения общения участников международных конференций [2]. Словарь жестуно включает около 1500 жестов. Однако существенным недостатком жестуно является отсутствие грамматики. В последние годы в Европе рост взаимодействия между сообществами глухих разных стран привел к возникновению панъевропейского пиджинизированного жестового языка, но он, как и жестуно, не является родным языком какой-либо группы глухих [3].
Национальные особенности русского жестового языка (РЖЯ) отражаются в самобытной лингвистической системе, обладающей своеобразной лексикой, грамматикой и т. д. Наиболее полное описание лексики РЖЯ - 4-томный словарь «Специфические средства общения глухих» [4], содержащий более 3000 слов и составленный по принципу «от русского слова - к жесту».
Жестовые языки обладают меньшей степенью стандартизации, чем звучащие языки. О недостаточной стандартизации РЖЯ свидетельствует, в частности, наличие нескольких диалектов этого языка. Так, выделяют петербургский и московский диалекты РЖЯ (по данным словарей, различия между ними могут составлять 30-40 % жестов-слов [5]). Диалекты РЖЯ используются во многих районах Российской Федерации, а также в Белоруссии, Казахстане, Украине. Соответственно, возникает проблема выбора тех диалектов, на которые будет ориентирован перевод [6].
Предлагаемое исследование является составной частью исследований по переводу звучащей речи в жестовый язык и обратно, проводимых в Новосибирском государственном техническом университете [7]. Так, например, перевод текста (звучащей речи) на РЖЯ связан с выявлением его смысла, переводом на грамматику жестового языка, с поиском слов в словаре, с представлением их в виде нотаций и отображением с помощью аватара. А один из подходов к распознаванию РЖЯ заключается в представлении жестов в виде компьютерных нотаций, в поиске слов в словаре и лингвистической обработке для представления в виде текста или голосового сообщения. Таким образом, важной составной частью этого большего проекта является запись РЖЯ в виде нотаций и создание словаря.
Словари и нотации жестового языка
Основой любого компьютерного сурдоперевода является словарь жестового языка. Среди существующих мультимедийных компьютерных словарей РЖЯ можно отметить следующие [8]:
- мультимедийный видеословарь «Толковый словарь русского жестового языка -RuSLED». Программа является интерактивной оболочкой к видеословарю РЖЯ, записанному в 2002 г. в Межрегиональном центре реабилитации лиц с проблемами слуха (г. Павловск);
- видеословарь «Тематический словарь русского жестового языка», созданный Московской городской организацией Всероссийского общества глухих (ВОГ);
- мультимедийная электронная обучающая система «Русский жестовый язык. Базовый курс», созданная в 2001 г. центром «Истина» при поддержке центрального правления ВОГ;
- интерактивный видеословарь «DigitGestus», созданный в г. Новосибирске в 1996-1997 гг., содержащий несколько сотен элементов;
- интерактивный видеословарь проекта «Сурдосервер 2.0», содержащий те же самые видеоматериалы, что и электронная обучающая система «Русский жестовый язык. Базовый курс» 2001 г., а также оригинальный жестовый словарь по направлению «Информационные технологии»;
- мультимедийный «Словарь лексики русского жестового языка», созданный в 2006 г.
Однако следует отметить, что не существует такого словаря РЖЯ, который позволял бы
по форме жеста находить его значение, хотя в мире создание подобных словарей жестовых языков - достаточно распространенная практика [3].
Передача столь сложной комбинации, осуществляемой в пространстве и времени, весьма затруднительна для записи. Для описания жеста по его признакам существует несколько различных систем нотации (жестовой транскрипции), позволяющих зафиксировать представление жеста в записи.
Однако эти системы практически не используются в естественном общении, основными областями их применения являются образовательная сфера и лингвистические исследования. Данные системы являются фонографическими, т. е. они основаны на иконическом и символьном изображении компонентов жеста [9]. Разработка нотации, подходящей для системы автоматического перевода, представляет собой самостоятельную и очень непростую проблему [6].
Первая система транскрибирования жестов была разработана У. Стокоу [10]. Она состояла из 55 символов, образующих три группы в соответствии с тремя параметрами:
1) место выполнения жеста по отношению к телу говорящего;
2) форма кисти руки, выполняющей жест;
3) траектория движения руки.
Впоследствии был введен четвертый параметр структуры жеста - ориентация рук в пространстве относительно друг друга и корпуса говорящего [11].
Нотация Стокоу позволяет записать только те значения параметров жеста, которые ее автор считал смысловыми, значительными для американского жестового языка, поэтому данная нотация не позволяет описать многие динамические параметры выполнения жеста, которые могут вносить существенный вклад в смысл жеста.
Существует несколько других систем нотации жестовых языков, они обладают разной степенью подробности и иконичности и ориентированы на описание различных явлений в жестовых языках.
Широко известной системой транскрипции жестовых языков является Гамбургская система нотации HamNoSys [12], которая ориентирована на очень подробное описание жеста. В ней используется около двухсот символов, обозначаются не только место выполнения жеста, форма и траектория движения руки, но и ориентация руки, немануальные жесты (мимика говорящего). При записи жеста сначала записывается форма руки (рук), затем ориентация, место выполнения жеста и характер движения. Жесты в транскрипции HamNoSys довольно сложны для визуального восприятия, однако система записи подходит для компьютерной обработки. Эта нотация используется в проекте «Информационный киоск», где демонстрацию жестов для словаря RuSLED осуществляет анимированный персонаж (аватар). Несмотря на то, что дополненная версия HamNoSys имеет знаки для отображения некоторых элементов мимики, при управлении аватаром они не используются. Для записи жестов применяется методика «захвата движений» (motion capture) демонстратора. Жесты фиксируются с помощью нескольких камер, специальных перчаток, отражателей на костюме и лице [13].
Если проводить аналогии с записью звучащей речи, нотацию Стокоу можно сравнить с фонематической транскрипцией, HamNoSys - с фонетической [2]. По иному принципу строится транскрипционная система Беркли (BTS) [14].
В основе BTS лежит принцип выделения в жесте «значимых» элементов, ее можно сопоставить с глоссированием. Одни и те же элементы жестовой структуры могут, в зависимости от смысла жеста, получать разное содержательное наполнение. Значение компонента жестовой структуры указывается с помощью специального индекса.
Жест в транскрипции представляет собой последовательность элементов, снабженных индексами: сначала записывается форма пассивной руки, потом форма активной руки, движение руки, ориентация руки. Система BTS была разработана для транскрибирования жестового дискурса и поэтому включает в себя символы для обозначения дискурсивного поведения говорящего - различных выражений лица, интенсивности выполнения жестов, пауз, ошибок в выполнении жестов и т. п.
Описанные выше системы записи жестов нашли применение в лингвистических научных исследованиях [4]. В повседневном применении получила развитие транскрипция Sign writing [15]. Созданная профессиональной танцовщицей, специалистом по записи движений человеческого тела, эта транскрипция из исследовательского инструмента быстро превратилась в форму записи жестовой речи. Все большее число носителей жестовых языков пользуются системой Sign writing, считая ее письменной формой своего родного языка [16]. Но Sign writing продолжает использоваться и как система нотации в лингвистических исследованиях [17].
Sign writing базируется на принципах, предложенных У. Стоуки. В Sign writing жест не записывается как линейная последовательность символов, а изображается пиктограммой, включающей иконические изображения рук, их движений, их расположения относительно друг друга и говорящего. Транскрипция позволяет точно и наглядно отображать жесты, при этом остается простой для восприятия.
Этот жестовый язык отличается большей проработанностью и однозначностью записи. Однако у него весьма велик набор знаков (свыше тысячи), что делает его малопригодным для применения в компьютерных технологиях. Запомнить и использовать на практике их трудно. Намного практичнее сократить число частных случаев конфигурации руки, описывая их как переменные. Такому требованию удовлетворяет система нотации жестов, предложенная для РЖЯ Л. Димскис [18]. В ее нотации выделяется более 30 конфигураций рук, около 50 характеристик места исполнения жеста и более 70 характеристик локализации.
Использование нотации Димскис для реализации словаря РЖЯ в большей степени удовлетворяет всем рассмотренным ограничениям и условиям, необходимым для автоматизированного компьютерного сурдоперевода:
- ограниченное количество нотаций;
- формирование слов РЖЯ на основе нотаций, не требующее сложной аппаратуры для видеозахвата и (или) программного обеспечения для распознавания движения;
- нотации Димскис - основные транскрипции РЖЯ;
- возможность использования анимированного персонажа для отображения РЖЯ;
- символьная запись, значительно уменьшающая объем словаря и повышающая скорость воспроизведения на мобильных устройствах.
Для реализации 3D-модели сурдопереводчика (аватара) был выбран мощный графический движок Unity3D, основным преимуществом которого является кроссплатформенность и доступность. Unity3D имеет возможность сборки приложения под несколько популярных операционных систем как на мобильных устройствах, так и на персональных компьютерах.
Программный комплекс для создания словаря русского жестового языка
В Unity3D сложный анимационный персонаж (аватар) описывается и управляется по частям. Это предполагает древовидную структуру скелета аватара. Рука анимационного персонажа состоит из элементов: ключица, плечо, предплечье, кисть . Unity3D поддерживает связность суставов. Используется относительная полярная система координат. Описание перемещения любого элемента руки рассчитывается от конечной точки (родителя) предыдущего элемента (сустава). Для перевода элемента руки в новое положение необходимо обязательно указать параметры конечного пространственного угла (изменения углов по трем координатам) и время, требуемое для выполнения перемещения. Описание движения элементов относительно предыдущего (родительского) сустава позволяет описывать перемещение элементов независимо друг от друга и упростить составление нотации Димскис. Передвижение всегда возможно по двум направлениям: по часовой стрелке или против. Для правильного, естественного движения, присущего человеку, необходимо выбрать кратчайший путь. Для этого необходимо вычислить углы поворота как по часовой, так и против часовой стрелки и выбрать из них минимальный - именно он соответствует естественному движению аватара (человека).
Положение конечной точки, таким образом, описывается 3 углами поворота и временем перехода в это положение. Разработано программное обеспечение, которое позволяет переводить созданное в Unity3D движение в текстовый формат и наоборот - текстовый формат такого описания в анимационное движение (рис. 1). Данный переход составляет основу всех анимационных движений («точка»). В среде Unity3D создаются также анимированные простейшие элементы движения других элементов руки.
Элемент руки Конечное положение Время Расчетные углы поворота
Х Y Z Секунда Ах Ay Az
Правое плечо Xi Yi Zi X1—X0 Yi-Yo Zi-Zo
Рис. 1. Пример текстового описания движения правого плеча
Для описания естественного для человека движения элемента руки часто требуется более сложная траектория, которую необходимо описывать состоящей из нескольких промежуточных положений. Для этой цели создается более сложный сценарий («кривая»), содержащий последовательные действия (рис. 2).
Элемент руки Конечное положение Время Расчетные углы пово рота
Х Y Z Секунда Ах Ay Az
Плечо X, y, Zi ti Xi-Xo Yi-Yo Zi-Zo
Плечо X2 Y2 Z2 t2 X2-Xi Y2-Yi Z2-Zi
Плечо X3 Y3 Z3 t3 X3—X2 Y3-Y2 Z3-Z2
Рис. 2. Кривая - совокупность последовательного выполнения нескольких перемещений
В большинстве движений таким простым способом не обойтись. Например, движение плеча (части руки до локтевого сустава) невозможно без движения ключицы (в плечевом суставе), поэтому приходится создавать наборы простейших анимаций для создания движения элементов руки. Движение плеча содержит сценарий из двух элементов - это составляет дополнительную основу простейших движений - «клип» (рис. 3). Это же можно отнести и к повороту кисти - поворот кисти невозможен без поворота предплечья. Эти действия в среде Unity3D выполняются параллельно.
Нотация Димскис Элемент руки Конечное положение Время Расчетные углы поворота
^ на уровне плеч перед собой Х Y Z Секунда Ax Ay Az
Левое плечо Xi Yi Zi ti Xi-Xo Yi-Yo Zi-Zo
Левое предплечье X2 Y2 Z2 t2 X2-X1 Y2-Yi Z2-Zi
Рис. 3. «Движение левой рукой»
Наиболее трудоемким описанием движений является перемещение составляющих элементов кисти (запястья, пястья и фаланг пальцев) руки (рис. 4).
Нотация Димскис Элемент руки - пальцы (фаланги) Конечное положение Время Расчетные углы поворота
Х Y Z Секунда Ax Ay Az
Ладонь раскрыта, пальцы выпрямлены Правый мизинец (проксимальная) Xii Yii Zii tii Xii-Xoi Yii-Yoi Zii-Zoi
Правый мизинец (средняя) X2i Y2i Z2i t2i X2i-Xii Y2i-Yii Z2i-Zii
Правый мизинец (дистальная) X3i Y3i Z3i t3i X3i-X2i Y3i-Y2i Z3i-Z2i
Правый безымянный палец (проксимальная) Xi2 Yi2 Zi2 ti2 Xi2-Xo2 Yi2-Yo2 Zi2-Zo2
Правый безымянный палец (средняя) X22 Y22 Z22 t22 X22-Xi2 Y22-Yi2 Z22-Zi2
Правый безымянный палец (дистальная) X32 Y32 Z32 t32 X32-X22 Y32-Y22 Z32-Z22
Рис. 4. «Движение правыми пальцами» - проксимальная фаланга, средней и дистальной
В нотации Димскис количество таких положений ограничено и составляет менее 50 случаев. Для упрощения работы пользователей при создании справочника и уроков движение пальцев также собирается в «клип». При этом выполнение движений отдельными элементами описывается «кривыми», движения выполняются последовательно, а все в совокупности элементы (пальцы) выполняют движения параллельно. Набор сформированных элементарных анимаций («клипов») составляет основу визуализированных нотаций Димскис.
У каждой из этих анимаций указано время выполнения - оно недоступно пользователям. Его можно поменять только в среде Unity.
«Клипы» делятся на статические и динамические. Статические описывают перевод руки аватара из начального состояния в конечное, например, положение пальцев или руки при демонстрации буквы РЖЯ. Динамические «клипы» отображают передвижения элементов руки при демонстрации символов нотации Димскис, соответствующих шевелению пальцев или движениям исполняемых жестов. В этой связи динамические «клипы» представляют собой набор статических «клипов» - например разведение и сведение пальцев. Динамические «клипы» в качестве начального состояния берут предыдущее и часто после демонстрации движения возвращаются в прежнее состояние.
На основе статических и динамических «клипов» формируется составной «клип», который после отладки может быть занесен в справочник готовых слов и букв РЖЯ (соответствует значению «знак»). Если новое слово справочника РЖЯ можно получить на основе «знака», то в этом случае более рационально подключать динамический «клип» к уже готовому знаку. Например, из буквы М можно получить слово МАРТ, добавив динамический «клип» <—► («обратимое, горизонтальное»).
По окончании выполнения записи в нотации Димскис отрабатывается заключительный «клип» - «возврат в начальное состояние».
В нотации Димскис все слова и буквы в основном начинаются с 5-символьного описания положения руки и пальцев. Нотация состоит из следующих символов:
- первый элемент - характер исполнения жеста (одноручный, двуручный);
- второй элемент - положение пальцев;
- третий элемент - направление ладони;
- четвертый элемент - направление пальцев;
- пятый элемент структуры - место расположения жеста. Например, запись в нотации Димскис буквы А представлена на рис. 5:
- первый знак (буква П) указывает на то, что жест выполняется правой рукой;
- второй знак иконографически указывает форму руки - сжатые пальцы;
- третий символ схематически изображает разворот ладони - она направлена от себя, от корпуса говорящего;
- четвертый знак указывает на ориентацию ладони - пальцами вверх;
- последний символ означает, что жест исполняется на уровне плеча человека.
Рис. 5. Пример записи жеста-буквы А в нотации Димскис
Символы нотации Димскис предназначены для наглядности демонстрации жестов человеком, поэтому они имеют некоторую избыточность и повторяемость. При компьютерной реализации это соответствует тому, что несколько символов нотации преобразуются в один «клип» и библиотека символов нотации Димскис имеет не прямой зависимости символ - «клип» (рис. 6). Создаются 3 библиотеки «клипов» - для правой и левой рук и на их основе - для двуручных жестов.
Нотация Димскис «Клип»
п Х Х Х п° Движение правой рукой вверх до плеча
Запись жеста - поднять правую руку до уровня плеча
П ё Х Х Х Движение указательным и средним пальцами правой руки (эквивалентно ), как для буквы М
Запись жеста - указательный и средний пальцы выпрямлены, остальные прижаты к ладони
п Х О Х Поворот правого предплечья ладонью к себе
Запись жеста - пальцы вверх, ладонь направлена от себя
Рис. 6. Примеры простого статического «клипа» для цифры 2 и избыточности описания нотации Димскис для выбора «клипа»
При запуске приложения загружается файл описания сцены с аватаром, находящимся в исходном положении. В режиме «Разработчик» доступны для отображения все созданные анимационные файлы, включая «элементарные». Разработчик имеет возможность создавать сценарии, используя всю иерархию библиотеки - от «точки» до «знаков» и «последовательностей». При необходимости может перейти в оболочку Unity3D и исправить или создать новый элемент анимации (рис. 7).
Рис. 7. Внешний вид программного модуля и редактирования в Unity3D
Созданный «клип» записывается в библиотеку символов нотаций Димскис, при этом ему ставятся в соответствие подходящие элементы. На основе полученных «клипов» производится разработка справочника РЖЯ (библиотека «знаков») за счет сборки составных «клипов» или применения уже готовых «знаков» (рис. 8).
Положение пальцев
Замена
Направление ладони
Направление пальцев
Библиотека «клипов» правой руки
Библиотека «клипов»
Место расположения
Библиотека «клипов»
Сборка составного «клипа» (предплечье вниз + предплечье повернуть на 0° + пальцы в фигуру + на уровне груди перед собой)
Библиотека динамических «клипов»
~А /
✓ у
Справочник РЖЯ — библиотека «знаков»
J '
—V»
Рис. 8. Пример формирования слова МАРТ либо из готового «знака» М, либо непосредственно по нотациям Димскис
В режиме «Пользователь» набирается необходимая запись в нотации Димскис, которая в соответствии со структурой библиотеки отбирает необходимые «клипы» для реализации слова. Сформированные записи могут быть занесены в справочник РЖЯ (библиотека «знаков») и в дальнейшем использоваться для составления новых слов и более сложных сценариев. В этом режиме пользователю доступна возможность изменения времени исполнения жестов за счет введения «множителя скорости».
Заключение
Использование нотации Димскис позволяет пользователям, знакомым с РЖЯ, самостоятельно пополнять словарь терминов, что является несомненным достоинством предлагаемого подхода.
Иерархическая структура построения дерева анимаций («точка», «кривая», «клип», «знак») позволяет структурировать последовательность доступности элементарных записей для применения, ограничить возможности необратимых изменений основных разработанных движений и в то же время обеспечить простую доступность всех необходимых элементарных анимаций пользователю. Для дальнейшего использования предоставляется возможность создания на основе «клипов» и «знаков» сценариев любой сложности для последовательного выполнения («последовательностей»), при этом можно регулировать время выполнения каждого входящего «клипа» и «знака» за счет введения множителя скорости выполнения. Использование в качестве исходной информации символов нотации Димскис позволяет реализовать поиск нужного символа по знакам нотации. Применение текстовых файлов для описания словаря существенно сокращает объем словарной базы и ускоряет время воспроизведения анимации на мобильных устройствах.
В дальнейшем использование «Справочника» предполагается для демонстрации дактилем и слов РЖЯ, а также составных словосочетаний. Предложенный подход на основе нотации Димскис предоставляет возможность создания «уроков» по определенным темам для обучения РЖЯ [19].
СПИСОК ЛИТЕРА ТУРЫ
1. Государственная программа Российской Федерации «Доступная среда» на 2011-2020 годы. URL: http://www.rosmintrud.ru/docs/government/170 (дата обращения: 9.11.2016).
2. Комарова А. А. Развитие исследований по истории глухих // Материалы Первого Моск. симпоз. по истории глухих. М.: Загрей, 1997. С. 16-25.
3. Прозорова Е. В. Российский жестовый язык как предмет лингвистического исследования // Вопросы языкознания. 2007. № 1. С. 44-61.
4. Гейльман И. Ф. Специфические средства общения глухих. Дактилология и мимика. Ч. 1-4 [Словарь]. Л.: ЛВЦ ВОГ, 1975-1979.
5. Grenoble L. An Overview of Russian Sign Language // Sign Language Studies. Maryland: Linstok Press, 1992. Vol. 21 (77). P. 321-338.
6. Гриф М. Г., Тимофеева М. К. Проблема автоматизации сурдоперевода с позиции прикладной лингвистики // Сибир. филолог. журнал. 2012. № 1. С. 211-219.
7. Мануева Ю. С., Гриф М. Г., Козлов А. Н. Построение системы компьютерного сурдоперевода русского языка // Тр. СПИИРАН. 2014. № 6 (37). С. 170-187.
8. Карпов А. А., Кагиров И. А. Формализация лексикона системы компьютерного синтеза языка жестов // Тр. СПИИРАН. 2011. Вып. 1 (16). С. 123-140.
9. Van der Hulst H., Channon R. Notation systems. Brentari D. (ed.). Sign languages. New York: Cambridge University Press, 2010. P. 151-172.
10. Stokoe W. Sign Language Structure: An Outline of the Visual Communication Systems of the American Deaf. New York: University of Buffalo, 1960. 78 p.
11. Battinson R. Lexical Borrowing in American Sign Language. Silver Spring: Linstok Press, 1978. 240 p.
12. Prillwitz S., Leven R., Zienert H., Hanke T., Henning J. HamNoSys. Version 2.0; Hamburg Notation System for sign languages: An introductory guide // International Studies on Sign Language and Communication of the Deaf. Vol. 5. Hamburg: Signum Press, 1989. P. 225-231.
13. Воскресенский А. Л., Ильин С. Н., Zelezny M. О распознавании жестов языка глухих // Компьютерная лингвистика и интеллектуальные технологии: По материалам ежегодной Международной конференции «Диалог» (Бекасово, 26-30 мая 2010 г.). Вып. 9 (16). М.: РГГУ, 2010. С. 76-81.
14. Hoiting N., Slobin D. Transcription as a tool for understanding: The Berkeley transcription system for sign language research (BTS). G. Morgan, B. Woll (eds.). Directions in sign language acquisition. Amsterdam: Philadelphia, 2002. P. 55-75. URL: http://ihd.berkeley.edu/btsforsignlanguage.pdf (дата обращения: 9.11.2016).
15. Sutton V. Lessons in SignWriting: textbook and workbook. La Jolla: Deaf action committee for sign writing, 1999.
16. Martin J. A linguistic comparison. Two notation systems for signed languages. Stokoe Notation and Sutton sign writing. Sign writing web site. La Jolla (CA) (Deaf action committee for sign writing). 2000. http://www.signwriting.org/archive/docsl/sw0032-Stokoc-Sutton.pdf (дата обращения: 9.11.2016).
17. Clark K., Clark-Gunsauls D. Research related to classifiers at Salk Institute uses sign writing // Sign writer newsletter. La Jolla. CA: Deaf action committee for sign writing, 1997.
18. Димскис Л. С. Изучаем жестовый язык: учеб. пособие. М.: Академия, 2002. 128 с.
19. Гриф М. Г., Мануева Ю. С. Разработка алгоритма семантического анализа речи (текста) для перевода на русский жестовый язык // Науч. вестн. НГТУ. 2016. № 1 (62). С. 106-119.
Статья поступила в редакцию 2.11.2016
ИНФОРМАЦИЯ ОБ АВТОРАХ
Гриф Михаил Геннадьевич — Россия, 630073, Новосибирск; Новосибирский государственный технический университет; д-р техн. наук, профессор; зав. кафедрой автоматизированных систем управления; [email protected].
Лукоянычев Алексей Викторович — Россия, 630073, Новосибирск; Новосибирский государственный технический университет; магистрант кафедры автоматизированных систем управления; [email protected].
M. G. Grif, A. V. Lukoyanychev
MULTIMEDIA SOFTWARE COMPLEX FOR CREATING THE DICTIONARY OF RUSSIAN SIGN LANGUAGE
Abstract. The possibility of computer Russian Sign Language interpretation, which is based on dictionary, was studied. The analysis of modern multimedia sign language dictionaries is made here in view of their further use in automatic sign language interpretation. The prospects of animated character (avatar) use for the demonstration of gestures and sign language notations for their control were substantiated. The analysis of modern notations of sign language was made. The substantiation of the use of Dimskis notation was given as promising for the development of Russian Sign Language Dictionary. The use of the modern cross-platform graphical Unity3D for the creation of animated sign language interpreter model allows to create the economical and effective system. The functionality of Unity3D is available and meets all the requirements for the work with avatar. The main characteristics of Dimskis notation and the peculiarities of the use of notation elements in the computer implementation are considered. The multi-level structure of software complex for the creation of sign language guide was described. The hierarchical structure of animation tree building allows constructing the sequence of available basic records, limiting the possibility of irreversible changes of main elaborated motions and at the same time providing the availability of all the necessary basic animations for the user. The use of Dimskis notation allows the users who know Russian sign language to enrich their term dictionary, the use of the guide is suggested for the demonstration of the dactyl and words and also compound phrases. The proposed approach gives the opportunity to create "lessons" on specific topics for training.
Key words: sign language, Russian Sign Language, a multimedia dictionary, notation Dimskis, Unity3D, animated character, avatar, clips library.
REFERENCES
1. Gosudarstvennaia programma Rossiiskoi Federatsii «Dostupnaia sreda» na 2011—2020 gody [State program of the Russian Federation "Accessible environment" for 2011-2020]. Available at: http://www.rosmintrud.ru/ docs/government/170 (accessed: 9.11.2016).
2. Komarova A. A. Razvitie issledovaniipo istorii glukhikh [Development of Deaf History Studies]. Materi-aly Pervogo Moskovskogo simpoziuma po istorii glukhikh. Moscow, Zagrei Publ., 1997. P. 16-25.
3. Prozorova E. V. Rossiiskii zhestovyi iazyk kak predmet lingvisticheskogo issledovaniia [Russian sign language as an object of linguistic research]. Voprosy iazykoznaniia, 2007, no. 1, pp. 44-61.
4. Geil'man I. F. Spetsificheskie sredstva obshcheniia glukhikh. Daktilologiia i mimika. Ch. 1—4 [Specific means of deaf communication. Fingerspelling and facial expressions. Parts 1-4]. Leningrad, LVTs VOG, 1975-1979.
5. Grenoble L. An Overview of Russian Sign Language. Sign Language Studies. Maryland: Linstok Press, 1992. Vol. 21 (77). P. 321-338.
6. Grif M. G., Timofeeva M. K. Problema avtomatizatsii surdoperevoda s pozitsii prikladnoi lingvistiki [The problem of automation of sign language from the perspective of applied linguistics]. Sibirskii filologicheskii zhurnal, 2012, no. 1, pp. 211-219.
7. Manueva Iu. S., Grif M. G., Kozlov A. N. Postroenie sistemy komp'iuternogo surdoperevoda russkogo iazyka [Computer Sign Language Interpretation of System Development of Russian Language]. Trudy SPIIRAN, 2014, no. 6 (37), pp. 170-187.
8. Karpov A. A., Kagirov I. A. Formalizatsiia leksikona sistemy komp'iuternogo sinteza iazyka zhestov [The formalization of the lexicon of computer synthesis of sign language system]. Trudy SPIIRAN, 2011, iss. 1 (16), pp. 123-140.
9. Van der Hulst H., Channon R. Notation systems. Brentari D. (ed.). Sign languages. New York: Cambridge University Press, 2010. P. 151-172.
10. Stokoe W. Sign Language Structure: An Outline of the Visual Communication Systems of the American Deaf. New York: University of Buffalo, 1960. 78 p.
11. Battinson R. Lexical Borrowing in American Sign Language. Silver Spring: Linstok Press, 1978. 240 p.
12. Prillwitz S., Leven R., Zienert H., Hanke T., Henning J. HamNoSys. Version 2.0; Hamburg Notation System for sign languages: An introductory guide. International Studies on Sign Language and Communication of the Deaf. Vol. 5. Hamburg: Signum Press, 1989. P. 225-231.
13. Voskresenskii A. L., Il'in S. N., Zelezny M. O raspoznavanii zhestov iazyka glukhikh [On the recognition of Deaf sign language]. Komp'iuternaia lingvistika i intellektual'nye tekhnologii: Po materialam ezhegodnoi Mezhdu-narodnoi konferentsii «Dialog» (Bekasovo, 26-30 maia 2010 g.). Iss. 9 (16). Moscow, RGGU, 2010. P. 76-81.
14. Hoiting N., Slobin D. Transcription as a tool for understanding: The Berkeley transcription system for sign language research (BTS). G. Morgan, B. Woll (eds.). Directions in sign language acquisition. Amsterdam: Philadelphia, 2002. P. 55-75. Available at: http://ihd.berkeley.edu/btsforsignlanguage.pdf (accessed: 9.11.2016).
15. Sutton V. Lessons in SignWriting: textbook and workbook. La Jolla: Deaf action committee for sign writing, 1999.
16. Martin J. A linguistic comparison. Two notation systems for signed languages. Stokoe Notation and Sutton sign writing. Sign writing web site. La Jolla (CA) (Deaf action committee for sign writing). 2000. Available at: http://www.signwriting.org/archive/docsl/sw0032-Stokoc-Sutton.pdf (accessed: 9.11.2016).
17. Clark K., Clark-Gunsauls D. Research related to classifiers at Salk Institute uses sign writing. Sign writer newsletter. La Jolla. CA: Deaf action committee for sign writing. 1997.
18. Dimskis L. S. Izuchaem zhestovyi iazyk [The study of sign language]. Moscow, Akademiia Publ., 2002. 128 p.
19. Grif M. G., Manueva Iu. S. Razrabotka algoritma semanticheskogo analiza rechi (teksta) dlia perevoda na russkii zhestovyi iazyk [Development of a semantic speech (text) analysis for translation into the Russian sign language]. Nauchnyi vestnik NGTU, 2016, no. 1 (62), pp. 106-119.
The article submitted to the editors 2.11.2016
INFORMATION ABOUT THE AUTHORS
Grif Michael Gennadievich — Russia, 630073, Novosibirsk; Novosibirsk State Technical University; Doctor of Technical Sciences, Professor; Head of the Department of Automated Control System; [email protected].
Lukoyanychev Alexey Viktorovich — Russia, 630073, Novosibirsk; Novosibirsk State Technical University; Undergraduate Student of the Department of Automated Control System; [email protected].
