CC BY
220
ИССЛЕДОВАНИЯ И РАЗРАБОТКИ В ОБЛАСТИ НОВЫХ ИНФОРМАЦИОННЫХ ТЕХНОЛОГИЙ И ИХ ПРИЛОЖЕНИЙ
УДК 004.5, 004.8
DOI: 10.25559^тТО.15.201901.172-181
Межъязыковые особенности жестовых языков (на материале жестов в знаковой форме)
М. А. Мясоедова, З. П. Мясоедова*
Институт проблем управления им. В.А. Трапезникова РАН, г. Москва, Россия * [email protected]
Аннотация
Статья посвящена рассмотрению характерных особенностей исполнения жестов, используемых в национальных жестовых языках глухих, в которых практически каждому слову имеется жестовое соответствие. Национальные жестовые языки характеризуются вариативностью, которая проявляется в использовании их носителями различных диалектов родного языка и заимствований из других жестовых языков. Это приводит к появлению в них одинаковых или похожих жестов с разным значением. В основе исследования лежит выявление сходства и различий элементов жестовой речи русского и национальных жестовых языков. Исследование проведено на основе элементов собственного корпуса наиболее употребительных жестов русского жестового языка различной тематики в письменной форме с использованием знаков нотации SignWriting. Письменная форма жестов позволяет в удобной статической форме рассмотреть их структуру, выявить особенности их формирования и выделить общие черты каждого из жестовых языков. Это даёт возможность передавать и хранить важную информацию, которая может быть использована в разных сферах деятельности человека. Целью настоящей работы является сбор и сопоставительный анализ жестов русского жестового языка и отдельных наиболее интересных национальных жестовых систем с целью выявления их общих черт. Для решения этой задачи были рассмотрены одинаковые жесты русского жестового языка и национальных жестовых языков, совпадающие или отличающиеся значениями. Приведены примеры с описанием общих и отличительных особенностей таких жестов.
Знание особенностей исполнения жестов различных жестовых языков способствует лучшему пониманию их в целом и помогает устранить неоднозначность и преодолеть трудности при переводе жестовой речи. Проводимые в различных странах исследования в области жестовых языков продолжаются до сих пор. Полученные результаты могут быть использованы специалистами, занимающимися проблемами записи элементов жестовой речи и разработкой систем машинного перевода с целью повышения точности их распознавания.
Ключевые слова: жесты, жестовый язык, жестовая нотация SignWriting, корпус жестов русского жестового языка, вариативность жестов, равнозначные и разнозначные жесты.
Для цитирования: Мясоедова М. А., Мясоедова З. П. Межъязыковые особенности жестовых языков (на материале жестов в знаковой форме) // Современные информационные технологии и ИТ-образование. 2019. Т. 15, № 1. С. 172-181. DOI: 10.25559^1Т1Т0.15.201901.172-181
Контент доступен под лицензией Creative Commons Attribution 4.0 License. The content is available under Creative Commons Attribution 4.0 License.
Современные информационные технологии и ИТ-образование
Том 15, № 1. 2019 ISSN 2411-1473 sitito.cs.msu.ru
RESEARCH AND DEVELOPMENT IN THE FIELD OF NEW IT AND THEIR APPLICATIONS
Interlanguage Features of Sign Languages (According to the Material of Gestures in Sign Form)
M. A. Myasoedova, Z. P. Myasoedova*
V.A. Trapeznikov Institute of Control Sciences, Russian Academy of Sciences, Moscow, Russia * [email protected]
Abstract
In this paper we investigate the features of gestures deaf people use in their national Sign Languages. In Sign Languages, almost every word has a sign equivalent. National Sign Languages are characterized by variability, which is manifested in the use by carriers of one Sign Languages of its various dialects and borrowings from other Sign Languages. This leads to the appearance in them of the same or similar gestures with different meaning. In our study we compare elements of Russian Sign Language with other Signs Language to find out their similarities and differences. Our study is based on the elements of our own corpus. The corpus includes the most commonly used signs of Russian Sign Languages of various topics; the signs are written in the SignWriting notation. The written form of a gesture allows us to look at the structure of the gesture in a convenient static form. The form also allows us to identify the features of gesture formation and to highlight the common features of each of the Sign Languages. This allows us to transmit and store important information to use in various fields of human activity. The purpose of our work is to collect and compare gestures of Russian Sign Languages and some of the most interesting national sign systems in order to identify their common features. To solve this problem, we investigated the same gestures of Russian Sign Languages and national Sign Languages; the gestures have the same or different meaning. We give examples that describe the general and distinctive features of such gestures. If we know the specifics of gestures in different Signs Languages, we will better understand the languages and make gesture speech unambiguous and easier to translate. Studies in the field of Sign Languages in various countries are still ongoing. Our results can be used by specialists in Sign Languages recording and in machine translation systems in order to recognize speech more accurately.
Keywords: Gestures; Sign Language; SignWriting notation; corpus of gestures of Russian Sign Language; Sign Language variability, equivalent and meaningful gestures.
For citation: Myasoedova M.A., Myasoedova Z.P. Interlanguage Features of Sign Languages (According to the Material of Gestures in Sign Form). Sovremennye informacionnye tehnologii i IT-obrazovanie = Modern Information Technologies and IT-Education. 2019; 15(1):172-181. DOI: 10.25559/SITI-TO.15.201901.172-181
Vol. 15, No. 1. 2019 ISSN 2411-1473 sitito.cs.msu.ru
Modern Information Technologies and IT-Education
Введение
Развитие информационных технологий требует совершенствования типов человеко-компьютерного взаимодействия с применением естественных и простых инструментов. Привлекательным вариантом решения этой задачи, которому в последнее время уделяется особое внимание, является использование в технологиях на основе компьютерного зрения жестов рук.
Для использования жестов в создании систем, позволяющих идентифицировать их с целью передачи информации, необходимо иметь чёткое представление об их структуре и правилах их формирования. Лучшим материалом для такого исследования может служить жестовый язык (ЖЯ) глухих, рост интереса к которому наблюдается во всех странах.
Предметом данной работы, основанной на использовании личного опыта в жестовой коммуникации и собственных наблюдений, является национальная специфика ЖЯ. Предпринята попытка систематизации наиболее распространённых жестов национальных ЖЯ (представленных в интернете в открытом доступе источников), имеющих одинаковое или сходное исполнение. При этом такие жесты могут быть разнозначными или равнозначными, что может стать источником коммуникативных неудач.
В данной работе рассматриваются вопросы формирования жестов ЖЯ, представленных в письменной форме с помощью знаков системы SignWriting. Такой способ фиксации жестов значительно упрощает выявление особенностей каждого из них и позволяет определить их отличительные черты c целью изучения особенностей функционирования специфических коммуникативных систем - дактильной и жестовой речи. Представлены материалы для изучения и развития практического использования общих и отличительных особенностей русского ЖЯ и ЖЯ мира с целью расширения навыков жесто-вого общения.
Автоматическое распознавание жестов, важность которого заключается в создании эффективных и естественных человеко-машинных интерфейсов, является сложной задачей, включающей в себя такие аспекты как распознавание образов и лингвистические исследования. Изучение особенностей и правил формирования жестов существующих ЖЯ способствует определению их общих и отличительных черт, что ускорит решение этой задачи. Для анализа необходимо использовать разработанные корпуса жестов ЖЯ, представленные в письменной форме с помощью знаков жестовых нотаций, что значительно упрощает выполнение работы.
Национальные жестовые языки
Среди всех языков особое место занимает жестовый язык (ЖЯ) глухих, который в отличие от простой жестикуляции, носящей вспомогательный характер, выступает в роли самостоятельного полноценного языка. Основной смысловой единицей ЖЯ служит жест, представляющий собой некий двигательный процесс с участием рук, головы, плеч и мимики. В ЖЯ практически каждому слову имеется жестовое соответствие [1, 2]. Наличие в ЖЯ большого количества жестов с практически не отличимыми друг от друга отдельными их элемен-
тами, но имеющих разное значение, приводит к неоднозначности их восприятия, для снятия которой требуется точность формирования жестов.
Рост интереса к ЖЯ наблюдается во многих развитых странах. Информация в сети становится более разнообразной, появляется доступ к работам специалистов в области исследования национальных ЖЯ как за рубежом, так и в России [3, 4], [5, 6]. Чтобы иметь представление о ЖЯ и понять его отличительные особенности от обычного словесного языка, необходимо рассмотреть его структуру и происходящие в нём изменения. Как и в любом словесном языке, включающем в себя алфавит, слова, предложения, фразы и знаки препинания, в ЖЯ используются те же речевые элементы, только в жестовой форме. Аналогично словесному языку, в котором слова могут иметь несколько различных значений, жесты также могут быть однозначными и многозначными, полностью понять правильное значение которых часто можно лишь из контекста. Важное место в жестовом общении глухих занимает дактиль-ная речь, представляющая собой особую систему конфигураций пальцев рук для обозначения букв алфавита (дактилемы) того или иного национального языка. В отличие от жестовой речи, служащего для передачи слов и целых понятий, пальцевый алфавит играет вспомогательную роль, передавая побук-венно отдельное слово, при этом буквы в сознании мгновенно выстраиваются в слово, воспринимаемое собеседником целиком, аналогично восприятию последовательности букв при чтении текста [7, 8].
Для плодотворного анализа ЖЯ, как и любого национального словесного языка, необходимо создание национального словаря в электронной форме, содержащего в письменном виде слова и фразы и их жестовое соответствие. Работая в этом направлении, в качестве инструмента для исследования особенностей формирования жестов русского ЖЯ авторами был создан корпус жестов в письменной форме различной тематики с использованием знаков нотации SígnWriting (SW), что подтверждено рядом Свидетельств о государственной регистрации базы данных. Выбор данной системы обоснован отличием её от других систем таким важным показателем как детализация описания жестов, что позволяет получить запись, наиболее точно соответствующую жесту [9].
В различных ЖЯ среди всех знаков системы SW наибольший вес по числу их использования имеют знаки, передающие конфигурации рук и пальцев, ориентации рук в пространстве и положения их относительно тела и движение, на долю которых приходится около 80% от общего числа знаков, которое составляет около 38000 единиц [10]. Точность описания рук с учётом всех деталей важна потому, что они являются основным средством установления контраста между знаками. При описании ЖЯ перечисленные достоинства системы SW, особенно детализация записи жестов, играют важную роль, поскольку совершенно разные жесты могут включать в себя компоненты с незначительными отличиями отдельных фрагментов. Аналогично распознаванию омофонов звучащей речи, приводящему к неоднозначности их понимания, недостаточно точная знаковая форма жестов ЖЯ может негативным образом сказаться на правильности их распознавания.
1 SignWriting.org [Электронный ресурс]. URL: http://www.signwriting.org (дата обращения: 15.01.2019).
Современные информационные технологии и ИТ-образование
Том 15, № 1. 2019
ISSN 2411-1473
sitito.cs.msu.ru
Межязыковые особенности жестовых языков
Национальные языки характеризуются рядом отличительных признаков, к числу которых относятся, прежде всего, система письменности (кириллица, латиница и т.д.) и буквы алфавитов, являющихся для каждого из языков уникальными, что позволяет идентифицировать их достаточно точно. При этом некоторые языки могут быть схожими между собой по отдельным элементам, например, по буквам алфавитов или словам. Во многих современных языках с достаточно большим числом носителей можно встретить слова, совпадающие звучанием со словами другого языка, что объясняется постоянным влиянием их друг на друга. В результате в словарях разных языков появляются одинаковые слова, которые могут совпадать по значению (т.н. интернациональные слова) либо иметь совершенно иное значение. Другим отличительным признаком национальных языков является наличие в каждом из них диалектных разновидностей территориального и социального характера. Все перечисленные межъязыковые особенности имеют место и в национальных ЖЯ. Каждая страна имеет свой собственный, сформированный специфическими условиями ЖЯ, в котором используются различные жесты и их диалекты, варьирующиеся в зависимости от региона и сообществ глухих [11]. Однако, в отличие от словесных языков, разные ЖЯ в меньшей степени различаются между собой, поскольку их носители при общении часто используют простые для понимания изобразительные жесты. Такая форма общения создаёт коммуникативный мост между различными культурами глухих, что позволяет им лучше понимать друг друга. Практически во всех странах независимо от уровня их развития ЖЯ не унифицированы, при этом наличие в них различных диалектов приводит к многозначности и разнозначности жестов национальных ЖЯ и к изменениям различного характера в них в результате межъязыкового влияния. Наиболее заметно это влияние проявляется в современных понятиях -терминов из области IT, названий брэндов и т.п. Стоит сказать, что наличие таких «родственных» жестов, встречающихся в разных ЖЯ в результате заимствований и имеющих незначительные различия в их формировании, способствует правильному переводу с одного языка на другой.
В последнее время в интернете заметен рост количества программ по распространению русского ЖЯ в режиме on-line, каждая из которых основана на использовании своего речевого видеоматериала (словари, тексты, тесты и т.д.), в т.ч.: «Город жестов»2, «Сурдосервер»3, «Spreadthesign»4, «Жестовые языки мира»5. Каждый из словарей имеет свои особенности и отличается от других аналогичных словарей интерфейсом, областью содержимого, количеством опций, возможностями поиска и т.д. Однако на данный момент нет словаря, который бы включал в себя все многочисленные вариации жестов русского ЖЯ, используемых его носителями на территории РФ и за её пределами. С учётом размера нашей страны можно предположить, что эти разновидности сильно отличаются друг от друга.
Как было сказано выше, в национальных ЖЯ используется большое количество одинаковых и схожих по исполнению жестов, в которых проявляются их особенности, обусловленные равнозначностью жестов, их многозначностью и разнозначностью. Полностью понять в данной ситуации отличительные особенности тех или иных жестов ЖЯ позволяет их письменная фиксация на основе знаков системы SW, в соответствии с которой можно довольно точно определить схожесть и различие жестов.
Сходство и различие национальных жестовых языков
Во всех странах на данный момент существует своя неповторимая форма ЖЯ, миллионы пользователей которых используют свои национальные дактильные азбуки и жесты, а также правила их передачи в предложении. Все ЖЯ характеризуются вариативностью, проявляющейся в использовании носителями одного ЖЯ различных его диалектов и заимствований из других ЖЯ. Эта языковая особенность заслуживает внимания по той причине, что является довольно распространённым и устойчивым явлением в жестовом речевом общении пользователей разных ЖЯ. Несмотря на национальные и диалектные отличия, некоторые ЖЯ всё же имеют общие черты, которые проявляются в наличии в них жестовых элементов с одинаковым исполнением, что происходит в процессе межъязыковых взаимодействий. При этом такие общие жестовые элементы разных национальных ЖЯ могут иметь одинаковые или разные значения. Такое совпадение встречается в разных ЖЯ на уровне, прежде всего, дактилем, которые, как правило, повторяют конфигурацию букв (графем), входящих в алфавит данного словесного языка. Некоторые дактильные системы построены на принципах, отражающих специфику национальной письменности (ие-роглифика). Форма передачи в ЖЯ дактильных знаков может быть одноручной, что характерно, например, русскому ЖЯ, двуручной и комбинированной [7].
Для сопоставительного анализа с русским ЖЯ были выбраны ЖЯ, как наиболее интересные для исследования, в первую очередь, языки, основанные на разных видах письменности (кириллица и латиница).
Необходимо отметить, что приведённая в корпусе выборка жестов производилась авторами исходя из того запаса жестов, которыми они владеют, а также представленных в некоторых опубликованных словарях в открытом доступе. В связи с тем, что русский ЖЯ не имеет унификации, возможно, что в отдельных сообществах носители этого языка используют жесты, которые существуют и применяются лишь в их кругу
Дактильные алфавиты и их особенности
Дактильная речь - воспроизведение слов при помощи определенных конфигураций пальцев и их движений, используется как вспомогательное речевое средство в межличностной коммуникации глухих, позволяющее при отсутствии нужного жеста формировать его побуквенно (имена, сложные названия и т.п.) [10].
2 Город Жестов [Электронный ресурс]. URL: https://jestov.net/ (дата обращения: 15.01.2019).
3 Сурдосервер 2.0 [Электронный ресурс]. URL: http://surdoserver.ru/ (дата обращения: 15.01.2019).
4 On-line словарь «Spreadthesign» [Электронный ресурс]. URL: https://www.spreadthesign.com/ru/ (дата обращения: 15.01.2019).
5 Жестовые языки мира // Лаборатория лингвистики жестового языка [Электронный ресурс]. URL: https://signlang.ru/science/lang/ (дата обращения: 15.01.2019).
Vol. 15, No. 1. 2019 ISSN 2411-1473 sitito.cs.msu.ru
Modern Information Technologies and IT-Education
17- ИССЛЕДОВАНИЯ И РАЗРАБОТКИ В ОБЛАСТИ НОВЫХ ИНФОРМАЦИОННЫХ М. А. Мясоедова,
176 ТЕХНОЛОГИЙ И ИХ ПРИЛОЖЕНИЙ З. П. Мясоедова
В каждом ЖЯ можно выделить дактилемы, совпадающие некоторыми компонентами. Так в русском ЖЯ отдельные дактилемы, соответствующие буквам алфавита с некоторой схожестью в их написании, включают одинаковые знаки из категории «Руки» системы SW (рис. 1).
"3
Л±
ш
щ
У
Рис. 1. Дактилемы русского ЖЯ с одинаковыми компонентами Fig. 1. Russian SL dytilema with the same components
Как видно из рис. 1, в каждой группе букв знаки, передающие одинаковые конфигурации рук, отличаются либо ориентацией их в пространстве, либо наличием дополнительного знака, передающего движение руки.
Полное совпадение дактилем можно наблюдать в некоторых УДЯ, основанных ну аазныхвивнх пигвменности, во значкнкя их в каждом из ЖЯ не всегда будут совпадать. В некоторых ЖЯ нгсречаютоя вннкн° которые мснут сооооетствовать буккам и/ или цифрам Крис. д).
Рис.2. Одинаковые дактилемы в национальныхЖЯ Fig.2.The same dactylamsinnationalSL
Большой разброс значений одних и тех же знаков в разных ЖЯ, как следует из рис. 2, приводит к проблемам при их распознавании.
Особенностинациональных жестовых языков вразных странах
Известно, что основные коммуникационные жесты во всем мире не отличаются друг от друга: когда люди счастливы, они улыбаются, когда печальны - хмурятся, когда не знают или не понимают, о чём идёт речь - пожимают плечами. Однако нередко одно и то же выразительное движение у разных народов может иметь совершенно различное значение, и легкомысленное обращение с обычными для нас жестами может привести к неожиданным последствиям.
Жестовые языки разных наций отличаются между собой так же, как и звучащие языки отличаются друг от друга в зависи-
мости от типа культур. Жест, имеющий чёткую интерпретацию у одной нации, у другой нации может иметь совершенно противоположное значение.
Знакомство с жестами различных национальных ЖЯ показало, что, несмотря на свойственные им отличительные особенности, среди принадлежащих им жестов нередко встречаются совпадающие по исполнению [12, 13].
Современные ЖЯ характеризуется содержанием в них как однозначных жестов с соответствующим каждому из них лишь одним устойчивым лексическим значением, так и многозначных жестов, наличие которых можно считать одним из ярких признаков его самобытности.
Все ЖЯ характеризуются вариативностью, которая заключается в соответствии одного слова нескольким жестам и наоборот, один и тот же жест может передавать слова с разными значениями, что проявляется в диалектах языка. Объясняется это тем, что сообщества глухих людей, являющихся носителями того или иного ЖЯ, проживают в отдалении друг от друга. При этом значения жеста, используемого носителями ЖЯ в разных странах, могут полно-стьюсовпадатьили не иметь между собой ничего общего. Наглядное представление о некоторых особенностях исполнения жестов русского ЖЯ, а также об имеющих место сходстве и различии их с жестами других ЖЯ позволяют получить примеры сиспользованием знаков нотации SW. В работе использованы два подхода к выявлению общих и отличительных параметров жестов различных жестовых систем, один из которых заключается в рассмотрении особенностей одинаковых жестов, используемых носителями ЖЯ в разных странах, а другой в рассмотрении языков, в состав которых входит жест.
Все перечисленные выше особенности жестов ЖЯ будут представлены в виде схем с использованием взаимосвязанных параметров: жестовый язык (Ь), жест (С) и значение (Ц. Диакритический знак использован для уточнения значения параметра - его многозначности.
Для выявления среди различных национальных ЖЯ жестов, полностью совпадающих по исполнению, за основу был произвольно выбран жест русского ЖЯ, соответствующий слову «Москва». Обзор словарей различных национальных ЖЯ и поиск в них данного жеста показал, что он встречается довольно часто. В результате проведённого сравнительного анализа было установлено, что, несмотря на полное совпадение жеста в разных жестовых системах по всем параметрам его исполнения, в разных странах ему нет полного общего словесного со-ответствия(рис. 3).
Согласно приведённой на рис. 3 схеме, один жест одного ЖЯ может соответствовать одному слову или нескольким словам (т.е. быть многозначным), нескольким словам других ЖЯ, при этом иметь снимиобщее значение или не иметь ничего общего. На рис. 4 дана схема, демонстрирующая принадлежность одного жеста сопределённым значением разным ЖЯ. Как следует из представленной схемы, жест применительно к одним жестовым системам носит равнозначный характер [(Ь1 ■ Ь -г1) и (Ь ■ Ь5 - г2)], а применительно к одной системе жест является многозначным [(Ь4 - 11 ■ 12) и (Ь6 - 13 ■ г4)] или одно-значным[(Ь1-1) Ь - 1) Ь - ^ Ь - г} и (Ь7- ^5)]. Не менее интересным моментом в сравнении жестов различных национальных ЖЯ является совпадение некоторых из них лишь по отдельным параметрам исполнения (конфигурации рук, характеру движения и т.д.) (рис. 5).
с
з
ъ
к
и
Современные информационные технологии и ИТ-образование
Том 15, № 1. 2019
ISSN 2411-1473
sitito.cs.msu.ru
RESEARCH AND DOVELOOAENT IN THE FI ELD OF NEW IT
ANDTHEIR APPLICATIONS
3 «яблоуоее О-
4 «торте О'
5 «фермере> Q°
Мальта Франция -о) Германия
Рис. 3. Сходство и различие значений одного жеста в разных ЖЯ Fig. 3. Similarities and differences in the meanings of a gesture in different SLs
Рис.4.Принадлежностьодногообщего жеста разным ЖЯ Fig. 4. Belonging of one common gesture to difCetenH SLs
Zi
«Мнтяндш» р°
«забавно» О—
Тунис d
Бельгия
(Фланмия,
Россия О
Швейцария
(ФЕ-)
Чехия О
Испания О
Япония о
(политик)» «10 лет»
Рис.5.Значениясхожих по исполнению жестоввразныхЖЯ Fig. 5. Meanings of similar gestures in different SLs
Представленный на рис. 5 пример демонстрирует отличия жестов по отдельным их компонентам, описывающим конфигу-
рацию руки. Разница этих жестов заключается лишь в ориентации к исти руки относительно лица: в первом жесте ладот обращена к себе, а во втором - боком (с поворотом на 90° вправо). Пр и этом значения данных жестов даже одного ЖЯ будут отличаться, что может привести при их неточном исполнении к неоднозначности восприятия.
Стоит сказать, что та приведённых выше рисунках представлены лишь фрагменты схем, поскольку их полный размер не вписывается в рамки данной статьи.
В системе SW используется кодировка, разработанная Б. Slevinski, согласно которой каждому знаку системы присваивается определённый идентификатор, включающий в себя элементы, образующие некую кодовую цепочку, в соответствие с которой можно получить полную информацию о каждом знаке Срис.6).
О а°
О
а**
M533X547S206005,11x519^30004482x483S10a10492x521
**
О
M5L3°548S206005V1x519S30004482x483S10a00492x522
Рис.б.Кодоваязаписьжестовсо схожимисполнением Fig. 6. Code recording of gestures with similar performance
Изучение кодовых записей указанных жестов позволяет легко выявитьих отличительные особенности.
Связьсловесных ижестовыхязыков
Национальные ЖЯ не всегда связаны со звучащими официальными языками. Так, между американским и британским ЖЯ, несмотря на использование в обеих странах английского языка, практически нет ничего общего, при этом американский и французский ЖЯ имеет больше сходства, а британский тесно связан с австралийским ЖЯ. Также не связаны между собой ЖЯ Германии и Австрии, использующие единый словесный немецкий язык. Кроме того, в некоторых странах может быть несколько ЖЯ, и практически в каждой из стран имеются же-стовыедиалекты,втомчислеив России.
Существует международный ЖЯ, выполняющий роль вспомогательного языка, в котором отсутствует фиксированная грамматика, и используемый в основном на международных конференциях среди пользователей ЖЯ из разных стран. Во многих языках наблюдается рост числа иностранных слов, которые достаточно часто встречаются в разговорной речи их носителей. Объясняется это постоянным влиянием друг на друга, которое особенно проявляется в современных терминах из области IT, названий брэндов и т.п.
Подобное происходит и в ЖЯ, жесты и их значения в которых со временем подвергаются изменениям. Это объясняется многими факторами, в т.ч. получением информации из интернета, увеличением объёма информационных потоков, миграцией, межъязыковой коммуникацией и т.д., что приводит к образованию межъязыковых жестов с одинаковым или схожим исполнением, имеющих при этом равно- или разнозначный характер.
Vol. 15, No. 1.2019 ISSN 2411-1473 sitito.cs.msu.ru
Modern Information Technologies and IT-Education
Работа исследователей по изучению ЖЯ не является завершённой и постоянно продолжается. Объясняется это тем, что жестовые языки постоянно подвергаются изменениям - добавление новых жестов, заимствованных из других ЖЯ, замена старыхжестов на новые, чтообъясняетсяразвитием технологий. Ток, нагфими0, тонноие «телефон-^воеп^нимаемое прежде как -(фазстацлооирие го телсфеоиого аппарата, изменил оео -а появлеаиеи мабиаьных еелгфаемв не дхрееа что отрасилось на гамене одного жфаем не другойфиг. 7).
Рис. 7. Эволюция телефонных аппаратов и связи в жестовой форме Fig.7.The evolutionoftelephone setsand communication ingestures
Приведённый рисунок наглядно передаёт жесты в знаковой форме, применяемые для каждой модели телефона, вид связи (проводная, мобильная), способа набора номера (дисковый, кнопочный,сенсорный)ивариантыспособаобщения.
Перспектива использования жестови их письменной формы
Потребность в жестовых нотациях неоспорима. В последнее время во многих странах всё больше внимания уделяется исследованию ЖЯ, в т.ч. на основе жестовых нотаций, позволяющих фиксировать жесты с использованием определённого набора знаков в виде букв, цифр, линий и других графических элементов, характерных лишь конкретной системе. Применение жестовых нотаций, среди которых наиболее известными являются системы SignWriting, HamNoSys и Димскис, открывает большие возможности для научных исследований ЖЯ с целью определения общих и отличительных параметров их структуры, для создания жестовых словарей различных национальных ЖЯ, для разработки приложений и программ по распознаванию жестов и созданию аватара [14-25], [26-30],
[31].
Заключение
Возрастающий во многих странах интерес к изучению и использованию жестов при создании компьютерных программ по распознаванию образов, требует дальнейшего детального изучения ЖЯ и их особенностей. Большие возможности при компьютерной обработке жестов и при создании словарей различных национальных ЖЯ даёт применение их в знаковой форме на основе нотации SW, отличающейся компактностью и высокой точностью фиксации пространственно-временной формы жестов.
Серьёзного внимания заслуживает характерная ЖЯ вариатив-
ность, проявляющаяся в использовании носителями одного ЖЯ различных его диалектов и заимствований из других ЖЯ, что является довольно распространённым и устойчивым явлением в жестовом речевом общении пользователей разных ЖЯ. Это приводит к неоднозначности распознавания уже знакомых жестов, встречающихся в разных ЖЯ и имеющих как одинаковоезначение, так и совершенно разное. Настоящая статья направлена на сопоставительный анализ жестов русского ЖЯ и отдельных наиболее интересных национальных ЖЯ с целью выявления их общих и отличительных черт, знание которых будет способствовать лучшему пониманию их при переводе.
На данный момент, несмотря на проделанную в разных странах работу по изучения ЖЯ, остаётся ещё много недостаточно исследованных областей. Совместная работа специалистов разных стран в области лингвистики и программирования и, что самое главное, носителей ЖЯ, хорошо знающих все его правила и тонкости, позволит добиться успеха в решении поставленных задач.
Список использованных источников
[1] Зайцева Г.Л. Жестовая речь. Дактилология. М.: Владос,
2000. 192 с. URL: https://studfiles.net/preview/1763429/ (датаобращения: 15.01.2019).
[2] Димскис Л.С. Изучаем жестовый язык. М.: Изд. центр «Академия», 2002. 128 с.
[3] MehlingK. Heute hier, morgen dort - Deixis in der Deutschen Gebärdensprache (DGS): Analyse und Vergleich mit der deutschen Lautsprache: diss. München: Nördlingen, 2010. 241 p. URL: https://edoc.ub.uni-muenchen.de/11552/!/ Mehling_Karin.pdf (дата обращения: 15.01.2019).
[4] Lillo-Martin D.C., Gajewski J. One grammar or two? Sign Languages and the Nature of Human Language // WIREs Cognitive Science. 2014. Vol. 5, Issue 4. Pp. 387-401. DOI: 10.1002/wcs.1297
[5] Королькова О.О. Изучение функциональной стороны русского жестового языка (к постановке проблемы) // Вестник Новосибирского государственного университета. Серия: Лингвистика и межкультурная коммуникация. 2017. Т. 15, № 3. С. 67-75. DOI: 10.25205/18187935-2017-15-3-67-75
[6] Прозорова Е.В. Маркеры локальной структуры дискурса в русском жестовом языке: дисс. док. филол. наук. МГУ имени М.В. Ломоносова. М., 2009. 244 с. URL: https://elibrary.ru/item.asp?id=19215962 (дата обраще-ния:15.01.2019).
[7] Мясоедова М.А., Мясоедова З.П. Корпус жестов в письменной форме как инструмент для исследования особенностей их формирования (на примере русского же-стового языка) // Современные информационные технологии и ИТ-образование. 2018. Т. 14, № 2. С. 426435. D0I:10.25559/SITIT0.14.201802.426-435
[8] Гейльман И.Ф. Знакомьтесь: ручная речь. М: Загрей,
2001. 172 с. URL: http://www.elina.dp.ua/wp-content/ uploads/2015/06/Gejlman2001.pdf 19215962 (дата обращения: 15.01.2019).
[9] Речицкая Е.Г., Плуталова Л.А. Дактильная и жестовая речь как средства коммуникации лиц с нарушением слуха. М: МПГУ 2016. 144 с. URL: https://elibrary.ru/item.
Современные eH фогм ац ионные технологии и ИТ-образование
Том 15, № 1.201H
ISSN 2411-1473
sitito.cs.msu.ru
RESEARCH AND DEVELOPMENT IN THE FIELD OF NEW IT
AND THEIR APPLICATIONS
asp?id=30666985 (дата обращения: 15.01.2019).
[10] Мясоедова М.А., Мясоедова З.П. Жестовые нотации и их сравнительный анализ // Современные информационные технологии и ИТ-образование. 2018. Т. 14, № 1. С. 183-192. DOI: 10.25559/SITITO.14.201801.183-192
[11] Мясоедова М.А., Мясоедова З.П., Петухова Н.В., Фархадов М.П., Ефросинин Д.В. Письменная форма для жестового языка и ее применение для автоматизированного сурдоперевода. М.: МАКС Пресс, 2012. 180 с.
[12] Palfreyman N. Sign language varieties of Indonesia: A linguistic and sociolinguistic investigation // Sign Language & Linguistics. 2017. Vol. 20, Issue 1. Pp. 135-145. DOI: 10.1075/sll.20.1.06pal
[13] Kimmelman V Information Structure in Russian Sign Language and Sign Language of the Netherlands: PhD thesis: Amsterdam Center for Language and Communication (ACLC), Faculty of Humanities (FGw), Amsterdam, 2014. 267 p. URL: http://dare.uva.nl/record/1/43217 (дата обращения: 15.01.2019).
[14] Ferreira A.C.A. 3D Character Animation Using Sign Language: Dissertafao de Mestrado apresentada a Faculdade de Ciencias da Universidade do Porto em Área Científica, 2017. 108 p. URL: https://repositorio-aberto.up.pt/ bitstream/10216/106073/2/202824.pdf (дата обращения: 15.01.2019).
[15] Stiehl D., Addams L., Oliveira L.S., Guimaraes C., Britto A.S. Towards a SignWriting recognition system // Proceedings of the 13th International Conference on Document Analysis and Recognition (ICDAR). Tunis, 2015. Pp. 26-30. DOI: 10.1109/ICDAR.2015.7333719
[16] Iatskiu C.E.A., García S.L., Canteri R.D.P., Antunes R.D. The Low Use of SignWriting Computational Tools from HCI Perspective // Universal Access in Human-Computer Interaction. Access to Interaction. UAHCI 2015. Lecture Notes in Computer Science / M. Antona, C. Stephanidis (eds). Springer, Cham, 2015. Vol. 9176. Pp. 373-382. DOI: 10.1007/978-3-319-20681-3_35
[17] Bouzid Y., Jemni M. TuniSigner: An Avatar based System to Interpret SignWriting Notations // Proceedings of the International SignWriting Symposium, 2014. 11 p. URL: http://www.signwriting.org/symposium/archive/ sws0023_Paper_tuniSigner_Avatar_Programming_Yosra_ Bouzid.pdf (дата обращения: 15.01.2019).
[18] Guimaraes C., Guardezi J.F., Oliveira L.E., Fernandes S. Deaf Culture and Sign Language Writing System: A Database for a New Approach to Writing System Recognition Technology // Proceedings of the 47th Hawaii International Conference on System Science (HICSS). Waikoloa, HI, 2014. Pp. 33683377. DOI: 10.1109/HICSS.2014.418
[19] Guimaraes J., Guardezi J.F., Fernandes S. Sign Language Writing Acquisition - Technology for a Writing System // Proceedings of the 47th Hawaii International Conference on System Science (HICSS). Waikoloa, HI, 2014, pp. 120129. DOI: 10.1109/HICSS.2014.23
[20] Bouzid Y.,Jemni M. tuniSigner: A Virtual Interpreter to Learn Sign Writing // Proceedings of the 14th IEEE International Conference on Advanced Learning Technologies (ICALT). Athens, 2014. Pp. 601-605. DOI: 10.1109/ICALT.2014.176
[21] Bouzid Y., Jemni M. A Virtual Signer to Interpret SignWriting // Computers Helping People with Special Needs. ICCHP
2014. Lecture Notes in Computer Science / K. Miesenberger, D. Fels, D. Archambault, P. Penaz, W. Zagler (eds). Springer, Cham, 2014. Vol. 8548. Pp. 458-465. DOI: 10.1007/978-3-319-08599-9_69
[22] Thiessen S.M. A Grammar of SignWriting: Thesis in Linguistics, University of North Dakota. Grand Forks, North Dakota, 2011. 300 p. URL: https://arts-sciences.und.edu/ summer-institute-of-linguistics/theses/_files/docs/2011-thiessen-stuart-m.pdf (дата обращения: 15.01.2019).
[23] da Silva F.I. Analisando o processo de leitura de uma possivel escrita da lingua brasileira de sinais: SignWriting: Diss. de Mestrado em Educafao. Universidade Federal de Santa Catarina. Florianopolis. 2009. 114 p. URL: http://www. cultura-sorda.org/wp-content/uploads/2015/03/Silva_ Analisando_processo_leitura_possC3ADvel_escrita_LBS_ Signwriting_2009.pdf (дата обращения: 15.01.2019).
[24] Verma V.K., Srivastava S., Kumar N. A comprehensive review on automation of Indian sign language // Proceedings of 2015 IEEE International Conference on Advances in Computer Engineering and Applications, Ghaziabad, 2015. Pp. 138-142. DOI: 10.1109/ICACEA.2015.7164682
[25] Almeida I.R. Exploring Challenges in Avatar-based Translation from European Portuguese to Portuguese Sign Language: Thesis to obtain the Master of Science Degree in Information Systems and Computer Engineering, 2014. 101 p. URL: http://web.ist.utl.pt/~ist163556/pt2lgp/lgp.pdf (дата обращения: 15.01.2019).
[26] Prillwitz S, Leven R., Zienert H, Hanke T., Henning J. HamNoSys. Version 2.0. Hamburg Notation System for Sign Language an Introductory Guide // International Studies on Sign Language and Communication of the Deaf. Vol. 5. Hamburg: Signum Press, 1989. 46 p.
[27] Kaur K., Kumar P. HamNoSys to SiGML Conversion System for Sign Language Automation // Procedia Computer Science. 2016. Vol. 89. Рр. 794-803. DOI: 10.1016/j. procs.2016.06.063
[28] Nair M.S., Nimitha A.P., Idicula S.M. Conversion of Malayalam text to Indian sign language using synthetic animation // Proceedings of 2016 International Conference on Next Generation Intelligent Systems (ICNGIS), Kottayam, 2016. Pp. 1-4. DOI: 10.1109/ICNGIS.2016.7854002
[29] KaurS.,Singh M. Indian Sign Language animation generation system // Proceedings of 2015 1st International Conference on Next Generation Computing Technologies (NGCT), Dehradun, 2015. Pp. 909-914. DOI: 10.1109/ NGCT.2015.7375251
[30] Kaur R., Kumar P. HamNoSys generation system for sign language // Proceedings of 2014 International Conference on Advances in Computing, Communications and Informatics (ICACCI), New Delhi, 2014. Pp. 2727-2734. DOI: 10.1109/ICACCI.2014.6968333
[31] Гриф М.Г., Лукоянычев А.В. Мультимедийный программный комплекс для создания словаря русского жестового языка // Вестник Астраханского государственного технического университета. Серия: Управление, вычислительная техника и информатика. 2017. № 1. С. 105114. DOI: 10.24143/2072-9502-2017-1-105-114
Поступила 15.01.2019; принята к публикации 25.02.2019; опубликована онлайн 19.04.2019.
Vol. 1S, No. 1. 2G19 ISSN 2411-1473 sitito.cs.msu.ru
Modern Information Technologies and IT-Education
Об авторах:
Мясоедова Мария Александровна, научный сотрудник, Институт проблем управления им. В.А. Трапезникова РАН (117997, Россия, г. Москва, ул. Профсоюзная, д. 65), ORCID: http://orcid.org/0000-0002-0317-4781, [email protected] Мясоедова Зинаида Павловна, научный сотрудник, Институт проблем управления им. В.А. Трапезникова РАН (117997, Россия, г. Москва, ул. Профсоюзная, д. 65), ORCID: http://orcid. org/0000-0001-6022-3503, [email protected]
Все авторы прочитали и одобрили окончательный вариант рукописи.
References
[С] Zaytseva G.L. Sign Language. Dactylology. M.: Vlados; 2000. Available at: https://studfiles.net/preview/1763429/ (accessed 15.01.2019). (In Russ.)
[2] Dimskis L.S. Learn Sign Language. M.: Akademiya; 2002. (In Russ.)
[3] Mehling K. Heute hier, morgen dort - Deixis in der Deutschen Gebärdensprache (DGS): Analyse und Vergleich mit der deutschen Lautsprache: diss. München: Nördlingen; 2010. Available at: https://edoc.ub.uni-muenchen.de/11552/1/ Mehling_Karin.pdf (accessed 15.01.2019). (In German)
[4] Lillo-Martin D.C., Gajewski J. One grammar or two? Sign Languages and the Nature of Human Language. WIREs Cognitive Science. 2014; 5(4);387-401. (In Eng.) DOI: 10.1002/ wcs.1297
[5] Korolkova O.O. Functional Aspect of the Russian Sign Language: Defining a Research Approach. NSU Vestnik. Series: Linguistics and Intercultural Communication. 2017; 15(3):67-75. (In Russ.) DOI: 10.25205/1818-7935-201715-3-67-75
[6] Prozorova Ye.V. Markers of the local structure of discourse in Russian Sign Language: Dr. filol. sci. dis. M.: MSU; 2009. Available at: https://elibrary.ru/item.asp?id=19215962 (accessed 15.01.2019). (In Russ.)
[7] Myasoyedova M.A., Myasoyedova Z.P. Corpus of signs in writing as a tool to investigate the peculiarities of how signs form up (on the example of the Russian Sign Language). Sovremennye informacionnye tehnologii i IT-obrazovanie = Modern Information Technologies and IT-Education. 2018; 14(2):426-435. (In Russ.) DOI: 10.25559/SITI-TO.14.201802.426-435
[8] Geyl'man I.F. Znakom'tes': ruchnaya rech' [Get acquainted: manual speech]. M: Zagrey; 2001. Available at: http://www. elina.dp.ua/wp-content/uploads/2015/06/Gejlman2001. pdf 19215962 (accessed 15.01.2019). (In Russ.)
[9] Rechitskaya E.G., Plutalova L.A. Tapping and gestural speech as a means of communication for persons with hearing impairment. M: MPGU; 2016. Available at: https://elibrary.ru/ item.asp?id=30666985 (accessed 15.01.2019). (In Russ.)
[С0] Myasoyedova M.A., Myasoyedova Z.P. Sign language notation systems and their comparative analysis. Sovremennye informacionnye tehnologii i IT-obrazovanie = Modern Information Technologies and IT-Education. 2018; 14(1):183-192. (In Russ.) DOI: 10.25559/SITITO.14.201801.183-192 [СС] Myasoyedova M.A., Myasoyedova Z.P., Petukhova N.V., Farkhadov M.P., Yefrosinin D.V. Pis'mennaya forma dlya
zhestovogo yazyka i yeye primeneniye dlya avtomatiziro-vannogo surdoperevoda [Written Form for Sign Language and its Application for Automated Sign Language Interpretation]. M.: MAKS Press; 2012. (In Russ.)
[12] Palfreyman N. Sign language varieties of Indonesia: A linguistic and sociolinguistic investigation. Sign Language & Linguistics. 2017; 20(1):135-145. (In Eng.) DOI: 10.1075/ sll.20.1.06pal
[13] Kimmelman V. Information Structure in Russian Sign Language and Sign Language of the Netherlands: PhD thesis: Amsterdam Center for Language and Communication (ACLC), Faculty of Humanities (FGw), Amsterdam; 2014. Available at: http://dare.uva.nl/record/1/432175 (accessed 15.01.2019). (In Eng.)
[14] Ferreira A.C.A. 3D Character Animation Using Sign Language: Dissertafäo de Mestrado apresentada a Faculdade de Ciencias da Universidade do Porto em Área Científica; 2017. Available at: https://repositorio-aberto.up.pt/bit-stream/10216/106073/2/202824.pdf (accessed 15.01.2019). (In Portugal)
[15] Stiehl D., Addams L., Oliveira L.S., Guimaraes C., Britto A.S. Towards a SignWriting recognition system. Proceedings of the 13th International Conference on Document Analysis and Recognition (ICDAR). Tunis; 2015. (In Eng.) DOI: 10.1109/ICDAR.2015.7333719
[16] Iatskiu C.E.A., García L.S., Canteri R.D.P., Antunes D.R. The Low Use of SignWriting Computational Tools from HCI Perspective. In: Antona M., Stephanidis C. (eds) Universal Access in Human-Computer Interaction. Access to Interaction. UAHCI 2015. Lecture Notes in Computer Science. Springer, Cham, 2015; 9176:373-382. (In Eng.) DOI: 10.1007/978-3-319-20681-3_35
[17] Bouzid Y., Jemni M. TuniSigner: An Avatar based System to Interpret SignWriting Notations. Proceedings of the International SignWriting Symposium, 2014. p. 11. Available at: http://www. signwriting.org/symposium/archive/ sws0023_Paper_tuniSigner_Avatar_Programming_Yosra_ Bouzid.pdf (accessed 15.01.2019). (In Eng.)
[18] Guimaraes C., Guardezi J.F., Oliveira L.E., Fernandes S. Deaf Culture and Sign Language Writing System: A Database for a New Approach to Writing System Recognition Technology Proceedings of the 47th Hawaii International Conference on System Science (HICSS). Waikoloa, HI, 2014. p. 33683377. (In Eng.) DOI: 10.1109/HICSS.2014.418
[19] Guimaraes J., Guardezi J.F., Fernandes S. Sign Language Writing Acquisition - Technology for a Writing System. Proceedings of the 47th Hawaii International Conference on System Science (HICSS). Waikoloa, HI, 2014. p. 120-129. (In Eng.) DOI: 10.1109/HICSS.2014.23
[20] Bouzid Y., Jemni M. tuniSigner: A Virtual Interpreter to Learn Sign Writing. Proceedings of the 14th IEEE International Conference on Advanced Learning Technologies (ICALT). Athens, 2014. p. 601-605. (In Eng.) DOI: 10.1109/ ICALT.2014.176
[21] Bouzid Y., Jemni M. A Virtual Signer to Interpret SignWriting. In: Miesenberger K., Fels D., Archambault D., Peñáz P., Zagler W. (eds) Computers Helping People with Special Needs. ICCHP 2014. Lecture Notes in Computer Science. Springer, Cham, 2014; 8548:458-465. (In Eng.) DOI: 10.1007/978-3-319-08599-9_69
Современные информационные технологии и ИТ-образование
Том 15, № 1. 2019
ISSN 2411-1473
sitito.cs.msu.ru
[22] Thiessen S.M. A Grammar of SignWriting: Thesis in Linguistics, University of North Dakota. Grand Forks, North Dakota; 2011. Available at: https://arts-sciences.und.edu/sum-mer-institute-of-linguistics/theses/_files/ docs/2011-thiessen-stuart-m.pdf (accessed 15.01.2019). (In Eng.)
[23] da Silva F.I. Analisando o processo de leitura de uma pos-sível escrita da lingua brasileira de sinais: SignWriting: Diss. de Mestrado em Educafäo. Universidade Federal de Santa Catarina. Florianópolis; 2009. Available at: http://www.cul-tura-sorda.org/wp-content/uploads/2015/03/Silva_Anal-isando_processo_leitura_possC3ADvel_escrita_LBS_Sign-writing_2009.pdf (accessed 15.01.2019). (In Portugal)
[24] Verma V.K., Srivastava S., Kumar N. A comprehensive review on automation of Indian sign language. Proceedings of 2015 IEEE International Conference on Advances in Computer Engineering and Applications, Ghaziabad, 2015. p. 138-142. (In Eng.) DOI: 10.1109/ICACEA.2015.7164682
[25] Almeida I.R. Exploring Challenges in Avatar-based Translation from European Portuguese to Portuguese Sign Language: Thesis to obtain the Master of Science Degree in Information Systems and Computer Engineering; 2014. Available at: http://web.ist.utl.pt/~ist163556/pt2lgp/lgp. pdf (accessed 15.01.2019). (In Eng.)
[26] Prillwitz S., Leven R., Zienert H., Hanke T., Henning J. Ham-NoSys. Version 2.0. Hamburg Notation System for Sign Language an Introductory Guide. International Studies on Sign Language and Communication of the Deaf. Vol. 5. Hamburg: Signum Press, 1989. (In Eng.)
[27] Kaur K., Kumar P. HamNoSys to SiGML Conversion System for Sign Language Automation. Procedía Computer Science. 2016; 89:794-803. (In Eng.) DOI: 10.1016/j. procs.2016.06.063
[28] Nair M.S., Nimitha A.P., Idicula S.M. Conversion of Malay-alam text to Indian sign language using synthetic animation. Proceedings of 2016 International Conference on Next Generation Intelligent Systems (ICNGIS), Kottayam, 2016. p. 1-4. (In Eng.) DOI: 10.1109/ICNGIS.2016.7854002
[29] Kaur S., Singh M. Indian Sign Language animation generation system. Proceedings of 2015 1st International Conference on Next Generation Computing Technologies (NGCT), Dehradun, 2015. p. 909-914. (In Eng.) DOI: 10.1109/ NGCT.2015.7375251
[30] Kaur R., Kumar P. HamNoSys generation system for sign language. Proceedings of 2014 International Conference on Advances in Computing, Communications and Informatics (ICACCI), New Delhi, 2014. p. 2727-2734. (In Eng.) DOI: 10.1109/ICACCI.2014.6968333
[31] Grif M.G., Lukoyanychev A.V. Multimedia Software Complex for Creating the Dictionary of Russian Sign Language. Vest-nik of Astrakhan State Technical University. Series: Management, Computer Science and Informatics. 2017; 1:105-114. (In Russ.) DOI: 10.24143/2072-9502-2017-1-105-114
Submitted 15.01.2019; revised 25.02.2019; published online 19.04.2019.
About the authors:
Maria A. Myasoedova, Researcher, V.A. Trapeznikov Institute of Control Sciences, Russian Academy of Sciences (65 Profsoyuznaya St., Moscow 117997, Russia), ORCID: http://orcid.org/0000-0002-0317-4781, [email protected]
Zinaida P. Myasoedova, Researcher, V.A. Trapeznikov Institute of Control Sciences, Russian Academy of Sciences (65 Profsoyuznaya St., Moscow 117997, Russia), ORCID: http://orcid.org/0000-0001-6022-3503, [email protected]
All authors have read and approved the final manuscript.
Vol. 15, No. 1. 2G19 ISSN 2411-1473 sitito.cs.msu.ru
Modern Information Technologies and IT-Education
