Корпус жестов в письменной форме как инструмент для исследования особенностей их формирования (на примере русского жестового языка) Текст научной статьи по специальности «Языкознание и литературоведение»

УДК 004.5, 004.8

DOI: 10.25559/SITIT0.14.201802.426-435

КОРПУС ЖЕСТОВ В ПИСЬМЕННОЙ ФОРМЕ КАК ИНСТРУМЕНТ ДЛЯ ИССЛЕДОВАНИЯ ОСОБЕННОСТЕЙ ИХ ФОРМИРОВАНИЯ (НА ПРИМЕРЕ РУССКОГО ЖЕСТОВОГО ЯЗЫКА)

М.А. Мясоедова, З.П. Мясоедова

Институт проблем управления им. В.А. Трапезникова РАН, г. Москва, Россия

CORPUS OF SIGNS IN WRITING AS A TOOL TO INVESTIGATE

THE PECULIARITIES OF HOW SIGNS FORM UP

(ON THE EXAMPLE OF THE RUSSIAN SIGN LANGUAGE)

Maria A. Myasoedova, Zinaida P. Myasoedova

V.A. Trapeznikov Institute of Control Sciences, Russian Academy of Sciences, Moscow, Russia

I© Мясоедова М.А., Мясоедова З.П., 2018|

Ключевые слова

Аннотация

Жесты; жестовый язык; письменная форма жестов; нотация SignWгiting; особенности русского жестового языка; корпус жестов.

Keywords

Статья посвящена рассмотрению особенностей формирования жестов, используемых в жестовых языках глухих, и связанных с этим проблем их лингвистического описания. Жестовый язык является средством невербальной коммуникации людей с потерей слуха и занимает особое место среди всех языков. Он выступает в роли самостоятельного полноценного языка со своими правилами построения. В жестовых языках практически каждому слову имеется жестовое соответствие. До недавнего времени жестовые языки не имели своей письменной формы. Разработанные системы записи жестов (нотации) позволяют фиксировать все их элементы в виде последовательности знаков. Это даёт возможность передавать и хранить важную информацию, которая может быть использована в разных сферах деятельности человека. В работе дано описание особенностей формирования жестов, характерных русскому жестовому языку, и приведены примеры их записи с использованием знаков системы SignWriting. На данный момент эта система является наиболее распространённой во многих странах благодаря точности описания жестов и универсальности применения её ко многим национальным жестовым языкам. Это позволяет в удобной статической форме рассмотреть структуру жестов и выявить особенности их формирования. Исследование проведено на основе элементов собственного корпуса наиболее употребительных жестов, объединённых в группы различной тематики, в письменной форме с использованием знаков нотации SignWriting. Полученные результаты могут быть использованы специалистами, занимающимися проблемами записи жестов и же-стовой речи и разработкой программ, основанных на их распознавании. Проанализированы особенности русского жестового языка на основе использования знаков SignWriting и продемонстрирована эффективность письменного представления жестов для изучения жестовых языков.

Abstract

Gestures; Sign Language; written form of signs; notation SignWriting; peculiarities of the Russian Sign Language; corpus of signs.

We investigate the peculiarities of how gestures are formed in Sign Languages; deaf people use these gestures to communicate with each other These peculiarities make it problematic to describe the Sign Languages linguistically. The Sign Language allows hear-impaired people to communicate non-verbally. It occupies a special place among all languages. The Sign Language is an independent full-fledged language with its own construction rules. In Sign Languages, almost every word conforms to a sign. Until recently, Sign Languages had no written form. The developed systems of gesture recording (notation) allow us to fix all their elements in the form of a sequence of signs. This makes it possible to transmit and store important information to use in various human activities. We describe the specifics of how sign (gesture) are

Об авторах:

Мясоедова Мария Александровна, научный сотрудник, Институт проблем управления им. В.А. Трапезникова РАН (117997, Россия, г. Москва, ул. Профсоюзная, д. 65), ORСID: http://orcid.org/0000-0002-0317-4781, [email protected]

Мясоедова Зинаида Павловна, научный сотрудник, Институт проблем управления им. В.А. Трапезникова РАН (117997, Россия, г. Москва, ул. Профсоюзная, д. 65), ORСID: http://orcid.org/0000-0001-6022-3503, [email protected]

Современные информационные технологии и ИТ-образование

Том 14 № 2 (2018) ISSN 2411-1473 sitito.cs.msu.ru

formed in Russian Sign Language. We give examples of how gestures are recorded by means of the signs of the SignWriting system. At the moment, this system is the most common in many countries. One advantage of this notation is that the system describes gestures highly accurately. The second advantage is that the system is universally applicable to many national Sign Languages. This allows us to investigate the structure of gestures in a convenient static form, to reveal how the sign peculiarities form up. Our investigation is based on the elements of our own corpus (dictionary) of the most common gestures; the gestures are written in the SignWriting notation and grouped according to subject. The results we obtained can be useful for the researchers who specialize in Sign Languages and develop software to recognize Sign Languages. We analyzed the peculiarities of the Russian Sign Language by means of the SignWriting signs. We demonstrated how effective the written representation of gestures is to study Sign Languages.

Введение

Среди приоритетных направлений развития искусственного интеллекта большое внимание уделяется включению в этот процесс жестов, рассматриваемых как способ обеспечения более естественного человеко-компьютерного взаимодействия. Это служит мотивом для изучения структуры жестов и правил формирования их с целью получения необходимых сведений для проведения дальнейших исследований в области распознавания жестов.

Лучшим материалом для такого исследования может служить жестовый язык (ЖЯ) глухих, который занимает особое место среди всех языков. Рост интереса к исследованию национальных ЖЯ наблюдается в последнее время во многих странах.

Цель настоящей работы заключается в рассмотрении особенностей формирования жестов ЖЯ и используемых в нём правил на основе разработанного корпуса жестов РЖЯ, представленных в письменной форме с помощью знаков системы SignWriting. Такой способ фиксации жестов значительно упрощает выявление особенностей каждого из них и позволяет определить их отличительные черты.

Жесты и жестовая коммуникация

Коммуникационная деятельность человека основана на взаимодействии вербальных и невербальных средств, включающих в себя все формы самовыражения. Невербальное общение предполагает передачу информации или эмоционального состояния без использования речи посредством зрительного контакта, мимики и различных жестов, представляющих собой некий двигательный процесс с участием рук, головы и плеч.

Процесс речевого общения довольно часто сопровождается жестикуляцией говорящего, позволяющей добавлять ей убедительности, вызывая тем самым интерес со стороны слушателя. Жестикуляция является лишь дополнением к произнесённым словам и носит вспомогательный характер.

Более самостоятельной невербальной формой коммуникации является язык жестов, в основе которого лежат хорошо известные всем жесты (описание руками размера или формы предмета, демонстрация угрозы (кулак, сжатые губы), движение головы в знак согласия или отрицания и т.д.), практически всегда и везде воспринимаемые людьми однозначно, что позволяет им понять друг друга независимо от знания ими того или иного иностранного языка.

Особое место жест занимает в ЖЯ, в котором он, аналогич-

но слову в словесных языках, является единицей речи и играет очень важную роль в системе перевода информации в конкретную знаковую форму ЖЯ. При описании жестов, выполняемых в трёхмерной области, называемой областью жестикуляции, к рассмотрению представлены основные элементы каждого из них: конфигурация рук, движение рук, включая его характер и качество; ориентация рук в пространстве относительно друг друга и корпуса исполнителя жеста; локализация жеста относительно тела; немануальные компоненты, включая мимику и артикуляцию [1-3].

Жестовый язык представляет собой знаковую систему со своими особенностями, которые могут носить либо специфический характер, либо совпадать с некоторыми общими правилами, свойственными многим жестовым системам коммуникации. У ЖЯ, включающего в себя в жестовой форме слова, предложения, фразы и знаки препинания, есть свои собственные грамматические структуры, которые принципиально отличаются от национального словесного языка, в частности, возможность передачи нескольких фрагментов информации одновременно.

По сравнению с национальными звучащими языками, существенно различающимися между собой структурой и словами, в национальных ЖЯ эти различия проявляются в меньшей степени. Наличие схожих жестов в некоторых ЖЯ позволяет их носителям быстрее понять друг друга, что доказано личным опытом.

Жестовая коммуникация может осуществляться посредством жестовой речи в следующих формах:

- калькирующая жестовая речь (КЖР), в которой жесты являются эквивалентами слов и повторяют порядок их следования в обычном словесном предложении. КЖР не имеет собственной грамматики, а лишь копирует структуру словесного языка, выступая в роли вторичной знаковой системы, и обычно сопровождается одновременным беззвучным проговариванием слов;

- разговорная жестовая речь (РЖР) - самобытная лингвистическая система, основанная на использовании при обмене информацией жестов РЖЯ в соответствии с его правилами построения, что является её принципиальным отличием от КЖР. Для РЖР, позволяющей передавать в жестовой форме слова и целые фразы, характерно исполнение жестов в сопровождении яркой мимики для усиления интонационной выразительности и, как правило, отсутствие проговаривания слов;

- дактильная речь (ДР) - особая система конфигураций

Vol. 14, no 2. 2018 ISSN 2411-1473 sitito.cs.msu.ru

Modern Information Technologies and IT-Education

Исследования и разработки в области М.А. Мясоедова,

новых информационных технологий и их приложений З.П. Мясоедова

пальцев рук, обозначающих буквы алфавита (дактилемы) того или иного национального языка, играющая вспомогательную роль при переводе на ЖЯ слов, не имеющих жестового соответствия (имена собственные, некоторые названия и т.д.). Перевод в данном случае осуществляется либо полным дактилировани-ем слова, т.е. побуквенно, либо присоединением нескольких дактилем к жесту для получения нужной грамматической формы [2-4].

Рост интереса к ЖЯ наблюдается во многих развитых странах. Информация в сети становится более разнообразной, появляется доступ к работам специалистов в области исследования национальных ЖЯ как за рубежом, так и в России [5], [6]. Некоторые из последних работ посвящены изучению структуры и грамматики разных ЖЯ и сравнению их особенностей [7].

В последнее время в интернете растёт количество ресурсов для неслышащих людей. Разработаны несколько программ по распространению РЖЯ в режиме on-line, каждая из которых основана на использовании своего речевого видеоматериала (словари, тексты, тесты и т.д.), в т.ч.: видеокурс ЖЯ (РГСУ)1, «Город жестов»2, «Сурдосервер»3, «Лигмир»4, «Spreadthesign» («Распространим жест»)5.

Письменная форма жестов

Кинетическая природа жестовой речи, занимающей важное место в общении людей, до недавнего времени не позволяла фиксировать её в письменной форме. Однако, полномасштабные научные исследования ЖЯ, отношение к которому ещё совсем недавно было неоднозначным, раскрытие структуры жеста и определение свойственных каждому его элементу набора характеристик привели к необходимости разработки систем письменной фиксации жестов и жестовой речи (нотаций).

В последнее время во многих странах всё больше внимания уделяется исследованию ЖЯ, в т.ч. на основе жестовых нотаций, позволяющих фиксировать жесты с использованием определённого набора знаков в виде букв, цифр, линий и других графических элементов, характерных лишь конкретной системе. Применение жестовых нотаций, среди которых наиболее известными являются системы Димскис, HamNoSys и SignWriting, открывает большие возможности для научных исследований ЖЯ с целью определения общих и отличительных параметров их структуры, для создания жестовых словарей различных национальных ЖЯ, для разработки приложений и программ по распознаванию жестов и созданию аватара [9], [10-14], [15-26].

Потребность в жестовых нотациях неоспорима. Владение навыком восприятия жестов в письменной форме на основе их знаков может быть полезным для расширения жизненных перспектив людей с нарушениями слуха. Тем не менее, несмотря на

важность наличия таких систем и возрастающий интерес к ним во многих странах, жестовое письмо не является одной из форм коммуникации носителей ЖЯ.

В данной работе для описания жестов была использована жестовая нотация SignWriting (SW)6. Выбор данной системы обоснован рядом её положительных свойств, к которым можно отнести компактность и точность описания жестов, наглядность, доступность базы знаков, возможность применения к любым национальным ЖЯ при составлении различных слов, предложений и текстов [27].

Корпус жестов РЖЯ в письменной форме

Современные методы исследования национальных ЖЯ основываются на использовании соответствующих им речевых корпусов в электронной форме, главной составляющей которых являются словари, содержащие слова и фразы ЖЯ в письменном виде [9].

Владение РЖЯ позволило авторам на основе знаков системы SW разработать банк наиболее часто употребляемых в повседневной речи глухих жестов «Письменная форма жестов русского жестового языка», в состав которого включены цифры, буквы, части речи и отдельные фразы на РЖЯ. Со временем словарь был пополнен новыми элементами, объединёнными в тематические группы («Человек», «IT», «Страны», «Города», «Растительный мир», «Животный мир» и др.)7. Работы по пополнению и обновлению словаря, объединяющего более 5000 элементов с учётом их различных диалектных вариантов, продолжаются.

В сети интернет на сайте «Сурдосервер» создан раздел, по-свящённый письменной форме РЖЯ, включающий страницы с кратким описанием системы SW, рекомендациями по использованию знаков и примерами написания жестов и жестовых фраз РЖЯ8. Посредством поисковой системы предусмотрен доступ к хранимым в БД элементам словаря, которые использованы в настоящей работе при описании особенностей формирования жестов РЖЯ.

Русский жестовый язык и жестовая запись его лингвистических особенностей

Каждый национальный ЖЯ, в равной степени со словесным языком, соответствует требованиям культуры своей страны и имеет свои особенности, некоторые из которых могут быть характерны разным ЖЯ.

Говоря о РЖЯ, можно определить его, как язык межличностного общения, которым пользуются глухие люди в России и ряде других стран бывшего СССР. Русский ЖЯ - своеобразная, независимая и сложная лингвистическая система со своими, отличными от словесной речи, особенностями на всех языковых

1 Русский жестовый язык. РГСУ. [Видеокурс]. URL: http://rgsu.net/press-centre/announce/questionnaire/ (дата обращения: 25.03.2018).

2 Город Жестов [Электронный ресурс]. URL: https://jestov.net/ (дата обращения: 25.03.2018).

3 Сурдосервер 2.0 [Электронный ресурс]. URL: http://surdoserver.ru/ (дата обращения: 25.03.2018).

4 Базовый курс - жестового языка [Электронный ресурс]. URL: http://ligmir.com/bazovyj-kurs.html (дата обращения: 25.03.2018).

5 On-line словарь «Spreadthesign» [Электронный ресурс]. URL: https://www.spreadthesign.com/ru/ (дата обращения: 25.03.2018).

6 SignWriting.org [Электронный ресурс]. URL: http://www.signwriting.org (дата обращения: 25.03.2018).

7 Все разработки групп элементов словаря по указанным темам подтверждены Свидетельствами о государственной регистрации в Реестре базы данных ФГУ ФИПС от 2012, 2017-2018 гг.

8 Письменный жестовый язык [Электронный ресурс]. URL: http://russw.surdoserver.ru/ (дата обращения: 25.03.2018).

Современные информационные технологии и ИТ-образование

Том 14 № 2 (2018) ISSN 2411-1473 sitito.cs.msu.ru

уровнях (отсутствие в РЖЯ союзов, предлогов, окончаний слов; передача жестов отрицания и прилагательных после субъекта (предмета) описания и т.д.) [28-29].

Жестовая запись с использованием знаков нотации SW наглядно демонстрирует отдельные особенности РЖЯ, которые проявляются в их исполнении (рис. 1).

a) ! : l одноручные j двуручн ые

: о : GÜ 9é

1 -/a^a , 1 i -fß , 1 1

«глухой» 1«отравление»| «дудочка» 1 «косичка» ;

б) ! т симметричные j несимметричные

1 1 Jf 1 i^v-v-v i-v"v-v"4 I öeö 'НЙ! 1 ^ ЧХ 1 1 1 «мыться» | «пианино» j Ы «дерево» 1 1 V \ 1 1 «писать» ;

В) 1 ......T" статические j динамические

.....T.....Г P ! dOä ; © Г ! : W !

1 i «л» 1 «плеер» | «изменить» 1 «капюшон» i

Г) 1 ............................................................Г с локализацией j без локализации

_ '.....Г Ж \ ! w ; \ ; «парфюм» 1 «сила» j ê, «не» •i t. ! i 1 «море» !

Схожесть и различие жестов

Процесс восприятия жестовой речи существенно зависит от характера переданного сообщения, а именно от заложенной в нём информации, от особенностей построения фразы и от контекста, наличие которого позволяет глухому человеку легче и быстрее узнать входящие в сообщение слова в жестовой форме и уловить смысл сказанного. В противном случае могут возникать различные недоразумения, связанные со схожестью жестов, распознавание одного из которых может влиять на процесс распознавания другого жеста, находящегося с ним в определённой связи.

В ЖЯ практически каждому слову имеется жестовое соответствие. Наличие в нём жестов с незначительными отличиями друг от друга отдельными компонентами, но имеющих разное значение, требует точности их формирования.

В РЖЯ имеются пары или более схожих по исполнению жестов с незначительным различием, например, в конфигурации рук, их местоположении, характере движения и т.д., что наглядно демонстрирует письменная форма жестов (рис. 2).

Г | Слова 1 SW Примечание

, i О «трудность» | ^У^^ 7) «трудный» > «трудно»I ** ! d U н

d □

d □

«язык» ' __ «яйцо» | ЧоУ «яичный»( > „„,„„„„ 1 ^^ □ а □

«Финляндия» 1 J

Рис. 1. Виды жестов РЖЯ по способу их исполнения Fig. 1. Kinds of gestures of the RSL according to the way they are performed (RSL - Russian Sign Language)

Вариативность жестов

Каждый национальный ЖЯ характеризуется использованием его носителями общеупотребительных жестов и их диалектных разновидностей, что приводит к вариативности формирования жестов, наблюдаемой в отдельных группах людей с разным местом их проживания и социальным статусом. В соответствии с этим выделяют территориальные и социальные же-стовые диалекты РЖЯ [30].

Стоит сказать, что границы распространения территориальных жестовых диалектов ЖЯ не всегда совпадают с границами естественных языков. Вариативность исполнения жестов РЖЯ наблюдается на всей территории его распространения - в России и в ряде стран постсоветского пространства (Белоруссия, Грузия, Украина, Казахстан, страны Прибалтики и др.). Явные лексические расхождения в РЖЯ могут существовать даже в пределах одного населённого пункта - области, города и т.д.

В последнее время увеличивается число стран, включая Россию, с официальным признанием ЖЯ на государственном или на федеральном уровне. Несмотря на это, практически во всех странах, независимо от уровня их развития, ЖЯ не унифицированы, т.е. вариативность жестов наблюдается по-прежнему.

Рис. 2. Схожие жесты РЖЯ с различной конфигурацией руки Fig. 2. Similar gestures of the RSL with a different configuration of the hand

Приведённые на рис. 2 жесты различаются между собой лишь одним компонентом - конфигурацией кисти руки, а именно, формой указательного пальца. Небрежное исполнение таких жестов приводит при их распознавании к неопределённости, которая может быть снята лишь при наличии контекста.

Значения жестов

Современный РЖЯ характеризуется содержанием в нём как однозначных жестов с соответствующим каждому из них лишь одного устойчивого лексического значения, так и многозначных жестов, наличие которых можно считать одним из ярких признаков самобытности его лексики. Жестам РЖЯ характерна также разнозначность и равнозначность.

Все перечисленные выше особенности жестов РЖЯ могут быть представлены в статической форме с использованием знаков нотации SW в виде схемы, в которой будут задействованы взаимосвязанные параметры (ВСП), такие как слово (S) и соответствующий ему жест (G), каждый из которых может иметь одно или несколько различных значений (Z) [6].

Таким образом, формальная запись модели треугольника соответствия слов, жестов и их значений может быть представлена в виде:

Д SZG: {St - Zj - Gk} (при i = 1 -f- n j = 1 -f- т; к = 1 + I),

Vol. 14, no 2. 2018 ISSN 2411-1473 sitito.cs.msu.ru

Modern Information Technologies and IT-Education

Исследования и разработки в области М.А. Мясоедова,

новых информационных технологий и их приложений З.п. Мясоедова

где диакритический знак использован для уточнения значения параметра - его многозначности.

Далее по тексту для лучшего восприятия записи ВСП, имеющие одно значение, будут представлены без индекса.

Особенности формирования жестов РЖЯ могут проявляться в: 1. однозначности всех ВСП модели - в соответствии одного слова одному жесту (рис. 3].

Z Л

Л —*■ «думать»

S/ \ G

ASZG:{S — Z — G]

при i,j, к = 1

Рис. 3. Однозначность всех ВСП Fig. 3. The unambiguousness of all IP (IP - interrelated parameters)

2. многозначности одного из ВСП:

- в соответствии одного слова нескольким равнозначным жестам (рис. 4.1], что объясняется их вариативностью;

- в соответствии одного жеста одному слову, имеющему несколько значений (рис. 4.2];

- в обозначении одним жестом нескольких слов, которые могут однокоренными, близкими по смыслу (рис. 4.3] или не связанными между собой какой-либо общностью (рис. 2.2] [31].

3. однозначности одного из ВСП:

- в обозначении одним жестом нескольких разнозначных слов (рис. 5.1];

- в обозначении объединённых одной тематикой группы слов комбинированным жестом. В составе его - общий жест, означающий само слово (название группы «Гриб»], с добавлением к нему соответствующего каждому из слов жеста, либо с добавлением дактилирования в связи с отсутствием в РЖЯ соответствующего ему жестового эквивалента (рис. 5.2];

- в соответствии одного многозначного слова (омонима] нескольким жестам (рис. 5.3].

ASZG-.{S-Z-Gk}

при к = 1 н- п, i,j = 1

ASZG-.{S-Zj-G}

при j = 1 -=- п, i, к = 1

aSZG-.IS^Z-G]

при i = 1 -=- п, ], к = 1

«база данных»

# Ч/

¿О*

Отверстие в стене у, ^ для света и воздуха.

и ✓ ' Отверстие в «окно» *- ^ - - >- разделяющей что-

I ' ^ нибудь перегородке.

\ Ничем не занятое V время, промежуток в цикле работ, в расписании.

О

•«теплота» -«тёплый» • «тепло»

гд,** w^-rr ;-v «теплеть»

Ч> ©

Рис. 4. Многозначность одного из ВСП Fig. 4. The ambiguity of one of the IP

ASZG:{S-Zj-Gk}

при j, к = 1 n, i = 1

,«программа»

«статистика»

,«состав»

^-д/ У/^г «структура»

«алгоритм»

к «режим»

1 «расписание»

«позиции» (текстового материала)

Гриб

«белый гриб»

«лисичка»

М ** J, ■ 1

с% ** J, ■

о **

и

щ

«лук» I,

декор.

репка

О п^

оо К Т

OJ- ©vw

Рис. 5. Однозначность одного из ВСП Fig. 5. The uniqueness of one of the IP

Современные информационные технологии и ИТ-образование

Том 14 № 2 (2018) ISSN 2411-1473 sitito.cs.msu.ru

Maria A. Myasoedova, Zinaida P. Myasoedova

Research and development in the field of new IT and their applications

431

Приведённые на рис. 4 - 5 примеры полисемии, характерной как словесному русскому языку, так и РЖЯ, указывают на необходимость изучения её для выявления потенциальных свойств слов и жестов при переводе с одного языка на другой.

Количественное несоответствие слов и их жестовых аналогов

Ещё одна особенность, характерная РЖЯ, проявляется в речи глухих, насыщенной жестами, несущими в себе информацию, соответствующую нескольким словам или целой фразе русского языка (рис. 6, а], либо жестовыми конструкциями для передачи одного слова, которое не имеет жестового эквивалента (рис. 6, б].

а)

меня это не касается»

«мастер своего дела»

С

«поликлиника»

*

+

<— —»

»медицина» «учреждение»

«армия» —

+ С Си

Ч> 4г

«военный» «группа»

Рис. 6. Исполнение одним жестом фразы [2] (а) и несколькими жестами одного слова (б)

Fig. 6. Performing the phrase [2] with one gesture (a) and one word with several gestures (b)

Порядок слов в РЖЯ

Порядок слов в РЖЯ зависит от многих факторов и практически никогда не совпадает с порядком слов в словесном русском языке.

Жесты отрицания в РЖЯ практически всегда передаются после глагола. В отдельных случаях допускается замена их другими жестами, в значении которых присутствует отрицательный компонент (с похожим значением] (рис. 7].

«не видел»

«не спал»

<§>т

1+

«видеть» + «не»

«автобуса ещё не было»

«спать» + «не был»

Z1

(1 ^ ig***

«автобус» + «рано»

Рис. 7. Исполнение жестов, передающих отрицание Fig. 7. Performing gestures conveying denial

Жестовая речь, как было сказано выше, включает в себя калькирующую и разговорную жестовые формы, особенности которых при переводе фразы «Завтра ожидаются сильные дожди с грозой» отражены на рис. 8.

Завтра ожидаются сильные дожди с грозой

О,

JT > V

«завтра» «ожидать» «сильный» «дождь» «гроза»

*© О L &

«завтра» I«будет», «дождь» «сильный» «гроза»

О,

±

Рис. 8. Пример представления фразы в калькирующей форме (1) и в разговорной форме (2) Fig. 8. An example of a phrase presentation in the form of a calculating form (1) and in colloquial form (2)

Как следует из рис. 8.1, при переводе фразы на калькирующую форму ЖЯ происходит последовательная замена каждого слова его жестовым аналогом, что иногда может привести к искажению смысла фразы. Так использование в данном примере жеста «ожидать», применимого для случая ожидания кого-то, должен быть другой жест, означающий «будет».

В РЖР формирование жестов происходит иначе (рис. 8.2). Здесь любую фразу можно сократить, удалив из неё некоторые жесты (слова), но при условии сохранения её смысла. Применительно к данному случаю можно опустить слово «будет».

В отличие от КЖР в РЖЯ жесты передаются с большей эмоциональностью. Так знаку «сильный» можно добавить лицевой знак (лоб, глаза), что будет лишь усиливать значение жеста, при этом присутствие этого знака в данном случае не будет обязательным. Жест «дождь» в РЖР тоже передан с большей интенсивностью.

Применительно к обеим жестовым формам допустимо отсутствие жестового аналога предлога («с»), что не влечёт за собой потерю смысла фразы. Использование в обоих примерах разных жестов при передаче слова «завтра» демонстрирует их вариативность, в частности, на рис. 8.2 приведён жест с усечённой формой характера движения, что имеет место в РЖР Такое явление можно наблюдать и в звучащей речи, например, среди молодёжи («компьютер» - «комп», «университет» - «универ» и т.д).

Заключение

В настоящем исследовании была предпринята попытка описать отдельные особенности РЖЯ на основе знаков жесто-вой нотации SW в надежде на то, что это поможет улучшить понимание о его строении и особенностях формирования жестов. Система записи жестов SW, интерес к которой благодаря её гибкости и достаточной простоте в использовании всё время возрастает во многих странах, предоставляет шанс охватывать большое количество жестов, создавая банки данных, постоянно пополняя их новыми элементами и обеспечивая их сохранность сколь угодно долго.

Vol. 14, no 2. 2018

ISSN 2411-1473

sitito.cs.msu.ru

Modern Information Technologies and IT-Education

Исследования и разработки в области М.А. Мясоедова,

новых информационных технологий и их приложений З.П. Мясоедова

Исследование особенностей формирования жестов, создание и пополнение банка жестов РЖЯ на основе знаков системы Sign-Writing является полезным, перспективным и престижным для нашей страны делом. Работа в этом направлении позволит получить новые результаты в создании полезных приложений в помощь людям с ограниченными возможностями по слуху. Но в значительной степени нотация SW может быть полезна при лингвистических исследованиях ЖЯ, позволяющих определить их общие и отличительные параметры структуры. Большие возможности даёт применение жестовых нотаций при компьютерной обработке жестов и при создании текстов и словарей различных национальных ЖЯ.

Для анализа РЖЯ и дальнейшего развития его письменной формы необходима совместная работа специалистов в области педагогики, лингвистики, программирования и, что самое главное, носителей ЖЯ, хорошо знающих все его правила и тонкости. Лишь выполнение этих условий позволит добиться успеха в области изучения РЖЯ и использования его письменной формы.

Список использованных источников

[1] Stokoe W.C.Jr. Sign language structure: An outline of the visual communication system of the American deaf // Studies in Linguistics, Occasional Papers, no. 8. Buffalo, NY: University of Buffalo, 1960. 78 p. URL: http://saveo-urdeafschools.org/stokoe_1960.pdf (дата обращения: 25.03.2018).

[2] Зайцева ГЛ. Жестовая речь. Дактилология. М.: Владос, 2000. 192 с. URL: https://studfiles.net/pre-view/1763429/ (дата обращения: 25.03.2018).

[3] Димскис Л.С. Изучаем жестовый язык. М.: Изд. центр «Академия», 2002. 128 с.

[4] Заварицкий Д.А. Анафора на русском жестовом языке. СПб.: Изд. Политехнического университета, 2015. 100 с. URL: http://www.surdonika.ru/upload/iblock/ad1/ anafora_2015.pdf (дата обращения: 25.03.2018).

[5] Lillo-Martin D., Gajewski J. One Grammar Or Two? Sign Languages and the Nature of Human Language // WIRES Cognitive Science. 2014. Vol. 5, issue 4. Рр. 387-401. DOI: 10.1002/wcs.1297

[6] Королькова О.О. Изучение функциональной стороны русского жестового языка (к постановке проблемы) // Вестник Новосибирского государственного университета. Серия: Лингвистика и межкультурная коммуникация. 2017. Том 15, № 3. С. 67-75. DOI: 10.25205/1818-7935-2017-15-3-67-75

[7] Прозорова Е.В. Маркеры локальной структуры дискурса в русском жестовом языке: Диссертация ... доктора филологических наук. МГУ имени М.В. Ломоносова. Теоретическая и прикладная лингвистика филологического факультета. М., 2009. 244 с.

[8] Kimmelman V Information structure in Russian Sign Language and Sign Language of the Netherlands: Dissertation Amsterdam Center for Language and Communication (ACLC). Faculty of Humanities (FGw) Amsterdam. 2014. 267 p. URL: http://dare.uva.nl/record/1/432175 (дата обращения: 25.03.2018).

[9] Гриф М.Г., Лукоянычев А.В. Мультимедийный программный комплекс для создания словаря

русского жестового языка // Вестник Астраханского государственного технического университета. Серия: Управление, вычислительная техника и информатика. 2017, № 1. С. 105-114. DOI: 10.24143/2072-9502-20171-105-114

[10] Prillwitz S., Leven R., Zienert H., Hanke T., Henning J. Ham-NoSys. Version 2.0; Hamburg Notation System for sign languages: An introductory guide // International Studies on Sign Language and Communication of the Deaf. Vol. 5. Hamburg: Signum Press, 1989. 46 p.

[11] Khushdeep K., Parteek K. HamNoSys to SiGML Conversion System for Sign Language Automation // Procedia Computer Science. 2016. Vol. 89. Рр. 794-803. DOI: 10.1016/j. procs.2016.06.063

[12] Nair M.S., Nimitha A.P., Idicula S.M. Conversion of Malay-alam text to Indian sign language using synthetic animation // Proceedings of 2016 IEEE International Conference on Next Generation Intelligent Systems (ICNGIS), Kotta-yam, 2016. Pp. 1-4. DOI: 10.1109/ICNGIS.2016.7854002

[13] Kaur S., Singh M. Indian Sign Language animation generation system // Proceedings of the 1st International Conference on Next Generation Computing Technologies (NGCT), Dehradun, 2015. Pp. 909-914. DOI: 10.1109/ NGCT.2015.7375251

[14] Kaur R., Kumar P. HamNoSys generation system for sign language // Proceedings of 2014 IEEE International Conference on Advances in Computing, Communications and Informatics (ICACCI), New Delhi, 2014. Pp. 2727-2734. DOI: 10.1109/ICACCI.2014.6968333

[15] Ferreira A.C.A. 3D Character Animation Using Sign Language: Dissertafao de Mestrado apresentada a Faculdade de Ciencias da Universidade do Porto em Área Científica. 2017. 108 p. URL: https://repositorio-aberto.up.pt/bit-stream/10216/106073/2/202824.pdf (дата обращения: 25.03.2018).

[16] Stiehl D., Addams L., Oliveira L.S., Guimaraes C., Britto A.S. Towards a SignWriting recognition system // Proceedings of the 13th International Conference on Document Analysis and Recognition (ICDAR), Tunis, 2015. Pp. 26-30. DOI: 10.1109/ICDAR.2015.7333719

[17] Iatskiu C.E.A., García S.L., Canteri R.D.P., Antunes R.D. The low use of signwriting computational tools from HCI perspective / M. Antona, C. Stephanidis (Eds.) // Universal Access in Human-Computer Interaction. Access to Interaction. 9th International Conference, UAHCI 2015, Held as Part of HCI International 2015, Los Angeles, CA, USA, August 2-7, 2015, Proceedings, Part II. Vol. 9176, Springer International Publishing, 2015. Pp. 373-382. DOI: 10.1007/978-3-319-20681-3_35

[18] Bouzid Y., Jemni M. TuniSigner: An Avatar based System to Interpret SignWriting Notations // Proceedings of the International SignWriting Symposium, 2014. 11 p. URL: http://www.signwriting.org/symposium/archive/ sws0023_Paper_tuniSigner_Avatar_Programming_Yosra_ Bouzid.pdf (дата обращения: 25.03.2018).

[19] Guimaraes C., Guardezi J.F., Oliveira L.E., Fernandes S. Deaf Culture and Sign Language Writing System - A Database for a New Approach to Writing System Recognition Technology // Proceedings of the 47th Hawaii International Conference on System Sciences, Waikoloa, HI, 2014. Pp.

Современные информационные технологии и ИТ-образование

Том 14 № 2 (2018) ISSN 2411-1473 sitito.cs.msu.ru

Research and development in the field of new IT and their applications

3368-3377. DOI: 10.1109/HICSS.2014.418

[20] Guimaraes C., Guardezi J.F., Fernandes S. Sign Language Writing Acquisition - Technology for a Writing System // Proceedings of 2014 47th Hawaii International Confer- [31] ence on System Sciences, Waikoloa, HI, 2014. Pp. 120-129. DOI: 10.1109/HICSS.2014.23

[21] Bouzid Y., Jemni M. tuniSigner: A Virtual Interpreter to Learn Sign Writing // Proceedings of the 14th International Conference on Advanced Learning Technologies, Athens, 2014, pp. 601-605. DOI: 10.1109/ICALT.2014.176

[22] Bouzid Y., Jemni M. A Virtual Signer to Interpret SignWriting / K. Miesenberger, D. Fels, D. Archambault, P. Penaz, References W. Zagler (Eds) // Computers Helping People with Special Needs, ICCHP 2014. Lecture Notes in Computer Sci- [1] ence. Vol. 8548. Springer, Cham, 2014. Pp. 458-465. DOI: 10.1007/978-3-319-08599-9_69

[23] Stuart M.T. A Grammar of SignWriting: Thesis in Linguistics, University of North Dakota. 2011. 300 p. URL: https:// arts-sciences.und.edu/summer-institute-of-linguistics/ theses/_files/docs/2011-thiessen-stuart-m.pdf (дата [2] обращения: 25.03.2018).

[24] Silva F.I.D. Analisando o processo de leitura de uma pos-sivel escrita da lingua brasileira de sinais: SignWriting [3] // Dissertafao de Mestrado em Educafao - Universi-dade Federal de Santa Catarina. Florianopolis. 2009. [4] 114 p. URL: http://www.cultura-sorda.org/wp-content/ uploads/2015/03/Silva_Analisando_processo_leitu-ra_possC3ADvel_escrita_LBS_Signwriting_2009.pdf (дата обращения: 25.03.2018). [5]

[25] Verma V.K., Srivastava S., Kumar N. A comprehensive review on automation of Indian sign language // Proceedings of 2015 IEEE International Conference on Advances in Computer Engineering and Applications, Ghaziabad, 2015. [6] Pp. 138-142. DOI: 10.1109/ICACEA.2015.7164682

[26] Almeida I.R. Exploring Challenges in Avatar-based Translation from European Portuguese to Portuguese Sign Language: Thesis to obtain the Master of Science Degree in Information Systems and Computer Engineering. 2014. 101 [7] p. URL: http://web.ist.utl.pt/~ist163556/pt2lgp/lgp.pdf (дата обращения: 25.03.2018).

[27] Мясоедова М.А., Мясоедова З.П. Жестовые нотации и их [8] сравнительный анализ // Современные информационные технологии и ИТ образование. 2018. Том 14, № 1. С. 183-192. DOI: 10.25559/SITITO.14.201801.183-192

[28] Kimmelman V. Linearization of weak hand holds in Russian Sign Language // Linguistics in Amsterdam. 2017, Vol. 10, no. 1. Pp. 28-59. URL: http://www.linguisticsinamster- [9] dam.nl/download?type=document&identifier=62 3511 (дата обращения: 25.03.2018).

[29] Филимонова Е.В. Функционально-семантическая категория аспектуальности в русском жестовом языке: Диссертация ... кандидата филологических наук. Ново- [10] сибирский государственный технический университет. Новосибирск. 2015. 314 с. URL: http://www.philol. msu.ru/~ref/dcx/2016_FilimonovaEV_diss_10.02.19_24. pdf (дата обращения: 25.03.2018).

[30] Буркова С.И., Варинова О.А. К вопросу о территориаль- [11] ном и социальном варьировании русского жестового языка / Под ред. О.В. Фёдоровой // Русский жесто-вый язык: первая лингвистическая конференция. М.,

2012. С. 127-143. URL: http://www.ipu.ru/sites/default/ files/pub_files/RSL2012texts.pdf (дата обращения: 25.03.2018).

Мясоедова М.А., Мясоедова З.П., Петухова Н.В., Фарха-дов М.П., Ефросинин Д.В. Письменная форма для жестового языка и ее применение для автоматизированного сурдоперевода. М.: МАКС Пресс. 2012. 180 с.

Поступила 25.03.2018; принята к публикации 10.05.2018; опубликована онлайн 30.06.2018.

Stokoe W.C.Jr. Sign language structure: An outline of the visual communication system of the American deaf. Studies in Linguistics, Occasional Papers, no. 8. Buffalo, NY: University of Buffalo, 1960. 78 p. Available at: http:// saveourdeafschools.org/stokoe_1960.pdf (accessed

25.03.2018).

Zaytseva G.L. Sign language. Dactylology. M.: Vlados, 2000. 192 p. Available at: https://studfiles.net/pre-view/1763429/ (accessed 25.03.2018). (ln Russian) Dimskis L.S. Learn sign language. M.: lzd. tsentr «Akademi-ya». 2002. 128 p. (ln Russian)

Zavaritskiy D.A. Anaphora in Russian sign language. SPb.: lzd. Politekhnicheskogo universiteta. 2015. 100 p. Available at: http://www.surdonika.ru/upload/iblock/ad1/ anafora_2015.pdf (accessed 25.03.2018). (ln Russian) Lillo-Martin D., Gajewski J. One Grammar Or Two? Sign Languages and the Nature of Human Language. WIRES Cognitive Science. 2014; 5(4):387-401. DOl: 10.1002/ wcs.1297

Korolkova O.O. Functional Aspect of the Russian Sign Language: Defining a Research Approach. Vestnik NSU. Series: Linguistics and Intercultural Communication. 2017; 15(3):67-75. (ln Russian) DOl: 10.25205/1818-79352017-15-3-67-75

Prozorova Ye.V. Markers of the local structure of discourse in Russian sign language: Thesis ... doctor of philological sciences. M.: MSU, 2009. 244 p. (ln Russian) Kimmelman V. lnformation structure in Russian Sign Language and Sign Language of the Netherlands: Dissertation Amsterdam Center for Language and Communication (ACLC). Faculty of Humanities (FGw) Amsterdam. 2014. 267 p. Available at: http://dare.uva.nl/record/1/432175 (accessed 25.03.2018).

Grif M.G., Lukoyanychev A.V. Multimedia software complex for creating the dictionary of Russian sign language. Vest-nik of Astrakhan State Technical University. Series: Management, Computer Science and Informatics. 2017; 1:105-114. (ln Russian) DOl: 10.24143/2072-9502-2017-1-105-114 Prillwitz S., Leven R., Zienert H., Hanke T., Henning J. HamNoSys. Version 2.0; Hamburg Notation System for sign languages: An introductory guide. lnternational Studies on Sign Language and Communication of the Deaf. Vol. 5. Hamburg: Signum Press, 1989. 46 p.

Khushdeep K., Parteek K. HamNoSys to SiGML Conversion System for Sign Language Automation. Procedia Computer Science. 2016; 89:794-803. DOl: 10.1016/j. procs.2016.06.063

Vol. 14, no 2. 2018 ISSN 2411-1473 sitito.cs.msu.ru

Modern Information Technologies and IT-Education

Исследования и разработки в области М.А. Мясоедова,

новых информационных технологий и их приложений З.П. Мясоедова

[12] Nair M.S., Nimitha A.P., Idicula S.M. Conversion of Malay-alam text to Indian sign language using synthetic animation. Proceedings of 2016 IEEE International Conference on Next Generation Intelligent Systems (ICNGIS), Kottayam,

2016. Pp. 1-4. DOI: 10.1109/ICNGIS.2016.7854002

[13] Kaur S., Singh M. Indian Sign Language animation generation system. Proceedings of the 1st International Conference on Next Generation Computing Technologies (NGCT), Dehradun, 2015. Pp. 909-914. DOI: 10.1109/ NGCT.2015.7375251

[14] Kaur R., Kumar P. HamNoSys generation system for sign language. Proceedings of 2014 IEEE International Conference on Advances in Computing, Communications and Informatics (ICACCI), New Delhi, 2014. Pp. 2727-2734. DOI: 10.1109/ICACCI.2014.6968333

[15] Ferreira A.C.A. 3D Character Animation Using Sign Language: Dissertafao de Mestrado apresentada a Faculdade de Ciencias da Universidade do Porto em Área Científica.

2017. 108 p. Available at: https://repositorio-aberto.up-.pt/bitstream/10216/106073/2/202824.pdf (accessed 25.03.2018).

[16] Stiehl D., Addams L., Oliveira L.S., Guimaraes C., Britto A.S. Towards a SignWriting recognition system. Proceedings of the 13th International Conference on Document Analysis and Recognition (ICDAR), Tunis, 2015. Pp. 26-30. DOI: 10.1109/ICDAR.2015.7333719

[17] Iatskiu C.E.A., García S.L., Canteri R.D.P., Antunes R.D. The low use of signwriting computational tools from HCI perspective. M. Antona, C. Stephanidis (Eds.) Universal Access in Human-Computer Interaction. Access to Interaction. 9th International Conference, UAHCI 2015, Held as Part of HCI International 2015, Los Angeles, CA, USA, August 2-7, 2015, Proceedings, Part II. Vol. 9176, Springer International Publishing, 2015. Pp. 373-382. DOI: 10.1007/978-3-319-20681-3_35

[18] Bouzid Y., Jemni M. TuniSigner: An Avatar based System to Interpret SignWriting Notations. Proceedings of the International SignWriting Symposium, 2014. 11 p. Available at: http://www.signwriting.org/symposium/archive/ sws0023_Paper_tuniSigner_Avatar_Programming_Yosra_ Bouzid.pdf (accessed 25.03.2018).

[19] Guimaraes C., Guardezi J.F., Oliveira L.E., Fernandes S. Deaf Culture and Sign Language Writing System - A Database for a New Approach to Writing System Recognition Technology. Proceedings of the 47th Hawaii International Conference on System Sciences, Waikoloa, HI, 2014. Pp. 33683377. DOI: 10.1109/HICSS.2014.418

[20] Guimaraes C., Guardezi J.F., Fernandes S. Sign Language Writing Acquisition - Technology for a Writing System. Proceedings of 2014 47th Hawaii International Conference on System Sciences, Waikoloa, HI, 2014. Pp. 120-129. DOI: 10.1109/HICSS.2014.23

[21] Bouzid Y., Jemni M. tuniSigner: A Virtual Interpreter to Learn Sign Writing. Proceedings of the 14th International Conference on Advanced Learning Technologies, Athens, 2014, pp. 601-605. DOI: 10.1109/ICALT.2014.176

[22] Bouzid Y., Jemni M. A Virtual Signer to Interpret SignWriting. K. Miesenberger, D. Fels, D. Archambault, P. Peftáz, W. Zagler (Eds) Computers Helping People with Special Needs, ICCHP2014. Lecture Notes in Computer Science. Vol. 8548.

Springer, Cham, 2014. Pp. 458-465. DOI: 10.1007/978-3-319-08599-9_69

[23] Stuart M.T. A Grammar of SignWriting: Thesis in Linguistics, University of North Dakota. 2011. 300 p. Available at: https://arts-sciences.und.edu/summer-institute-of-lin-guistics/theses/_files/docs/2011-thiessen-stuart-m.pdf (accessed 25.03.2018).

[24] Silva F.I.D. Analisando o processo de leitura de uma pos-sivel escrita da lingua brasileira de sinais: SignWriting // Dissertafao de Mestrado em Educafao - Universidade Federal de Santa Catarina. Florianopolis. 2009. 114 p. Available at: http://www.cultura-sorda.org/wp-con-tent/uploads/2015/03/Silva_Analisando_processo_leitu-ra_possC3ADvel_escrita_LBS_Signwriting_2009.pdf (accessed 25.03.2018).

[25] Verma V.K., Srivastava S., Kumar N. A comprehensive review on automation of Indian sign language. Proceedings of 2015 IEEE International Conference on Advances in Computer Engineering and Applications, Ghaziabad, 2015. Pp. 138-142. DOI: 10.1109/ICACEA.2015.7164682

[26] Almeida I.R. Exploring Challenges in Avatar-based Translation from European Portuguese to Portuguese Sign Language: Thesis to obtain the Master of Science Degree in Information Systems and Computer Engineering. 2014. 101 p. Available at: http://web.ist.utl.pt/~ist163556/pt2lgp/ lgp.pdf (accessed 25.03.2018).

[27] Myasoyedova M.A., Myasoyedova Z.P. Sign language notation systems and their comparative analysis. Modern Information Technology and IT-education. 2018; 14(1):183-192. (In Russian) DOI: 10.25559/SITIT0.14.201801.183-192

[28] Kimmelman V. Linearization of weak hand holds in Russian Sign Language. Linguistics in Amsterdam. 2017; 10(1):28-59. Available at: http://www.linguisticsinamsterdam.nl/ download?type=document&identifier=623511 (accessed 25.03.2018).

[29] Filimonova Ye.V. Functional-semantic category of aspectu-ality in Russian sign language: Thesis ... candidate of philological sciences. Novosibirsk: Novosibirsk State Technical University, 2015. 314 p. Available at: http://www.philol. msu.ru/~ref/dcx/2016_FilimonovaEV_diss_10.02.19_24. pdf (accessed 25.03.2018). (In Russian)

[30] Burkova S.I., Varinova O.A. On the question of the territorial and social variation of the Russian sign language. Ed. O.V. Fedorova. Russian Sign Language: First Linguistic Conference. M., 2012. Pp. 127-143. Available at: http://www. ipu.ru/sites/default/files/pub_files/RSL2012texts.pdf (accessed 25.03.2018). (In Russian)

[31] Myasoyedova M.A., Myasoyedova Z.P., Petukhova N.V., Farkhadov M.P., Yefrosinin D.V. Written form for sign language and its use for automated sign language interpretation. M.: MAKS Press, 2012. 180 p. (In Russian)

Submitted 25.03.2018; revised 10.05.2018; published online 30.06.2018.

Современные информационные технологии и ИТ-образование

Том 14 № 2 (2018) ISSN 2411-1473 sitito.cs.msu.ru

About the authors:

Maria A. Myasoedova, Researcher, V.A. Trapeznikov Institute of Control Sciences, Russian Academy of Sciences (65 Profsoyuznaya Str., Moscow 117997, Russia), ORCID: http://orcid.org/0000-0002-0317-4781, [email protected]

Zinaida P. Myasoedova, Researcher, V.A. Trapeznikov Institute of Control Sciences, Russian Academy of Sciences (65 Profsoyuznaya Str., Moscow 117997, Russia), ORCID: http://orcid.org/0000-0001-6022-3503, [email protected]

This is an Open Access article distributed under the terms ofthe Creative Commons Attribution License (http://creativecommons.Org/licenses/by/4.0), which permits unrestricted reuse, distribution, and reproduction in any medium provided the original work is properly cited.

Vol. 14, no 2. 2018 ISSN 2411-1473 sitito.cs.msu.ru

Modern Information Technologies and IT-Education