Жестовые нотации и их сравнительный анализ Текст научной статьи по специальности «Компьютерные и информационные науки»

Vol. 14, no. 1. 2018 ISSN2411-1473 sitito.cs.msu.ru

УДК 004.5, 004.8

DOI: 10.25559/SITITO.14.201801.183-192

ЖЕСТОВЫЕ НОТАЦИИ И ИХ СРАВНИТЕЛЬНЫЙ АНАЛИЗ

М.А. Мясоедова, З.П. Мясоедова

Институт проблем управления им. В.А. Трапезникова РАН, г. Москва, Россия

Аннотация

Дано описание жестов и жестового языка как средств невербальной коммуникации людей с потерей слуха. Приведён краткий обзор существующих жестовых нотаций, предназначенных для фиксации жестов в письменной форме с использованием в них буквенных, цифровых и различных графических элементов. Проведён сравнительный анализ данных жестовых нотаций в соответствие с их характеристиками применительно к описанию русской жестовой речи. Обоснован выбор системы SignWriting для записи русской жестовой речи, модифицированной с учётом её специфики. Описаны особенности системы SignWriting, унифицированные знаки и правила которой позволяют наиболее компактно и точно фиксировать пространственно-временную форму жестов. Создан словарь наиболее употребительных жестов русского жестового языка различной тематики в письменной форме с использованием знаков системы SignWriting.

Ключевые слова

Жесты; жестовая речь; русский жестовый язык; письменная форма жестов; нотация-система SignWriting.

SIGN LANGUAGE NOTATION SYSTEMS AND THEIR COMPARATIVE ANALYSIS

Maria A. Myasoedova, Zinaida P. Myasoedova

V.A. Trapeznikov Institute of Control Sciences, Russian Academy of Sciences, Moscow, Russia Abstract

In this paper we describe gestures and sign language as means of non-verbal communication of people with hearing loss. We give a brief overview of existing sign language notations on currently, designed to depict gestures in a written form using in them alphabetic, digital and various graphic elements is given. We present comparative analysis of their sign language notations in accordance with their characteristics as applied to the description of Russian sign language. We argue that

Об авторах:

Мясоедова Мария Александровна, ведущий инженер АСУП, Институт проблем управления им. В.А. Трапезникова РАН (117997, Россия, г. Москва, ул. Профсоюзная, д. 65); ORСID: http://orcid.org/0000-0002-0317-4781, mariamarfi@mail.ru

Мясоедова Зинаида Павловна, научный сотрудник, Институт проблем управления им. В.А. Трапезникова РАН (117997, Россия, г. Москва, ул. Профсоюзная, д. 65); ORСID: http://orcid.org/0000-0001-6022-3503, mzinap@mail.ru

© MacoegoBa M.A., MacoegoBa 3.n., 2018 Research and development in the field of new IT and their applications

Том 14, № 1. 2018 ISSN2411-1473 sitito.cs.msu.ru

SignWriting system, modified for our needs, is a good choice to record Russian sign language. We describe features of the SignWriting system are described, the unified signs and rules of which allow the most compact and accurate fixation of the space-time form of gestures for the deaf. We created a dictionary of the most common gestures of Russian sign language of various topics; the dictionary is given in a written form using signs of SignWriting system.

Keywords

Gestures; speech sign language; Russian sign language; written form sign language; notations; SignWriting system.

Введение

Свою коммуникационную деятельность человек осуществляет посредством

взаимосвязанных вербальных и невербальных средств, имеющих свои особенности и включающих в себя все формы самовыражения, использующиеся в качестве некого дополнения к произнесённым словам, а также для передачи смысла, если трудно подобрать для этого нужные слова.

Невербальный язык, являясь наиболее древней и базисной формой коммуникации без помощи слов, настолько мощный и общедоступный, что практически всегда позволяет людям понять друг друга независимо от знания ими того или иного иностранного языка.

Особое место среди всех языков занимает жестовый язык глухих, который в отличие от простой жестикуляции слышащих людей, носящей вспомогательный характер, выступает в роли полноценного самостоятельного языка, не уступающего по своим коммуникативным функциям звуковым языкам.

Главным параметром, объединяющим системы коммуникации глухих, является способ передачи и восприятия информации, основной смысловой единицей которого служит жест, представляющий собой некий двигательный процесс с участием рук и мимики.

Жестовый язык и его письменная форма

Жестовый язык (ЖЯ) можно рассматривать как некоторый вариант невербальной системы коммуникации, т.е. обычной жестикуляции, с той разницей, что её отдельные элементы являются основными элементами ЖЯ, в котором практически каждому слову имеется жестовое соответствие [1, 2].

Аналогично словесному языку, в котором слова могут иметь несколько различных

значений, жесты ЖЯ также могут быть однозначными, многозначными и

разнозначными. Полностью понять правильное значение того или иного слова часто можно лишь из контекста, что применимо и к жестам ЖЯ.

Для плодотворного анализа ЖЯ, как и любого национального языка, необходимо создание национального речевого корпуса, главной составляющей которого является словарь в электронной форме, содержащий в письменном виде его слова и фразы.

Большинство словесных звучащих языков имеют свою систему знаков для записи текстов, что позволяет фиксировать их в печатном и электронном виде. Элементы одной из систем, в частности буквы латинского алфавита, могут быть использованы носителями многих национальных языков.

Жестовая речь, кинетическая по своей природе, до недавнего времени не имела своей письменной формы. Однако за последние годы появилось несколько систем, в том числе и отечественных авторов, с использованием буквенных, цифровых и графических элементов для записи жестов [1].

Начало полномасштабному научному исследованию структуры ЖЯ, отношение к которому до последнего времени было неоднозначным, и построению его фонологического описания в знаковой форме, принадлежит американскому лингвисту Ш. Б1;окое, разработавшему нотацию - систему, предназначенную для записи любого жеста с помощью различных знаков [3]. Знаки нотации, подобные буквам алфавита, соответствующим звукам словесного языка, позволяют в фиксированном виде точно передать все элементы выполняемого жеста: место выполнения жеста, конфигурация кисти руки и характер её движения. В настоящее время на

Vol. 14, no. 1. 2018

ISSN 2411-1473

sitito.cs.msu.ru

основе системы Stokoe построено несколько нотаций ЖЯ, отличающихся сложностью и степенью подробности в их описании.

Серьёзного внимания заслуживает разработанная исследователями Гамбургского университета система HamNoSys,

преобладающая над системой Stokoe по числу используемых терминов [4]. Данная система является «фонетической» транскрипционной системой для жестов различных национальных ЖЯ, что позволяет применять её на международном уровне, но в основном при исследовании ЖЯ и их компьютерной обработке.

Один из вариантов описания структуры жеста и его нотации, SignWriting (SW), принадлежит V. Sutton [5]. Эта система записи жестов визуально представлена множеством неких абстрактных знаков, что позволяет с удивительной точностью фиксировать в письменной форме выполнение жестов, и использует набор простых правил для объединения этих знаков 2.

Исследования W. Stokoe легли в основу создания письменных систем ЖЯ и на территории постсоветского пространства. Первые работы применительно к РЖЯ принадлежат ГЛ. Зайцевой [1] и Л.С. Димскис [2], разработавшими нотации жестов,

отличающиеся разным подходом к описанию их компонентов и точностью их записи.

Описание отдельных компонентов жестов в указанных системах 3 дано в табл. 1.

Каждая из названных систем записи жестов обладает рядом достоинств и недостатков, отношение к которым может меняться в зависимости от поставленной задачи.

Так система SW, отличающаяся от других систем такими важными показателями как пространственная форма представления жестов и детализация их описания, позволяет получить запись, наиболее точно соответствующую жесту. При этом достигается такая точность путём сложной и кропотливой работы по поиску и подбору нужного знака среди огромного их количества (более 38 тысяч знаков) в базе данных системы.

Алгоритм разработки варианта описания определённого термина с применением различных жестовых нотаций и выделением их индивидуальных параметров дан на рис. 1.

В последнее время во многих странах всё больше внимания уделяется исследованию ЖЯ, в т.ч. на основе использования жестовых нотаций.

Согласно проведённому обзору работ данной тематики, в настоящее время среди указанных выше жестовых нотаций практическое применение в области описания и исследования жестовой речи, разработки программ по распознаванию жестов и созданию аватара имеют системы: Димскис [7-9], HamNoSys [10-16] и SignWriting [17-23].

Таблица 1. Описание компонентов жестов с помощью различных нотаций

Характеристики компонентов Нотации

Stokoe HamNoSys Зайцевой Димскис /: W

Форма руки У-конфигурация Y У Yf

левая рука - - л л 4]

1 I щеки 3 3 П О О

на уровне талии [] ü V

Ориентация руки вверх D" Л о - L

от себя D"1 о - о ч □

Характер движения зигзагообразное J} NN - WW ¿Л

перебор пальцев - -

Качество плавное, медленное - — — -

повторяющееся R — t

Мимика, артикуляция зубы - - - -

выдох - - - - -О

Рассмотрение жестовых нотаций показало, что все они представляют собой удобный инструмент для достаточно точной и компактной фиксации жестов в письменной форме [6].

2 SignWriting Site. URL: http://www.signwriting.org (дата обращения 10.02.18).

3 Мясоедова М.А. Система автоматизированного перевода жестовой речи: Дипл. работа. Москва: МГТУ им. Н.Э. Баумана, 2010. 146 с.

Том 14, № 1. 2018 ISSN2411-1473 sitito.cs.msu.ru

Среди всех указанных выше систем записи жестов авторы статьи отдают предпочтение системе SW, которая отличается высокой степенью детализации и компактностью

фиксации жестов, наглядностью, наличием знаков мимики и артикуляции, универсальностью использования.

Рис. 1. Алгоритм разработки варианта жестовой нотации для определённого термина Особенности системы SignWriting

Все знаки системы SW по определённым параметрам сгруппированы в категории («Руки», «Движения», «Динамика», «Голова и лицо», «Тело», «Локализация», «Пунктуация»), каждая из которых подразделена на группы и подгруппы [6]. Среди всех категорий системы SW в различных ЖЯ наибольший вес имеют категории «Руки» и «Движения» по числу различных групп и подгрупп и по общему числу входящих в них знаков.

При описании ЖЯ перечисленные достоинства системы SW, особенно детализация записи жестов, играют важную роль, поскольку совершенно разные жесты могут включать в себя компоненты с незначительными

отличиями отдельных фрагментов. Аналогично распознаванию омофонов звучащей речи, приводящему к неоднозначности их понимания, недостаточно точная знаковая форма жестов ЖЯ может негативным образом сказаться на точности их распознавания.

В системе SW используется кодировка, автором которой является Stephen Slevinski. Согласно данной кодировки каждому её знаку присваивается определённый идентификатор, включающий в себя элементы, образующие некую кодовую цепочку, в соответствие с которой можно получить полную информацию о каждом знаке (рис. 2).

Vol. 14, no. 1. 2018

ISSN 2411-1473

sitito.cs.msu.ru

Рис. 2. Пример кодировки одного из знаков категории «Руки» Таблица 2. Одинаковые жесты РЖЯ с различной локализацией

Жесты

ннннш

6 * © **R) 44-U 44-

Переживание Расстройство (желудочное) Канада Военный

Мест» выполнении жеста

на груди в области живота ниже левого плеча ниже правого меча

С учетом дета.»нации места ныл»лнення жеста

И 1м1

Применительно к РЖЯ с помощью нотации SW можно продемонстрировать наличие почти одинаковых по исполнению пары жестов с различием, например, в местоположении рук (табл. 2).

Из приведённых примеров видно, что чтение таких жестов, записанных знаками SW, не вызовет вопросов, т.к. визуально можно определить место их исполнения. Однако использование этих записей при программировании будет недостаточным, поскольку в приведённых примерах набор знаков и соответствующие им кодовые комбинации полностью совпадают. В связи с этим избежать возникновения недоразумений можно путём добавления знаков категории «Локализация» для указания точного места исполнения жеста.

Популярность сайта, посвящённого системе SW, постоянно растёт. Он пополняется новым

контентом и новыми рубриками, в числе которых - банк данных жестов разных национальных ЖЯ. В настоящее время на сайте системы SW жестов РЖЯ содержится немного, что объясняется недостаточной у нас популярностью данной формы представления жестов, а также довольно долгой и кропотливой работой по их разработке.

Владение РЖЯ позволило авторам статьи разработать словарь «Письменный жестовый язык» 4, фрагменты которого наряду с кратким описанием системы БШ приведены на странице сайта «Сурдосервер» обеспечивающей посредством поисковой системы доступ к элементам словаря (рис. 3) [24] и в работе [25].

Работа по пополнению и обновлению

4 Свидетельство о государственной регистрации базы данных «Письменная форма жестов русского жестового языка» в Реестре баз данных ФГУ ФИПС № 2012620249 от 29.02.2012.

Том 14, № 1. 2018 ISSN2411-1473 sitito.cs.msu.ru

словаря, объём которого на данный момент превышает 5 тысяч элементов, объединённых в тематические группы, продолжается.

Сравнительный анализ жестовых нотаций

Сравнительный анализ всех рассмотренных в данной работе систем записи жестов, каждая из которых имеет свои достоинства и недостатки, и определения наилучшей из них проведён на основе их количественных и качественных характеристик.

Для сравнения указанных жестовых нотаций по числу используемых в них знаков приведены примеры описания некоторых терминов РЖЯ с

их использованием (табл. 3).

Гистограмма (рис. 4), отражающая длину записи жестов по каждой описанной нотации, демонстрирует преимущества систем Stokoe и SW в компактности формы записи всех жестов.

Сравнительный анализ описанных выше жестовых нотаций в соответствие с их характеристиками проведён на основе выбранных показателей качества: детализация, компактность записи, наглядность, количество используемых знаков, наличие лицевых знаков, универсальность, простота записи вручную.

Рис. 3. Страницы раздела «Письменный жестовый язык» сайта «Сурдосервер»

Таблица 3. Примеры описания жестов РЖЯ с использованием жестовых нотаций

Система Термины [| !Ш1КОШ)Н форм;! жестов

Пять Человек Встреча

Stokoe 5 Х± V G'Q11

HamNoSys "1 1 <- X GEUO^CEUO

Зайцева п 5 Н N н ЭНА II 1 н — .1 1 н —

Дим скис ntV-H ЛП^ОН—

SW * У b d

Vol. 14, no. 1. 2018

ISSN 2411-1473

sitito.cs.msu.ru

Рис. 4. Сравнительная характеристика нотаций по числу используемых знаков при описании жестов

Для расчёта использован метод взвешенной суммы неравнозначных показателей сравнения, в котором все сравниваемые показатели имеют разную важность соответственно их количественным оценкам, полученным при использовании номинированной шкалы перевода [26].

С учётом важности показателей сравнения критерий качества К определяется следующим образом:

К = тахуе т £ ?= 1 где: п - количество показателей сравнения, п = 7;

- количество вариантов сравнения, ; а^ - весовой коэффициент /-ого показателя сравнения,

£?= ^¡ = 1, 0<^<1 ; - нормированный коэффициент соответствия /-ого параметра у-ого варианта эталонному значению.

К =

шаху Х{

где Xtj показателя j-ого варианта

при 0 < Ку < 1 ,

X,, - нормированное значение /-ого

Согласно полученным данным [6], наилучшим вариантом жестовых нотаций является система SW, обладающая рядом положительных свойств, к которым можно отнести лёгкость в использовании, возможность применения к любым национальным ЖЯ, наглядность, доступность базы знаков.

Заключение

Возрастающий во многих странах интерес к системе записи жестов SW, являющейся на данный момент единственной в своём роде по простоте в использовании, по компактности и достаточной точности фиксации

пространственно-временной формы жестов, говорит о необходимости дальнейшего её развития.

Система SW предоставляет шанс охватывать большое количество жестов, создавая используемые в области разработки сервисов самообслуживания банки данных, постоянно пополняемые новыми элементами, и обеспечивая их сохранность сколь угодно долго.

Совместная работа специалистов в области педагогики, лингвистики, программирования и, что самое главное, глухих людей, являющихся его носителями и хорошо знающих все его правила и тонкости, позволит создать полезные приложения и внести свой вклад в решение важной социальной задачи помощи людям с ограниченными возможностями по слуху. Большие возможности даёт применение жестовых нотаций при создании текстов и словарей различных национальных ЖЯ и при компьютерной обработке жестов (например, управление аватаром).

СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ

[1] Зайцева Г.Л. Жестовая речь. Дактилология. М.: Владос, 2000. 192 с.

[2] ДимскисЛ.С. Изучаем жестовый язык. М.: Изд. центр «Академия», 2002. 128 с.

[3] Stokoe W.C. Sign language structure: An outline of the visual communication system of the American deaf (Studies in Linguistics. Occasional papers 8). Department of Anthropology and Linguistics, Univ. of Buffalo, 1st edition, 1960. 78 p.

[4] Prillwitz S, Leven R., Zienert H, Hanke T., Henning J. HamNoSys. Version 2.0; Hamburg Notation System for sign languages: An introductory guide // International Studies on Sign Language and Communication of the Deaf. Vol. 5. Hamburg: Signum Press, 1989. 46 p.

[5] Sutton V., Gleaves R. SignWriter - The world's first sign language processor. Deaf Action Committee for SignWriting La Jolla, Ca., 1995. 203 p.

[6] Мясоедова М.А., Мясоедова З.П., Петухова Н.В., Фархадов М.П., Ефросинин Д.В. Письменная форма для жестового языка и ее применение для автоматизированного сурдоперевода. М.: МАКС Пресс, 2012. 180 с.

[7] Гриф М.Г.,Лукоянычев А.В. 3D-анимация русского жестового языка на основе нотации Димскис // Новые технологии. Сер.: Программная инженерия. 2017. Т. 8, № 7. С. 310-318. DOI: http://doi.org/10.17587/prin.8.310-318

[8] Гриф М.Г.,Лукоянычев А.В. Мультимедийный программный комплекс для создания словаря русского жестового языка //

- 189

Research and development in the field of new IT and their applications

Том 14, № 1. 2018 ISSN2411-1473 sitito.cs.msu.ru

Вестник Астраханского государственного технического университета. Сер.: Управление, вычислительная техника и информатика. 2017. № 1. С. 105-114. DOI: http://doi.org/10.24143/2072-9502-2017-1-105-114

[9] Лукоянычев А.В., Гриф М.Г. Анимационный редактор нотации Димскис // Наука. Технологии. Инновации: сб. науч. тр.: в 9 ч., Новосибирск, 5-9 дек. 2016 г. Новосибирск: Изд-во НГТУ, 2016. Ч. 1. С. 103-105.

[10] Karpov A., Kipyatkova I., Zelezny M. Automatic Technologies for Processing Spoken Sign Languages // 5th Workshop on Spoken Language Technology for Under-resourced Languages (SLTU 2016), Yogyakarta, Indonesia, 2016. Pp. 201-207. DOI: http://doi.org/10.1016/j.procs.2016.04.050

[11] HamNoSys to SiGML Conversion System for Sign Language Automation / K. Kaur, P. Kumar // Proceedings of the Twelfth International Multi-Conference on Information Processing (IMCIP). 2016. Pp. 794-803. DOI: http://doi.org/10.1016/j.procs.2016.06.063

[12] Conversion of Malayalam text to Indian sign language using synthetic animation / M.S. Nair, A.P. Nimitha, S.M. Idicula // Proceedings of 2016 International Conference on Next Generation Intelligent Systems (ICNGIS). 1-3 Sept. 2016, Kottayam, India, 2016. Pp. 4. DOI: http://doi.org/10.1109/ICNGIS.2016.7854002

[13] Indian Sign Language animation generation system / S. Kaur, M. Singh // Proceedings of 2015 1st International Conference on Next Generation Computing Technologies (NGCT). 4-5 Sept. 2015, Dehradun, India, 2015. Pp. 903-908. DOI: http://doi.org/10.1109/NGCT.2015.7375251

[14] HamNoSys generation system for sign language / R. Kaur, P. Kumar // Proceedings of 2014 International Conference on Advances in Computing, Communications and Informatics (ICACCI). 24-27 Sept. 2014. New Delhi, India, 2014. Pp. 2727-2734. DOI: http://doi.org/10.1109/ICACCI.2014.6968333

[15] Creation of a multipurpose sign language lexical resource: The GSL lexicon database / A.-L. Dimou [et al.] / / Proceedings of the Sixth Workshop on the Representation and Processing of Sign Languages: Beyond the Manual Channel, Language Resources and Evaluation Conference (LREC), May 2014. Reykjavik, 2014. Pp. 37-42. URL: http://www.lrec-conf.org/proceedings/lrec2014/workshops/LREC2014Workshop-SignLanguage%20Proceedings.pdf (дата обращения: 10.02.18).

[16] Automatic Alignment of HamNoSys Subunits for Continuous Sign Language Recognition / O. Koller [et al.] / / Proceedings of the 7th Workshop on the Representation and Processing of Sign Languages: Corpus Mining Language Resources and Evaluation Conference (LREC 2016). Portoroz, Slovenia. 2016. Pp. 121-128. URL: http://www.lrec-conf.org/proceedings/lrec2016/workshops/LREC2016Workshop-SignLanguage_Proceedings.pdf (дата обращения: 10.02.18).

[17] Ferreira A.C.A. 3D Character Animation Using Sign Language. Dissertafáo de Mestrado apresentada a Faculdade de Ciencias da Universidade do Porto em Área Científica. 2017. 108 p. URL: https://repositorio-aberto.up.pt/bitstream/10216/106073/2/202824.pdf (дата обращения: 10.02.18).

[18] Hoffmann-Dilloway E. Feeling your own (or someone else's) face: Writing signs from the expressive viewpoint // Language & Communication. 2017. Pp. 1-14. DOI: http://doi.org/10.1016/j.langcom.2016.12.011

[19] Hoffmann-Dilloway E. (Don't) Write My Lips: Interpretations of the Relationship between German Sign Language and German across Scales of SignWriting Practice // Signs and Society. 2013. Vol. 1, № 2. Pp. 243-272. DOI: http://doi.org/10.1086/672321

[20] latskiu C.E.A., García S.L., Canteri R.D.P., Antunes R.D. The low use of signwriting computational tools from HCI perspective. In: Antona M., Stephanidis C. (eds) Universal Access in Human-Computer Interaction. Access to Interaction. UAHCI 2015. Lecture Notes in Computer Science. Vol 9176. Springer, Cham. 2015. Pp. 373-382. DOI: https://doi.org/10.1007/978-3-319-20681-3_35

[21] Towards a SignWriting recognition system / D. Stiehl [et al.] // Proceedings of 2015 13th International Conference on Document Analysis and Recognition (ICDAR). 23-26 Aug. 2015. Tunis, Tunisia. 2015. Pp. 26-30. DOI: http://doi.org/10.1109/ICDAR.2015.7333719

[22] An animated avatar to interpret signwriting transcription / Y. Bouzid [et al.] // Proceedings of 2013 International Conference on Electrical Engineering and Software Applications. 21-23 March 2013. Hammamet, Tunisia. Pp. 1-5. DOI: http://doi.org/10.1109/ICEESA.2013.6578394

[23] TuniSigner: An Avatar based System to Interpret SignWriting Notations / Y. Bouzid, M. Jemni // Proceedings of the International SignWriting Symposium. 2014. 11 p. URL: http://www.signwriting.org/symposium/archive/sws0023_Paper_tuniSigner_Avatar_Programming_Yosra_Bouzid.pdf (дата обращения: 10.02.18).

[24] Сурдосервер. Письменный жестовый язык. URL: http://russw.surdoserver.ru/ (дата обращения: 10.02.18).

[25] Орлова Ю.А. Модели и методы информационной поддержки коммуникаций людей с ограниченными возможностями: Дис. ... канд. тех. наук. Волгоград: ВолгГТУ, 2016, 352 с.

[26] Постников М.Е. Методы выбора оборудования для организации эффективной работы сети // Интеллектуальные технологии и системы. Сб. уч.-мет. работ и статей аспирантов и студентов. Под ред. Ю.Н. Филипповича. М.: НОК «CLAIM». 2006. Вып. 8. С. 188-199.

Поступила 20.10.2017; принята к публикации 10.02.2018; опубликована онлайн 30.03.2018.

REFERENCES

[1] Zaitseva G.L. Fierce speech. Dactylology. M.: Vlados, 2000. 192 p. (In Russian)

[2] Dimskis L.S. We study sign language. Moscow: Izd. center "Academy", 2002. 128 p. (In Russian)

[3] Stokoe W.C. Sign language structure: An outline of the visual communication system of the American deaf (Studies in Linguistics. Occasional papers 8). Department of Anthropology and Linguistics, Univ. of Buffalo, 1st edition, 1960. 78 p.

[4] Prillwitz S., Leven R., Zienert H., Hanke T., Henning J. HamNoSys. Version 2.0; Hamburg Notation System for sign languages: An introductory guide. International Studies on Sign Language and Communication of the Deaf. Vol. 5. Hamburg: Signum Press, 1989.

Vol. 14, no. 1. 2Q18 ISSN2411-1473 sitito.cs.msu.ru

46 p.

[5] Sutton V., Gleaves R. SignWriter - The world's first sign language processor. Deaf Action Committee for SignWriting, La Jolla, Ca., 1995. 203 p.

[6] Myasoedova M.A, Myasoedova Z.P, Petukhova N.V, Farhadov M.P, Efrosinin D.V Written language for sign language and its use for automated sign language. Moscow: MAX Press, 2012. 180 p. (In Russian)

[7] Grif M.G., Lukoyanychev A.V. 3D Animation of Russian Sign Language based on Dimskis Notation. Software Engineering. 2017; 8(7):310-318. (In Russian) DOI: http://doi.org/10.17587/prin.8.310-318

[8] Grif M.G., Lukoyanychev A.V. Multimedia software complex for creating the dictionary of Russian sign language. Vestnik of Astrakhan State Technical University. Series: management, computer science and informatics. 2017; 1:105-114. (In Russian) DOI: http://doi.org/10.24143/2072-9502-2017-1-105-114

[9] Lukoyanichev AV, Grif M.G. Animation editor of notation Dimskis. Science. Technologies. Innovations. Novosibirsk, 5-9 December. 2016. Novosibirsk: Publishing house of the NSTU, 2016. Part 1. Pp. 103-105. (In Russian)

[10] Karpov A., Kipyatkova I., Zelezny M. Automatic Technologies for Processing Spoken Sign Languages. 5th Workshop on Spoken Language Technology for Under-resourced Languages (SLTU 2016), Yogyakarta, Indonesia, 2016. Pp. 201-207. DOI: http://doi.org/10.1016/j.procs.2016.04.050

[11] Kaur K., Kumar P. HamNoSys to SiGML Conversion System for Sign Language Automation. Proceedings of the Twelfth International Multi-Conference on Information Processing (IMCIP). 2016. Pp. 794-803. DOI: http://doi.org/10.1016/j.procs.2016.06.063

[12] Nair M.S., Nimitha A.P., Idicula S.M. Conversion of Malayalam text to Indian sign language using synthetic animation. Proceedings of 2016 International Conference on Next Generation Intelligent Systems (ICNGIS). 1-3 Sept. 2016, Kottayam, India, 2016. Pp. 4. DOI: http://doi.org/10.1109/ICNGIS.2016.7854002

[13] Kaur S., Singh M. Indian Sign Language animation generation system. Proceedings of 2015 1st International Conference on Next Generation Computing Technologies (NGCT). 4-5 Sept. 2015, Dehradun, India, 2015. Pp. 903-908. DOI: http://doi.org/10.1109/NGCT.2015.7375251

[14] Kaur R., Kumar P. HamNoSys generation system for sign language. Proceedings of 2014 International Conference on Advances in Computing, Communications and Informatics (ICACCI). 24-27 Sept. 2014. New Delhi, India, 2014. Pp. 2727-2734. DOI: http://doi.org/10.1109/ICACCI.2014.6968333

[15] Dimou A.-L., Goulas T., Efthimiou E., Fotinea S.-E., Karioris P., Pissaris M., Korakakis D., Vasilaki K. Creation of a multipurpose sign language lexical resource: The GSL lexicon database. Proceedings of Sixth Workshop on the Representation and Processing of Sign Languages: Beyond the Manual Channel, Language Resources and Evaluation Conference (LREC), May 2014. Reykjavik, 2014. Pp. 3742. Available at: URL: http://www.lrec-conf.org/proceedings/lrec2014/workshops/LREC2014Workshop-SignLanguage%20Proceedings.pdf (accessed 10.02.18).

[16] Koller O., Ney H., Bowden R. Automatic Alignment of HamNoSys Subunits for Continuous Sign Language Recognition. Proceedings of 7th Workshop on the Representation and Processing of Sign Languages: Corpus Mining Language Resources and Evaluation Conference (LREC 2016). Portoroz, Slovenia. 2016. Pp. 121-128. Available at: URL: http://www.lrec-conf.org/proceedings/lrec2016/workshops/LREC2016Workshop-SignLanguage_Proceedings.pdf (accessed 10.02.18).

[17] Ferreira A.C.A. 3D Character Animation Using Sign Language. Dissertafáo de Mestrado apresentada a Faculdade de Ciencias da Universidade do Porto em Área Científica. 2017. 108 p. Available at: URL: https://repositorio-aberto.up.pt/bitstream/10216/106073/2/202824.pdf (accessed 10.02.2018).

[18] Hoffmann-Dilloway E. Feeling your own (or someone else's) face: Writing signs from the expressive viewpoint. Language & Communication. 2017; 1-14. DOI: http://doi.org/10.1016/j.langcom.2016.12.011

[19] Hoffmann-Dilloway E. (Don't) Write My Lips: Interpretations of the Relationship between German Sign Language and German across Scales of SignWriting Practice. Signs and Society. 2013; 1(2):243-272. DOI: http://doi.org/10.1086/672321

[20] Iatskiu C.E.A., García S.L., Canteri R.D.P., Antunes R.D. The low use of signwriting computational tools from HCI perspective. In: Antona M., Stephanidis C. (eds) Universal Access in Human-Computer Interaction. Access to Interaction. UAHCI 2015. Lecture Notes in Computer Science. Vol 9176. Springer, Cham. 2015. Pp. 373-382. DOI: https://doi.org/10.1007/978-3-319-20681-3_35

[21] Stiehl D., Addams L, Oliveira L.S, Guimaráes C., Britto Jr A.S. Towards a SignWriting recognition system. Proceedings of 201513th International Conference on Document Analysis and Recognition (ICDAR). 23-26 Aug. 2015. Tunis, Tunisia. 2015. Pp. 26-30. DOI: http://doi.org/10.1109/ICDAR.2015.7333719

[22] Bouzid Y., Jemni M. An animated avatar to interpret signwriting transcription. Proceedings of 2013 International Conference on Electrical Engineering and Software Applications. 21-23 March 2013. Hammamet, Tunisia. Pp. 1-5. DOI: http://doi.org/10.1109/ICEESA.2013.6578394

[23] Bouzid Y., Jemni M. TuniSigner: An Avatar based System to Interpret SignWriting Notations. Proceedings of the International SignWriting Symposium. 2014. 11 p. Available at: URL: http://www.signwriting.org/symposium/archive/sws0023_Paper_tuniSigner_Avatar_Programming_Yosra_Bouzid.pdf (accessed 10.02.18).

[24] Surdoserver. Written sign language. Available at: URL: http://russw.surdoserver.ru/ (accessed 10.02.18). (In Russian)

[25] Orlova YuA. Models and methods of information support of communications of people with disabilities: Dis .... cand. tech. sciences. Volgograd: VolgGTU, 2016, 352 p. (In Russian)

[26] Postnikov M.E. Methods of selecting equipment for the organization of effective network operation // Intellectual technologies and systems. Sat. academic-met. works and articles of graduate students and students. Ed. Yu.N. Filippovich. M.: NOC «CLAIM». 2006. Issue. 8. Pp. 188-199. (In Russian)

Submitted 20.10.2017; Revised 10.02.2018; Published 30.03.2018.

Том 14, № 1. 2018 ISSN2411-1473 sitito.cs.msu.ru

About the authors:

Maria A. Myasoedova, Leading engineer for Automated Control Systems, V.A. Trapeznikov Institute of Control Sciences, Russian Academy of Sciences (65 Profsoyuznaya St., Moscow 117997, Russia); ORCID: http://orcid.org/0000-0002-0317-4781, mariamarfi@mail.ru

Zinaida P. Myasoedova, Researcher, V.A. Trapeznikov Institute of Control Sciences, Russian Academy of Sciences (65 Profsoyuznaya St., Moscow 117997, Russia); ORCID: http://orcid.org/0000-0001-6022-3503, mzinap@mail.ru

© ®

This is an open access article distributed under the Creative Commons Attribution License which unrestricted use, distribution, and reproduction in any medium, provided the original work is properly cited (CC BY 4.0).

Исследования и разработки в области новых информационных технологий и их приложений