CC BY
54
ИССЛЕДОВАНИЯ И РАЗРАБОТКИ В ОБЛАСТИ НОВЫХ ИНФОРМАЦИОННЫХ ТЕХНОЛОГИЙ И ИХ ПРИЛОЖЕНИЙ
УДК 004.5, 004.8 [§ЫМШШЯ!ЕСТЯ5
DOI: 10.25559/SITIT0.16.202004.901-907
Частотность компонентов жестов русского жестового
М. А. Мясоедова*, З. П. Мясоедова
ФГБУН «Институт проблем управления им. В. А. Трапезникова Российской академии наук», г. Москва, Российская Федерация
117997, Российская Федерация, г. Москва, ул. Профсоюзная, д. 65 * [email protected]
Аннотация
Статья посвящена исследованию структуры жестов русского жестового языка (ЖЯ) и их компонентов разных категорий, позволяющих передать всё многообразие жестов. Одной ещё недостаточно изученной областью в изучении структуры ЖЯ является различие компонентов жестов разных категорий, позволяющих передать всё многообразие жестов национальных ЖЯ, в том числе и русского жестового языка (РЖЯ). Исследование проведено на основе материала созданного корпуса, содержащего наиболее употребительные жесты РЖЯ в письменной форме с использованием знаков системы SignWriting (SW). Сравнение отдельных жестов в знаковой форме позволяет выявить визуальные сходства между некоторыми из них при незначительных различиях их компонентов. При проведении лингвистического анализа важно знать частотные характеристики языка. Основная цель данной работы состоит в выявлении компонентов жестов с наибольшей частотой их использования. Объектом данного исследования выбраны формы рук, описывающие состояние ладони и пальцев руки при исполнении жестов. Данные компоненты любого жеста в ЖЯ являются базовыми и самыми многочисленными среди компонентов других категорий (движение, ориентация, локализация и т.д.). В статье приведены данные по составу знаков категории «Руки» из общей базы системы SW Представлены результаты пилотного исследования частотности компонентов жестов РЖЯ на основе материала, собранного в рамках разработанного корпуса жестов в знаковой форме системы SW Частота использования жестов и их компонентов является важным фактором, который следует учитывать при исследовании вариаций жестов, влияющим на изменение ЖЯ с течением времени. Получение информации по показателям частотности жестов и их компонентов может быть полезно при разработке программ по распознаванию жестов, при дальнейших лингвистических исследованиях и при изучении ЖЯ.
Ключевые слова: жесты, жестовый язык, компоненты жестов, конфигурация руки, нотация SignWriting, корпус жестов, частотность компонентов жестов.
Авторы заявляют об отсутствии конфликта интересов.
Для цитирования: Мясоедова, М. А. Частотность компонентов жестов русского жестового языка / М. А. Мясоедова, З. П. Мясоедова. - DOI 10.25559^ГПТО.16.202004.901-907 // Современные информационные технологии и ИТ-образование. - 2020. - Т. 16, № 4. - С. 901-907.
языка
© ®
Контент доступен под лицензией Creative Commons Attribution 4.0 License. The content is available under Creative Commons Attribution 4.0 License.
Vol. 16, No. 4. 2020 ISSN 2411-1473 sitito.cs.msu.ru
Modern Information Technologies and IT-Education
RESEARCH AND DEVELOPMENT IN THE FIELD OF NEW IT AND THEIR APPLICATIONS
Frequency of Sign Components in Russian Sign Language
M. A. Myasoedova*, Z. P. Myasoedova
V.A. Trapeznikov Institute of Control Sciences, Russian Academy of Sciences, Moscow, Russian Federation
65 Profsoyuznaya St., Moscow 117997, Russian Federation * [email protected]
We investigate the structures of Signs in the Russian Sign Language (RSL) and their components of different categories. These categories allow us to convey all the variety of Sings. Another area of RSL that has not yet been sufficiently studied is how the components of Signs of different categories differ from one another; the categories allow us to convey the whole variety of Signs of RSL or any national SL. Our study is based on the created corpus, where we gathered the most common Signs of the RSL using the SW system. As we compare individual Signs in a symbolic form, we see visual similarities between some of them, with minor differences in their components. When carrying out linguistic analysis, it is important to know the frequency characteristics of the language. The main goal of this work is to identify the components of Signs with the greatest frequency of their use. The object of this study is the handshapes that describe the state of the palm and fingers when performing Signs. These components of any Sign in the SL are basic and the most numerous among the components of other categories (movement, orientation, localization, etc.). The article provides data on the composition of signs in the category "Hands" from the general base of the SW system. Our pilot study presents the frequency of the component Signs of RSL based on the material collected within the developed corpus of Signs in the sign form of the SW system. The frequency of use of Signs and their components is an important factor to consider when we examine the variation in Signs that influences how the SL changes over time. The data on the frequency of Signs and their components may be useful as we develop Sign (gesture) recognition software, and as we further study linguistics and SL.
Keywords: signs, sign language, components of signs, hand configuration, notation SignWriting, corpus of signs, frequency of signs components.
The authors declare no conflict of interest.
For citation: Myasoedova M.A., Myasoedova Z.P. Frequency of Sign Components in Russian Sign Language. Sovremennye informacionnye tehnologii i IT-obrazovanie = Modern Information Technologies and IT-Education. 2020; 16(4):901-907. DOI: https://doi.org/10.25559/SITITO.16.202004.901-907
Abstract
Современные информационные технологии и ИТ-образование
Том 16, № 4. 2020 ISSN 2411-1473 sitito.cs.msu.ru
M. A. Myasoedova, RESEARCH AND DEVELOPMENT IN THE FIELD
Z. P. Myasoedova OF NEW IT AND THEIR APPLICATIONS
Введение
Лингвистическое изучение РЖЯ находится в постоянном движении, определяются новые задачи и способы их решения, предлагаются направления для дальнейших исследований. В последнее время во многих странах возрастает интерес к ЖЯ. Активно ведутся работы по созданию систем автоматического распознавания жестов, что требует опыта не только в области компьютерного зрения, графики и обработки языка, но и знания особенностей ЖЯ. Это служит мотивом для объединения работы учёных, занимающихся сравнительной лингвистикой жестов, изучением структуры жестов и правилами формирования их с целью получения необходимых сведений для проведения дальнейших исследований в области распознавания жестов. Таким образом, наибольший успех разработок данных систем может быть достигнут лишь на основе глубоких междисциплинарных знаний.
Для полноценного исследования структуры ЖЯ необходимо рассмотреть и изучить все факторы, которые влияют на эффективность использования его в той или иной области. Одним из ещё недостаточно изученных факторов является структура жестов с точки зрения частотности их компонентов разных категорий, различие которых позволяет передать всё многообразие жестов национальных жестовых языков (ЖЯ), в том числе и русского жестового языка (РЖЯ). Цель настоящей работы заключается в рассмотрении особенностей формирования жестов ЖЯ с учётом частотности их компонентов и используемых в нём правил на основе разработанного корпуса жестов РЖЯ, представленных в письменной форме с помощью знаков системы SígnWriting. Такой способ фиксации жестов значительно упрощает выявление особенностей каждого из них и позволяет определить их отличительные черты.
Жестовый язык, жесты и их письменная форма
Речь и жест являются наиболее распространёнными способами общения. Жестовый язык можно рассматривать как вариант невербальной системы коммуникации, в котором компоненты жеста функционально эквивалентны фонемам в словесных языках [1].
Жест в ЖЯ занимает особое место, являясь, аналогично слову в словесных языках, единицей речи. При описании жестов, выполняемых в трёхмерной области, называемой областью жестикуляции, к рассмотрению представлены основные элементы каждого из них: конфигурация рук; движение рук, включая его характер и качество; ориентация рук в пространстве относительно друг друга и корпуса исполнителя жеста; локализация жеста относительно тела; немануальные компоненты, включая мимику и артикуляцию1.
В ЖЯ при формировании жестов, имеющих пространственно-временную форму, для одновременного выражения их грамматических особенностей используются руки, верхняя часть
тела, голова и лицо. Практически каждому слову в ЖЯ имеется жестовое соответствие. Аналогично словам жесты ЖЯ могут быть однозначными, многозначными и разнозначными, полностью понять значение которых часто можно лишь из контекста. Понимая отдельные жесты, можно распознавать более сложные элементы жестовой речи (словосочетания, предложения, полные фразы) и различить сходные между собой жесты. Жестовый язык представляет собой знаковую систему со своими особенностями, которые могут носить либо специфический характер, либо совпадать с некоторыми общими правилами, свойственными многим жестовым системам коммуникации. У ЖЯ, включающего в себя в жестовой форме слова, предложения, фразы и знаки препинания, есть свои собственные грамматические структуры, которые принципиально отличаются от национального словесного языка, в частности, возможность передачи нескольких фрагментов информации одновременно.
Рост интереса к ЖЯ наблюдается во многих развитых странах. Информация в сети становится более разнообразной, появляется доступ к работам специалистов в области исследования национальных ЖЯ как за рубежом, так и в России [2-4], [5]. Некоторые из последних работ посвящены изучению структуры и грамматики разных ЖЯ и сравнению их особенностей2 [6, 7], а также распознаванию жестов ЖЯ [8-11].
Система SignWriting
Знание особенностей исполнения жестов способствует лучшему пониманию их в целом, помогает устранить неоднозначность и преодолеть трудности при переводе жестовой речи. Отсутствие до недавнего времени письменной формы жесто-вой речи объясняется её кинетической природой, приводящей к комплексу проблем при разработке систем записи жестов. За последние годы появилось несколько систем записи жестов, сравнительный анализ которых позволил оценить систему SW по её характеристикам и возможностям и признать наилучшим вариантом жестовых нотаций для проведения исследований, позволяющую получить наиболее точно соответствующую жесту запись [12].
Необходимо отметить, что детализация записи жестов играет важную роль, поскольку совершенно разные жесты могут включать в себя компоненты с незначительными отличиями. Недостаточно точная знаковая форма жестов ЖЯ может негативным образом сказаться на неоднозначности их понимания. Система записи жестов SW, разработанная для записи жестов в знаковой форме, благодаря большому объёму базы элементов жестов (около 38000) включает в себя все знаки, которые могут быть использованы при описании многих национальных ЖЯ с высокой точностью. Это предоставляет шанс охватывать большое количество жестов, создавая банки данных и постоянно пополняя их новыми элементами. Как и любой «живой» организм, система SW постоянно развивается и пополняется новыми знаками, которые могут быть использованы для описания неизвестных ранее жестов ЖЯ.
1 Буркова С. И., Варинова О. А., Заварицкий Д. А., Кадыргулова Р. С., Киммельман В. И., Кюсева М. В., Приставко К. В., Филимонова Е. В. Введение в лингвистику жестовых языков. Русский жестовый язык: учебник. Новосибирск: Изд-во НГТУ, 2019. 356 с.
2 Kimmelman V. Information structure in Russian Sign Language and Sign Language of the Netherlands: PhD thesis. Faculty of Humanities (FGw), University of Amsterdam, Netherlands; 2014. URL: http://dare.uva.n1/record/1/432175 (дата обращения: 10.08.2020).
Vol. 16, No. 4. 2020 ISSN 2411-1473 sitito.cs.msu.ru
Modern Information Technologies and IT-Education
ИССЛЕДОВАНИЯ И РАЗРАБОТКИ В ОБЛАСТИ НОВЫХ ИНФОРМАЦИОННЫХ М. А. Мясоедова,
ТЕХНОЛОГИЙ И ИХ ПРИЛОЖЕНИЙ З. П. Мясоедова
Согласно данным, полученным в предыдущих работах, доля по каждой группе знаков SW, используемых в РЖЯ от общего их объёма, имеет разное значение. Наибольшая доля знаков из всех категорий компонентов жестов, приходится на категорию «Руки», которая включает более 60% от общего их числа. Элементы данной категории являются базовыми и обязательными для каждого жеста ЖЯ3.
Анализ системы SW показал, что среди всего множества отличающихся сложностью её знаков, разработанных для американского ЖЯ, далеко не все из них могут быть применимы для описания жестов РЖЯ. В первую очередь это относится к знакам категории «Руки». Что касается знаков других категорий, то практически все они, за редким исключением, могут быть использованы в описании жестов РЖЯ (Рис. 1)4.
подгруппы 70 60 50 40 30 20 10 0
#
d ä I. Ii
&
I *
I.
■ число знаков в системе SW
■ число знаков S W русского ЖЯ
ft
а и
1.1.1 ь
9 10
группы
Р и с. 1. Доля знаков SW по всем группам категории «Руки», используемых в
РЖЯ
F i g. 1. The rate of SW signs in all groups of the category "Hands" used in RSL (RSL - Russian Sign Language) Исходя из сказанного, для измерения частотности компонентов жестов было принято решение использовать формы рук. В последнее время на основе системы SW создаются работы по автоматизированному переводу ЖЯ и разработке аватаров [13-19].
Корпус жестов РЖЯ
Современные методы исследования национальных ЖЯ основываются на использовании соответствующих им речевых корпусов в электронной форме, главной составляющей которых являются словари, содержащие слова и фразы ЖЯ [20]. Выполнение поставленной задачи по измерению частотности компонентов жестов РЖЯ, предполагающее наличие корпусов жестов ЖЯ, было реализовано на базе корпуса, включающего в себя около 5000 наиболее распространённых жестов разной тематики в письменной форме, разработанного для исследования особенностей их формирования. Данный корпус является долгосрочным проектом по документированию и исследованию жестов РЖЯ, контент непрерывно пополняется новыми элементами и их кодами, что позволит в дальнейшем получать более точные результаты при исследовании характеристик языка [21].
Частотность компонентов жестов РЖЯ
Общаясь на родном языке, можно заметить, что одни слова используются в нём часто, другие реже или крайне редко. Подобное явление наблюдается также и в жестах ЖЯ, состоящих из компонентов, определяющих их характер. На овладение жестовым языком и изучение его жестов значительное влияние оказывают многие факторы, одним из которых является частотность жестов определённого языка и компонентов, входящих в их состав [22-24].
Определение роли разных речевых единиц в любом языке требует измерения частотности каждого из них на материале разного характера и большого объёма, что позволит получить наиболее точные результаты.
Использование данной характеристики речевых элементов, т.е. знание частотности слов, может быть полезно при лингвистическом анализе слов и их структуры, при автоматической обработке естественного языка, например, с целью ускорение поиска нужного слова, проверки орфографии и т.д. В рамках данной работы анализируется контент корпуса жестов РЖЯ на предмет наличия всех возможных вариантов форм рук с учётом их количества.
Аналогично естественной речи, основанной на использовании в коммуникации слов, как основных речевых элементов, в же-стовой речи её минимальной единицей является жест. Жест в ЖЯ представляет собой некую конструкцию из элементов в виде знаков, основными из которых, как было сказано выше, являются конфигурации рук и их пальцев [25-27]. Как правило, некоторые из всех возможных вариантов конфигураций рук для каждого национального ЖЯ могут носить индивидуальный характер. Компоненты жестов остальных категорий (движение рук, ориентация, локализация и т.д.) могут быть использованы во многих национальных ЖЯ. Поэтому в данной работе будут исследованы компоненты жестов категории «Руки» применительно к РЖЯ.
Виды жестов
Говоря о структуре жестов РЖЯ, а именно о формах их рук, необходимо выделить такие основные их виды, как одноручные и двуручные. При этом в жестах обоих видов конфигурации рук в процессе исполнения могут быть статическими, т.е. руки и пальцы сохраняют свою исходную форму, и динамическими.
Компоненты жеста подобно фонемам в словесном языке выполняют смыслоразличительную функцию, при этом жесты могут отличаться лишь отдельными их компонентами, например, жесты с одинаковой конфигурацией руки и различными характером движения и местом исполнения (локализацией) (Рис. 2). В соответствие с этим рассмотрены конфигурации рук по отношению к их исходному положению, которые в процессе исполнения жеста могут оставаться неизменными (Рис. 3.1, 3.3 и 3.4); меняться в одной руке (Рис. 3.2) и в двуручном жесте одновременно в обеих руках (Рис. 3.5) или в одной руки (Рис. 3.6). Необходимо отметить, что изменения конфигураций рук
3 Мясоедова М. А., Мясоедова З. П., Петухова Н. В., Фархадов М. П., Ефросинин Д. В. Письменная форма для жестового языка и ее применение для автоматизированного сурдоперевода. М.: МАКС Пресс, 2012. 180 с.
4 Там же.
Современные информационные технологии и ИТ-образование
Том 16, № 4. 2020
ISSN 2411-1473
sitito.rs.msu.ru
M. A. Myasoedova, Z. P. Myasoedova
RESEARCH AND DEVELOPMENT IN THE FIELD OF NEW IT AND THEIR APPLICATIONS
905
могут происходить однократно, двукратно и большее число раз, что определяет сложность жеста.
OS 1 1 1 1 OS
4 1 1
«старый»
OS&
«бабушка»
Ос
**
«Москва»
Р и с. 2. Жесты РЖЯ с одинаковой конфигурацией руки F i g. 2. RSL gestures with the same hand configuration
Жест
одноручный
1) * У iL
«отец»
2) d
«откуда»
двуручный
симметричный несимметричный
3)
«закрыть»
4)
5)
6)
«корень»
«арбуз»
Там же. Там же.
нечно, говорить о данной выборке, как единственно правильной, можно лишь в рамках общедоступного жестового запаса. Согласно закону Ципфа применительно к компонентам жестов лишь небольшое количество форм рук используется человеком очень часто, что является нормальным результатом. На основании полученных величин построен график, который демонстрирует наиболее частотные формы рук, входящие в жесты выборки.
Исходя из проведённого расчёта, общее число компонентов категории «Руки» в знаках нотации SW, используемых в РЖЯ, соответствует числу 261. При подсчёте компонентов (форм рук) категории «Руки» всех входящих в выборку жестов было выявлено 132 их разновидности из разных групп и подгрупп, среди которых лишь единицы компонентов встречались в жестах часто6.
На основании полученных результатов была измерена частотность каждого компонента при использовании закона Ципфа. Распределение частот компонентов жестов продемонстрировано на рис. 4, и которого следует, что лишь несколько из них имеют высокую частотность, а остальные входят в жесты выборки с низкой частотностью, либо отсутствуют в ней.
Распределепие частоты компонентов жестов
Р и с. 3. Виды жестов РЖЯ по характеру изменения конфигураций рук F i g. 3. Types of RSL gestures by the nature of changes in the hands configuration
В РЖЯ, как правило, существуют двуручные жесты, однако некоторые из них по усмотрению исполнителя могут быть представлены одной рукой. Это возможно в том случае, если данный жест по правилу выполняется двумя руками синхронно и имеет при этом симметричную конфигурацию рук (Рис. 3.3 и 3.5).
Измерение частотности компонентов жестов
В данной работе при рассмотрении структуры жестов внимание направлено в основном на их компоненты, выражающие конфигурацию рук и пальцев.
Стоит отметить, что в каждом жесте базовым компонентом его является форма руки, среди всех других компонентов характеризующаяся самым большим числом возможных конфигураций.
Как определено ранее, число возможных форм рук в РЖЯ (нулевые варианты, т.е. без учёта их ориентации в пространстве) составляет 132 единицы5. Учитывая сложность комбинаций пальцев рук, можно предположить, что частота использования их в жестах будет различной.
Измерение частотности компонентов жестов категории «Руки», используемых в РЖЯ, было проведено по формуле Ципфа на материале корпуса жестов в письменной форме. Объём данной выборки составляет 1000 жестов разного характера (одноручных и двуручных). Для измерения частотности ручных компонентов жестов был проведён подсчёт числа повторяемости каждого компонента в этом объёме жестов. Ко-
^ & ^ Л
-О* „ч^
Р и с. 4. Распределение частоты компонентов жестов (конфигураций рук)
РЖЯ
F i g. 4. Frequency distribution of gesture components (hand configurations) in
RSL
Для более подробного перечня конфигураций рук с наибольшей частотностью построена гистограмма с указанием знаков, соответствующих каждой из них (Рис. 5).
250 200 150 100 50
0
I I I I ■ ■ ■
^□-d à 1111
Р и с. 5. Компоненты жестов категории «Руки» РЖЯ с наибольшей частотностью
F i g. 5. Components of gestures in the RSL category "Hands" with the highest frequency
Vol. 16, No. 4. 2020 ISSN 2411-1473 sitito.cs.msu.ru
Modern Information Technologies and IT-Education
ИССЛЕДОВАНИЯ И РАЗРАБОТКИ В ОБЛАСТИ НОВЫХ ИНФОРМАЦИОННЫХ М. А. Мяс0ед0ва,
ТЕХНОЛОГИЙ И ИХ ПРИЛОЖЕНИЙ З. П. Мясоедова
Полученные результаты исследования, проведённого на основе элементов наиболее употребительных жестов РЖЯ в письменной форме разработанного корпуса, будут использованы в дальнейших лингвистических исследованиях.
Заключение
Проведённые за последние годы исследования в области формирования жестов ЖЯ и выявление особенностей в их структуре показывают актуальность выбранной нами темы. На данный момент, несмотря на проделанную в разных странах работу по изучению структуры жестов ЖЯ, остаётся ещё много вопросов в этой области. В настоящей статье дано описание проведенного исследование особенностей структуры жестов РЖЯ с учётом частотности их компонентов на основе знаков жестовой нотации SW в надежде на то, что это поможет улучшить понимание особенностей формирования жестов. Научная новизна работы состоит в новом подходе к рассмотрению структуры жестов РЖЯ с учётом частотности их компонентов на материале корпуса, представленного в знаковой форме системы SW.
Исследование особенностей формирования жестов, создание и пополнение банка жестов РЖЯ на основе знаков системы SW является полезным, перспективным и престижным для нашей страны делом. Работа в этом направлении позволит получить новые результаты, которые могут быть полезны при лингвистических исследованиях ЖЯ, позволяющих определить общие и отличительные параметры их структуры, при разработках систем машинного перевода и распознаванию жестовой речи с целью повышения точности их распознавания. Для анализа структуры РЖЯ и дальнейшего развития его необходима совместная работа специалистов в области педагогики, лингвистики, программирования и, что самое главное, носителей ЖЯ, хорошо знающих все его правила и тонкости. Лишь выполнение этих условий позволит добиться успеха в области изучения РЖЯ и использования его письменной формы.
Существующие на данный момент и проводимые исследования в области лингвистики и обработки ЖЯ, как правило, носят однодисциплинарный характер, что не позволяет решать возникающие проблемы в процессе работы в полной мере. Зачастую у разработчиков компьютерных программ по распознаванию жестовой речи не хватает должного знания особенностей, структуры и грамматики ЖЯ и, что самое главное, самого ЖЯ, которым владеют люди со слуховой патологией. И этот факт необходимо учитывать всем разработчикам и исследователям, работающим в данной области.
References
[1] Costa E.S., Bózoli D.M.F. Bilingual signalary of higher education institutions in Signwriting / Portuguese language. Línguas & Letras. 2019; 20(48):178-195. (In Portug.) DOI: https://doi.org/10.5935/1981-4755.20190040
[2] Costa E.S., Nascimento L.R.S. Os dicionários virtuais e im-pressos da língua Brasileira de sinais. In: Encontro Internacional de Formapao de Professores e Fórum Permanente de Inovapao Educacional. 2015; 8(1). Available at: https://
eventos.set.edu.br/enfope/article/view/1283 (accessed 10.08.2020). (In Portug.)
[3] Goldin-Meadow S., Brentari D. Gesture, sign, and language: The coming of age of sign language and gesture studies. Behavioral and Brain Sciences. 2017; 40:E46. (In Eng.) DOI: https://doi.org/10.1017/S0140525X15001247
[4] Sennikova Y., Garcia B. Statut et rôle des composants sublexicaux dans la structuration du lexique en langue des signes française (LSF). Lexique. 2018; (23):131-159. Available at: https://lexique.univ-lille.fr/05-statut-et-role-des-composants-sublexicaux-dans-la-structuration-du-lex-ique-en-langue-des-signes-francaise-lsf.html (accessed 10.08.2020). (In French)
[5] Kimmelman V., Pfau R., Aboh E.O. Argument structure of classifier predicates in Russian Sign Language. Natural Language & Linguistic Theory. 2020; 38(2):539-579. (In Eng.) DOI: https://doi.org/10.1007/s11049-019-09448-9
[6] Kimmelman V. Word Order in Russian Sign Language. Sign Language Studies. 2012; 12(3):414-445. Available at: http://www.jstor.org/stable/26191722 (accessed 10.08.2020). (In Eng.)
[7] Myasoedova M.A., Myasoedova Z.P. Interlanguage Features of Sign Languages (According to the Material of Gestures in Sign Form). Sovremennye informacionnye teh-nologii i IT-obrazovanie = Modern Information Technologies and IT-Education. 2019; 15(1):172-181. (In Russ., abstract in Eng.) DOI: https://doi.org/10.25559/SITI-TO.15.201901.172-181
[8] Zhang Z., Pu J., Zhuang L., Zhou W., Li H. Continuous Sign Language Recognition via Reinforcement Learning. In: 2019 IEEE International Conference on Image Processing (ICIP). Taipei, Taiwan; 2019. p. 285-289. (In Eng.) DOI: https://doi. org/10.1109/ICIP.2019.8802972
[9] Camgoz N.C., Hadfield S., Koller O., Bowden R. SubUNets: End-to-End Hand Shape and Continuous Sign Language Recognition. In: 2017 IEEE International Conference on Computer Vision (ICCV). Venice, Italy; 2017. p. 3075-3084. (In Eng.) DOI: https://doi.org/10.1109/ICCV.2017.332
[10] Zhou H., Zhou W., Li H. Dynamic Pseudo Label Decoding for Continuous Sign Language Recognition. In; 2019 IEEE International Conference on Multimedia and Expo (ICME). Shanghai, China; 2019. p. 1282-1287. (In Eng.) DOI: https://doi. org/10.1109/ICME.2019.00223
[11] Niu Z., Mak B. Stochastic Fine-Grained Labeling of Multistate Sign Glosses for Continuous Sign Language Recognition. In: Vedaldi A., Bischof H., Brox T., Frahm J.M. (ed.) Computer Vision - ECCV 2020. ECCV 2020. Lecture Notes in Computer Science. 2020; 12361:172-186. Springer, Cham. (In Eng.) DOI: https://doi.org/10.1007/978-3-030-58517-4_11
[12] Myasoedova M.A., Myasoedova Z.P. Sign Language Notation Systems and their comparative analysis. Sovremennye infor-macionnye tehnologii i IT-obrazovanie = Modern Information Technologies and IT-Education. 2018; 14(1):183-192. (In Russ., abstract in Eng.) DOI: https://doi.org/10.25559/ SITITO.14.201801.183-192
[13] McDonald J., Wolfe R., Schnepp J., Hochgesang J., Jamrozik D.G., Stumbo M., Berke L., Bialek M., Thomas F. An automat-
Современные информационные технологии и ИТ-образование
Том 16, № 4. 2G2G ISSN 2411-1473 sitit0.cs.msu.ru
M. A. Myasoedova, RESEARCH AND DEVELOPMENT IN THE FIELD
Z. P. Myasoedova OF NEW IT AND THEIR APPLICATIONS
ed technique for real-time production of lifelike animations of American Sign Language. Universal Access in the Information Society. 2016; 15(4):551-566. (In Eng.) DOI: https:// doi.org/10.1007/s10209-015-0407-2
[14] Stiehl D., Addams L., Oliveira L.S., Guimaräes C., Britto A.S. Towards a SignWriting recognition system. In: 2015 13th International Conference on Document Analysis and Recognition (ICDAR). Tunis, Tunisia; 2015. p. 26-30. (In Eng.) DOI: https://doi.org/10.1109/ICDAR.2015.7333719
[15] Iatskiu C.E.A., Garcia L.S., Canteri R.D.P., Antunes D.R. The Low Use of SignWriting Computational Tools from HCI Perspective. In: Antona M., Stephanidis C. (ed.) Universal Access in Human-Computer Interaction. Access to Interaction. UAHCI 2015. Lecture Notes in Computer Science. 2015; 9176:373-382. Springer, Cham. (In Eng.) DOI: https://doi. org/10.1007/978-3-319-20681-3_35
[16] Bouzid Y., Jemni M. TuniSigner: A Virtual Interpreter to Learn Sign Writing. In: 2014 IEEE 14th International Conference on Advanced Learning Technologies. Athens, Greece; 2014. p. 601-605. (In Eng.) DOI: https://doi.org/10.1109/ ICALT.2014.176
[17] Guimaräes C., Guardezi J.F., Fernandes S. Sign Language Writing Acquisition - Technology for a Writing System. In: 2014 47th Hawaii International Conference on System Sciences. Waikoloa, HI, USA; 2014. p. 120-129. (In Eng.) DOI: https://doi.org/10.1109/HICSS.2014.23
[18] Bouzid Y., Jemni M. A Virtual Signer to Interpret SignWrit-ing. In: Miesenberger K., Fels D., Archambault D., Penâz P., Zagler W. (ed.) Computers Helping People with Special Needs. ICCHP 2014. Lecture Notes in Computer Science. 2014; 8548:458-465. Springer, Cham. (In Eng.) DOI: https://doi.org/10.1007/978-3-319-08599-9_69
[19] Guimaräes C., Guardezi J.F., Oliveira L.E., Fernandes S. Deaf Culture and Sign Language Writing System - A Database for a New Approach to Writing System Recognition Technology. In: 2014 47th Hawaii International Conference on System Sciences. Waikoloa, HI, USA; 2014. p. 3368-3377. (In Eng.) DOI: https://doi.org/10.1109/HICSS.2014.418
[20] Caselli N.K., Sehyr Z.S., Cohen-Goldberg A.M., Emmorey K. ASL-LEX: A lexical database of American Sign Language. Behavior Research Methods. 2017; 49(2):784-801. (In Eng.) DOI: https://doi.org/10.3758/s13428-016-0742-0
[21] Myasoedova M.A., Myasoedova Z.P. Corpus of signs in writing as a tool to investigate the peculiarities of how signs form up (on the example of the Russian Sign Language). Sovremennye informacionnye tehnologii i IT-obrazovanie = Modern Information Technologies and IT-Education. 2018; 14(2):426-435. (In Russ., abstract in Eng.) DOI: https://doi. org/10.25559/SITITO.14.201802.426-435
[22] Trevor J. Lexical Frequency in Sign Languages. The Journal of Deaf Studies and Deaf Education. 2012; 17(2):163-193. (In Eng.) DOI: https://doi.org/10.1093/deafed/enr036
[23] Morford J.P., Macfarlane J. Frequency Characteristics of American Sign Language. Sign Language Studies. 2033; 3(2):213-225. Available at: http://www.jstor.org/sta-ble/26204871 (accessed 10.08.2020). (In Eng.)
[24] Smith R.G., Hofmann M. A Lexical Frequency Analysis of Irish Sign Language. TEANGA; The Journal of the Irish Asso-
ciation for Applied Linguistics. 2020; 11(11):18-47. (In Eng.) DOI: https://doi.org/10.35903/teanga.v11i1.162
[25] Tamminga M., Fisher J., Hochgesang J. Weak Hand Variation in Philadelphia ASL: A Pilot Study. University of Pennsylvania Working Papers in Linguistics. 2020; 25(2):15. Available at: https://repository.upenn.edu/pwpl/vol25/iss2/15 (accessed 10.08.2020). (In Eng.)
[26] Thorvaldsdottir G.B. The Beginnings of Phonetic and Phonological Coding in the Signs of Ireland Digital Corpus: the Representation of Handshapes. The ITB Journal. 2010; 11(1):4. (In Eng.) DOI: https://doi.org/10.21427/D7316R
[27] Fenlon J., Schembri A., Rentelis R., Cormier K. Variation in handshape and orientation in British Sign Language: The case of the '1' hand configuration. Language & Communication. 2013; 33(1):69-91. (In Eng.) DOI: https://doi. org/10.1016/j.langcom.2012.09.001
Поступила 10.08.2020; одобрена после рецензирования 19.10.2020; принята к публикации 25.11.2020.
Submitted 10.08.2020; approved after reviewing 19.10.2020; accepted for publication 25.11.2020.
|об авторах:|
Мясоедова Мария Александровна, научный сотрудник, ФГ-БУН «Институт проблем управления им. В.А. Трапезникова Российской академии наук» (117997, Российская Федерация, г. Москва, ул. Профсоюзная, д. 65), ORCID: http://orcid.org/0000-0002-0317-4781, [email protected]
Мясоедова Зинаида Павловна, научный сотрудник, ФГБУН «Институт проблем управления им. В.А. Трапезникова Российской академии наук» (117997, Российская Федерация, г. Москва, ул. Профсоюзная, д. 65), ORCID: http://orcid.org/0000-0001-6022-3503, [email protected]
Все авторы прочитали и одобрили окончательный вариант рукописи.
^¡¡¡¡^¡¡^¡шшшшяшвш
Maria A. Myasoedova, Researcher, V.A. Trapeznikov Institute of Control Sciences, Russian Academy of Sciences (65 Profsoyuznaya St., Moscow 117997, Russian Federation), ORCID: http://orcid. org/0000-0002-0317-4781, [email protected] Zinaida P. Myasoedova, Researcher, V.A. Trapeznikov Institute of Control Sciences, Russian Academy of Sciences (65 Profsoyuznaya St., Moscow 117997, Russian Federation), ORCID: http://orcid. org/0000-0001-6022-3503, [email protected]
All authors have read and approved the final manuscript.
Vol. 16, No. 4. 2020 ISSN 2411-1473 sitito.cs.msu.ru
Modern Information Technologies and IT-Education
