Научная статья на тему 'Проблемы распознавания языка жестов и методы их решения'

Проблемы распознавания языка жестов и методы их решения Текст научной статьи по специальности «Компьютерные и информационные науки»

CC BY
783
101
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
PATTERN RECOGNITION / KEYFRAME RECOGNITION / SIGN LANGUAGE / IMAGE PROCESSING / РАСПОЗНАВАНИЕ ОБРАЗОВ / РАСПОЗНАВАНИЕ КЛЮЧЕВЫХ КАДРОВ / ЯЗЫК ЖЕСТОВ / ОБРАБОТКА ИЗОБРАЖЕНИЙ / ДАКТИЛЬНАЯ АЗБУКА (PATTERN RECOGNITION / IMAGE PROCESSING)

Аннотация научной статьи по компьютерным и информационным наукам, автор научной работы — Завьялов Алексей Валерьевич

Статья рассматривает использование методов распознавания образов для создания системы распознавания языка жестов. В статье предлагаются методы решения ряда проблем возникающих при распознавании жестов, таких как дикторонезависимость и работа с потоком изображений.

i Надоели баннеры? Вы всегда можете отключить рекламу.
iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

Problems of recognition of sign language and methods for their solution

The article outlines the use of image recognition methods to create a sign language recognition system. The article proposes methods for solving a number of problems, such as speaker independence and working with a image stream.

Текст научной работы на тему «Проблемы распознавания языка жестов и методы их решения»

Коэффициент понимания вычисляется как соотношение количества верных ответов к общему количеству вопросов. Если тест был завершен досрочно посредством закрытия окна тестирования, то коэффициент понимания приравнивается к нулю. На основе коэффициента понимания производится коррекция скорости чтения.

Коррекция производится путем умножения коэффициента понимания на скорость чтения (2).

S = k*V (2)

где S - скорость чтения после коррекции, k - коэффициент понимания, V - скорость чтения до коррекции.

Приложение может успешно применяться в учебных заведениях для проведения тестирования и развития навыков скорочтения учащихся. Использование данного продукта в начальных классах школ может способствовать повышению общего уровня грамотности. При этом происходит увеличение объема понятого материала и сокращение времени для его изучения. Но сфера использования этого приложения не ограничена только учебными заведениями. Его могут использовать все, кто осознает недостатки в своих навыках чтения и анализа информации. Приложение открыто для добавления новых материалов, и удобно для оценивания роста скорости осознанного чтения.

Авторы считают, что в данной работе новыми являются следующие положения и результаты:

1. свободная, гибкая и простая система хранения материалов, при использовании которой пользователь может свободно изменять и добавлять тексты с тестами под свои индивидуальные нужды.

2. алгоритм коррекции вычисленного значения скорости чтения пользователя с учетом досрочного закрытия тестового примера и коэффициента понимания текста.

Литература

1. [Электронный ресурс] Режим доступа: М1р://минобрнауки.рф/документы/ 922/файл/748/ФГОС_НОО.pdf - ссылка на документы ФГОС сайта Минобрнауки.

2. [Электронный ресурс] Режим доступа: http://www.skorochteni.ru/glavy/lesson-1/standards-of-speed-reading/

Application for automated calculation of speed of user's reading

Erokhina Elena, Higher School of Economics Shaimov Nikita, Higher School of Economics Peresadov Vladislav, Higher School of Economics

In article it is told about the application for the automated calculation of reading speed. The application interface is described, work of the main algorithms criteria of estimation of results of work of the user are given.

Key words: reading speed, coefficient of understanding of the text, the number of words in a minute, symbols in a minute.

УДК: 004.023

ПРОБЛЕМЫ РАСПОЗНАВАНИЯ ЯЗЫКА ЖЕСТОВ И МЕТОДЫ ИХ РЕШЕНИЯ

Алексей Валерьевич Завьялов, студент магистерской программы «Компьютерные системы и сети» E-mail: avzav42@yandex.ru Московский институт электроники и математики им. А.Н. Тихонова

https://miem.hse.ru/

Статья рассматривает использование методов распознавания образов для создания системы распознавания языка жестов. В статье предлагаются методы решения ряда проблем возникающих при распознавании жестов, таких как дикторонезави-симость и работа с потоком изображений.

Ключевые слова: Распознавание образов, распознавание ключевых кадров, язык жестов, обработка изображений, дактильная азбука (Pattern recognition, keyframe recognition, sign language, image processing).

В настоящее время, время глобализации и быстрого развития методов коммуникации между людьми, невозможно оставить в стороне проблему коммуникации с внешним миром и социальной интеграции людей с ограниченными возможностями. Создание так называемой безбарьерной среды не должно ограничиваться физической доступностью объектов инфраструктуры. Необходимо также ломать барьеры на пути общения между людьми, в том числе в с людьми имеющими проблемы со слухом.

Для решения проблем коммуникации глухонемых людей возможно использование современных технологий по распознаванию образов.

Одной из таких технологий является использование киберперчаток, позволяющих компьютеру отслеживать движения человека и переводить их на разговорный или письменный язык. Несмотря на высокую точность данные технологии накладывают определенные ограничения для пользователей: необходимость использования специальных технических устройств, отсутствие возможности учитывать артикуляцию.

Другое направление по оцифровке жестов заключается в использовании систем машинного зрения - компьютеров и камер для захвата движений рук.

Способ распознавания жестов посредством обработки изображения является более перспективным поскольку нет необходимости в использовании сложных систем из датчиков и он не требует от пользователя сложных действий по настройке. Кроме того, технологии обработки изображений могут быть интегрированы с постоянно развивающимися технологиями, такими как карманные компьютеры, смартфоны, видеотелефоны, высокотехнологичные киоски и т.д.

Таким образом, создание системы распознавания языка жестов, позволяющей с использованием современных, мобильных средств коммуникации осуществлять синхронный перевод с языка жестов в письменную или разговорную речь является весьма актуальным.

В связи с тем, что использование сложного оборудования машинного зрения не предполагается, одной из основных задач является поиск и совершенствование методов распознавания, позволяющих решить проблемы, возникающие при распознавании жестов.

При цифровой обработке изображений, существуют стандартные этапы. Они могут быть объединены в две большие категории: этапы, в результате которых осуществляется обработка поступившего изображения, результатом данных этапов является обработанное изображение, готовое для распознавания и этапы, осуществляющие обработку изображения с целью выделения, описания и классификации объектов распознавания. Результатом этих этапов являются атрибуты изображения.

Именно этапы, относящиеся ко второй категории, являются наиболее сложными и в то же время наиболее значимыми для цели успешного распознавания. Рассмотрим некоторые из этих этапов, применительно к задаче распознавания языка жестов.

При распознавании языка жестов необходимо решить две последовательные задачи:

• распознавание жеста и поиск его текстового значения;

• распознавание слова или предложения.

Проблема распознавания жеста заключается в том, что необходимо отличать друг от друга большое количество символов схожих между собой. Данная задача усложняется тем, что жесты могут отличаться в зависимости от человека - диктора. Также в связи с

тем, что процесс жестовой коммуникации предполагает быструю демонстрацию символов, возникает задача определения начала и конца символа, т.е. выделения ключевых кадров, содержащих сам символ.

Таким образом, основными задачами, которые необходимо решить для создания высокоточной системы распознавания языка жестов являются: нахождение способа выделения ключевых кадров, правильно подобранные критерии классификации, позволяющие однозначно определять жест и создание методов обучения системы под определенного диктора.

На рисунке 1. приведены основные этапы цифровой обработки изображений.

Рис 1. Основные этапы цифровой обработки изображения

Для решения задачи поиска ключевых кадров можно использовать ряд методов. Одним из таких методов является определение уровня изменений в кадре по отношению к предыдущему. Определение данного уровня является отдельной задачей, которую

можно решать в том числе экспериментальным методом. При правильном подборе значения с помощью этого метода можно отсеивать большое количество кадров, по которым невозможно достоверно распознать жест. Минусом данного метода является то, что низкий уровень изменений изображения не всегда означает, что кадр является ключевым и содержит информацию достаточную для распознавания жеста.

Еще одним методом является метод нахождения уровня ошибки, при которой входное изображение сравнивается с паттернами в базе данных и находится среднеквадратичная ошибка (разница между паттернами и полученным изображением). Данный метод позволяет найти кадры, на которых можно распознать жест. Минусами данного метода можно считать ресурсоемкость так как при наличии значительного количества объектов в базе данных и большом количестве кадров в секунду требуется достаточно большое количество вычислительных мощностей чтобы сравнивать их между собой в реальном времени. Так же может возникнуть проблема «ложного срабатывания».

Для целей поиска ключевого кадра представляется перспективным последовательное использование обоих методов. С помощью первого метода отфильтровываются кадры, на которых рука диктора находится в движении, а с помощью второго метода находятся ключевые кадры с наименьшей квадратичной ошибкой.

После определения ключевых кадров происходит выделения жеста на ключевом кадре его описание и классификация. Задача классификации состоит в целесообразном разбиении заданной совокупности объектов на однородные классы. Для успешного распознавания объекты, вошедшие в один класс объекты, должны быть максимально схожи друг с другом. Объекты же из разных классов должны быть достаточно различными, далекими друг от друга.

В большинстве случаев, при решении задач распознавания применяются системы обучения. Поэтому, для решения проблемы настройки под определённого диктора предлагается применять систему автоматического обучения. Процесс обучения можно реализовать с использованием грамматического анализа распознанных слов. После распознавания ряда символов и компоновки слова необходимо провести грамматический анализ и внести исправления. На основании анализа исправлений вносятся исправления в паттерн.

Автор считает, что в данной работе новыми являются следующие положения:

• использование методов поиска среднеквадратичной ошибки и определения уровня изменений в кадре для определения ключевых кадров в процессе распознавания жестовой речи.

• использование грамматического анализа полученных слов в процессе перевода с языка жестов для улучшения распознавания отдельных жестов.

Problems of recognition of sign language and methods for their solution

Zavyalov Alexey Valeryevich, Student of the Master's Programme 'Computer Systems and Networks, HSE Tikhonov Moscow Institute of Electronics and Mathematics

The article outlines the use of image recognition methods to create a sign language recognition system. The article proposes methods for solving a number of problems, such as speaker independence and working with a image stream.

Keywords: Pattern recognition, keyframe recognition, sign language, image processing.

i Надоели баннеры? Вы всегда можете отключить рекламу.