CC BY
44
Интернет-журнал «Науковедение» ISSN 2223-5167 http ://naukovedenie.ru/ Том 7, №3 (2015) http ://naukovedenie. ru/index.php?p=vol7-3 URL статьи: http://naukovedenie.ru/PDF/126TVN315.pdf DOI: 10.15862/126TVN315 (http://dx.doi.org/10.15862/126TVN315)
УДК 004.5: 004.93'1: 004.934
Дворина Наталья Геннадьевна
ФГБОУ ВПО «Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики (Университет ИТМО)»
Россия, Санкт-Петербург1 Кандидат педагогических наук
Доцент
E-mail: n.dvorina@gmail.com
Горлушкина Наталия Николаевна
ФГБОУ ВПО «Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики (Университет ИТМО)»
Россия, Санкт-Петербург Заведующая кафедрой Кандидат технических наук Доцент
Старший научный сотрудник E-mail: nagor.spb@mail.ru
Филатова Наталья Николаевна
ФГБОУ ВПО «Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики (Университет ИТМО)»
Россия, Санкт-Петербург Аспирант E-mail: natalia_f@inbox.ru
Использование интерактивной компьютерной технологии распознавания жестов и речи на практических занятиях по
иностранному языку
1 197101, г. Санкт-Петербург, Кронверский проспект, д. 49
1
Аннотация. В статье рассматривается актуальность применения технологии подготовки и проведения практических занятий по английскому языку для создания коммуникативной языковой среды, включающей в себя использование жестового контроллера Kinect. Цель создания и внедрения интерактивной технологии распознавания жестов и речи на практических занятиях заключается в расширении возможностей обучения посредством сочетания интегрированного оборудования, программного обеспечения и педагогических технологий для поддержания иноязычной образовательной среды в вузе. Приведен анализ жестовых контроллеров. Показаны исследования этого вопроса в России и за рубежом. Предлагается использовать программное компьютерное приложение, которое во время интерактивных практических занятий, позволит максимально приблизиться к реальности имитации иноязычной ситуаций. Показано, что для обучающихся при использовании интерактивной компьютерной технологии предоставляется выбор вариантов ситуаций, что позволяет ему полностью погрузиться в языковую ситуацию, развить умения адаптироваться к конкретной ситуации. Рассматриваемая в статье интерактивная компьютерная технология может быть использована совместно с традиционными формами обучения иностранным языкам. Показана возможность ее применение в других дисциплинах, где требуется наглядная визуализация информация и непосредственное управление этой информацией для получения необходимых выводов.
Ключевые слова: языковая среда; иностранный язык; образовательные технологии; интерактивные технологии распознавания жестов и речи; захват движений; жестовый контроллер; Kinect.
Ссылка для цитирования этой статьи:
Дворина Н.Г., Горлушкина Н.Н., Филатова Н.Н. Использование интерактивной компьютерной технологии распознавания жестов и речи на практических занятиях по иностранному языку // Интернет-журнал «НАУКОВЕДЕНИЕ» Том 7, №2 (2015) http://naukovedenie.ru/PDF/126TVN315.pdf (доступ свободный). Загл. с экрана. Яз. рус., англ. DOI: 10.15862/126ГУТО15
Обучение иностранным языкам является неотъемлемой частью высшего профессионального образования в России. Современная языковая подготовка специалистов в неязыковом вузе требует особого внимания в вопросах качества сформированности компетенций, поиска и разработки эффективных методик, новых технологий. Особенно это становится актуальным на этапе повышения конкурентоспособности в мировом образовательном пространстве, развития международного сотрудничества университета в связи с интернационализацией и реализацией программ академической мобильности. Все это является достаточной предпосылкой к моделированию и созданию иноязычной образовательной среды, в условия которой студенты могут успешно применять коммуникативные умения в повседневной и профессиональной деятельности.
Вопросам изучения языковой среды, коммуникации и взаимодействия коммуникантов уделяется в работах И.А. Бодуэна де Куртенэ, Г. Пауля, Л.П. Якубинского, М.Б. Гаспарова, И.А. Ореховой. Г.Г. Маслова считает, что понятия языковая среда и языковое пространство могут быть синонимами в контексте интернационализации образования и создания языковой среды университета [1]. В.А. Козырев и В.Д. Черняк рассматривают языковую среду как речевую субкультуру при формировании лингвистических компетенций студентов высшей школы [2].
Под языковой средой мы понимаем коммуникативное пространство, в котором может реализовываться процесс общения. Важно отметить, что ввиду отсутствия погружения обучающихся в естественные языковые условия, в нашем проекте языковая среда сформирована искусственно и отсутствие предполагаемых естественных языковых условий компенсируется педагогическими и интерактивными компьютерными технологиями. Рассматриваемая языковая среда должна иметь образовательный характер. Используемые методы и подходы, приемы и средства в ней направлены на поддержание обучающего характера среды. Интерактивные компьютерные технологии предполагают обучающее двустороннее общение между студентом и преподавателем посредством ТСО при помощи специальных программных продуктов [3]. Такой отличный от традиционный методов образовательный процесс, основанный на принципах взаимодействия, имеет свои преимущества: индивидуализация, при которой учитываются особенности личности, интересы, улучшение визуального восприятия, значительное упрощение процесса усвоения учебного материала, активизация познавательной деятельности обучаемых. Интерактивные дидактические материалы (компьютерные игры, видео приложения, интерактивные доски, виртуальные практические курсы и др.) давно и активно использующиеся в методике обучения иностранным языкам, не вызывают сомнений в необходимости их применения. Учебный языковой материал можно не только проиллюстрировать, но и смоделировать условия имитации реальной ситуации общения с помощью технологии распознавания жестов и речи.
Жестовые языки изначально предназначены для коммуникации глухих и слабослышащих людей. Такие языки возникли значительно позже звучащих языков и еще позже стали предметом научного изучения. Язык жестов - это невербальный способ коммуникации с помощью комбинаций жестов рук, а также сочетания мимики лица, формы глаз, губ и телодвижений. Не вызывает сомнения тот факт, что невербальные средства наряду с вербальной речью являются неотъемлемой частью методики обучения иностранным языкам. Исследователями Р. Бердвистеллом, Р. Мораски, А. Пиза признается значимость жестовых языков в достижения желаемого коммуникативного эффекта, его дополнении и усилении. А. Мехрабиан в своей работе отмечает процентное соотношение передаваемой информации за счет вербальных, звуковых и невербальных средств, в которых преимущество в 55% отдается жестовым языкам [4].
Предполагается жесты использовать для создания имитационной среды путем передачи информации в компьютер с последующим ответным откликом реализуемой программы. Исследования и разработки касательно подобных интерактивных технологий с использованием распознавания жестов и речи активно ведутся в таких научных центрах, как Массачусетский технологический институт, Мэрилендский университет, Оксфордский университет, университет города Осака, Стэнфордский университет, Торонтский университет, а также исследовательские центры таких компаний как Apple, Microsoft, Nintendo, Sony [5]. В России подобные работы выполняются, к примеру, в МГТУ им. Н.Э. Баумана. Представителем последнего является Алфимцев А.Н. [6], защитивший диссертацию «Разработка и исследование методов захвата, отслеживания и распознавания динамических жестов» на соискание ученой степени к.т.н. в 2008 году.
Подробный анализ существующих методов отслеживания и распознавания жестов руки, а также бесконтактного человеко-машинного взаимодействия представлен в диссертации В.Э. Нагапетяна [8]. В диссертационной работе А.В. Куракина описаны методы классификации жестов, а используется непосредственно метрический метод на основе выравнивания траекторий в силу его простоты и применимости в ситуации маленькой обучающей совокупности. Вдобавок, для задачи управления мышью с использованием жестов рук, используется метод, работающий на основе фиксированного набора правил, составленных вручную [8].
Система распознавания жестов - это совокупность компьютерных технологий и математических алгоритмов, которая позволяет решать задачу распознавания определенной группы жестов [7]. Технология распознавания речи - процесс преобразования речевого сигнала в цифровую информацию. Обратной задачей является синтез речи. В ходе работы рассматриваются составляющие данную технологию, технические требования, проблемы и несовершенства, которые могут возникнуть при использовании данной системы. Изучается применение в образовании тренажерной системы с использованием камер глубин. Они представляют собой сенсор, позволяющий снимать видео, в котором в каждом пикселе содержится информация о расстоянии от плоскости его местонахождения до объектовых сцен [9]. Изображения, которые воспроизводятся в видеопоследовательность при использовании контроллера Kinect называются картами глубины [8].
Предлагаемая система в совокупности практических занятий должна состоять из интерактивной доски, проектора, управляющего блока (компьютер и соответствующее программное оснащение), жестового контроллера с функцией распознавания речи. Для лучшего определения образов рекомендуется использовать не один контроллер.
Проведен анализ жестовых контроллеров, по характеристикам которых произведено разделение на два блока (рис. 1).
Рис. 1. Сравнительный анализ жестовых контроллеров
Исключив контроллеры, имеющий меньший диапазон охвата и не настроенных на групповую работу, выполнена работа по более тщательному обзору характеристик выбранного блока, что отражено в таблице 1.
Таблица 1
Обзор характеристик жестовых контроллеров
Характеристика Камера глубины
Microsoft Kinect 1.0 Microsoft Kinect 2.0 ASUS Xtion Pro ASUS Xtion Pro Live
Расстояние Использования Между 0,8 м и 4 м между 0,5 м и 4,5 м между 0,8 м и 3,5 м между 0,8 м и 3,5 м
Поле зрения 57 ° H, 43 ° V 58 ° H, 45 ° V 58 ° H, 45 ° V 58 ° H, 45 ° V
Сенсоры Захват глубины и RGB Захват глубины и RGB Захват глубины Захват глубины и RGB
Глубина картинки VGA 640x480 точек QVGA (320x240): 30 кадров в секунду VGA 1920x1080 точек Full HD QVGA (512x424): 60 кадров в секунду VGA 640x480 точек QVGA (320x240): 60 кадров в секунду 1280x1024: 30 fps VGA 640x480 точек QVGA (320x240): 60 кадров в секунду 1280x1024: 30 fps
Платформа 32 bit (x86) или 64 bit (x64) Двухъядерный 2.66 ГГц или более быстрый процессор 32 bit (x86) или 64 bit (x64) Двухъядерный 2.66 ГГц или более быстрый процессор 32 bit (x86) или 64 bit (x64) Двухъядерный 2.66 ГГц или более быстрый процессор 32 bit (x86) или 64 bit (x64) Двухъядерный 2.66 ГГц или более быстрый процессор
Поддержка ОС Windows 7 или Windows Embedded Standard 7, Windows 8 Linux Ubuntu 10.10: X86, 32/64bit Windows 7 или Windows Embedded Standard 7, Windows 8 Linux Ubuntu 10.10: X86, 32/64bit Windows 32/64: XP/Vista/7/8 Linux Ubuntu 10.10: X86, 32/64bit Android (по желанию) Win 32/64: XP/Vista/7/8 Linux Ubuntu 10.10: X86, 32/64bit Android (по желанию)
Интерфейс USB 2.0 USB 2.0 USB 2.0 USB 2.0
Программное обеспечение Software Development Kit (SDK Microsoft) Software Development Kit (SDK 2.0 Microsoft) Software Development Kit (SDK OpenNI) Software Development Kit (SDK OpenNI)
Язык программирования C + + / C # (Windows) C + + (Linux) JAVA C + + / C # (Windows) C + + (Linux) JAVA C + + / C # (Windows) C + + (Linux) JAVA C + + / C # (Windows) C + + (Linux) JAVA
Размеры 23 х 4 х 5 см 34.3 x 8,1 x 26.4 см 18 х 3,5 х 5 см 20 х 3,5 х 5 см
Выявлен ряд преимуществ использования контроллера Kinect 2.0 от компании Microsoft, имеющего функцию распознавания голоса. А именно:
• количество распознаваемых фигур достигает шести человек одновременно; 6
• распознавание мелких предметов;
• единый режим распознавания сидящих и стоящих поз пользователей;
• возможность работы распознавания жестов в темноте;
• распознавание двух потоков речи одновременно.
В настоящий момент Kinect понимает четыре языка: английский, испанский, японский и французский. Отсечение звука из динамиков и снижение реверберации и шум помогает технология направленных микрофонов. В Kinect имеются четыре микрофона, и они позволяют системе захвата определить, откуда идет звук, и отсечь шумы и реверберацию. Вторая технология - это, так называемое, эхоподавление. С его помощью можно отделить звук голоса от звука динамиков. Эхоподавление - один из самых старых алгоритмов обработки сигнала, для рассматриваемого контроллера создатели разработали алгоритм стереоакустического эхоподавления, благодаря чему Kinect стал первым устройством, где применяется подобная технология. Более того, Kinect - первое потребительское устройство, которое способно распознавать речь с расстояния трех-четырех метров. Таким образом, использование Kinect позволяет объединить речь, жесты, графику, звук в единый интуитивный интерфейс [10].
Предполагается, что современная технология позволит сымитировать речевую иноязычную ситуацию и позволит открыть возможности:
• групповой интерактивной работы;
• ведение с компьютером интерактивных свободных диалогов, развитие которых зависит от обучающегося;
• подключения к системе программных приложений, например, систем распознавания образов, текста, учебных мультимедийных курсов и т.д.
Интерактивная модель «студент - компьютер - преподаватель» подразумевающая взаимодействие пользователя с программно-аппаратной системой и характеризующаяся развитыми формами ведения диалога и обмена речевыми командами, запросами, ответами вызывает интерес у методистов с точки зрения создания коммуникативной иноязычной среды.
Проведя обзор предлагаемых сегодня программных решений с подобной технологией распознавания речи, можно отметить интерактивных курс «Tell me More» французского разработчика Auralog. Программа работает без применения жестового контроллера Kinect. Другой пример реализации интерактивной технологий с использованием Kinect и консоли Xbox 360 в образовательном модуле было предложено компанией Microsoft экспериментально в школах Южной Африки в 2011 году в частности и для формирования обучающей англоязычной среды [11].
Для реализации рассматриваемого проекта перед разработчиками ставятся задачи: провести анализ и подбор необходимых компонентов технической системы для быстрого потока видео, работы в режиме реального времени, без задержки отклика системы на распознанную речь и жесты, разработать программные приложения, интерфейс для практического применения на занятиях по иностранным языкам, связать интерфейс с работой жестового контроллера. Необходимо исследовать программное обеспечение для создания уже более конкретного проекта, для этого использовать жестовый контроллер, установить взаимосвязь с оборудованием, разработать структуру системы интерактивного взаимодействия для обучающих систем английскому языку, закладывая в неё интуитивные жесты и голосовые команды с определенной лингвистической базой. Для этого с минимальными затратами исследовать подходящую камеру глубины. На сегодня известно
немалое количество современных разработок в сфере определения динамических жестов разного диапазона пространственного распознавания. Преимущество будет у тех, которые имеют в своем арсенале помимо визуального восприятия жестов, ещё и функцию распознавания голоса. Для разработки удобного интерфейса следует исследовать всевозможные средства его создания и тщательно проработать структуру и вид подачи информации. Необходимо проработать вид коммуникации и используемые средства. Для лучшего захвата движения и быстрого реагирования необходимо обратить внимание на существующие методы распознавания жестов и речи. Провести их анализ, выбрать наиболее подходящий результат. Так же провести исследование по оптимизации отклика и адаптации языковых возможностей распознавания речи минимум при помощи двух языков. Для скорости реагирования необходимо исследовать и проработать алгоритм для более быстрой работы.
Задачи по распознаванию жестовой речи характеризуются многими параметрами (например, характеристики канала передачи жестовой речи, вариативность жестов, размер словаря распознавания). Границы слов в потоке жестовой речи могут быть определены лишь в процессе распознавания (декодирования знаков), посредством подбора оптимальной последовательности жестов, наилучшим образом согласующейся с входным потоком жестов по математическим моделям [12].
Изначально для распознавания образа скелет модели с наложением текстур должен быть спроектирован в программах трехмерного моделирования. Далее необходимо произвести разбиение модели на кластеры, которые в свою очередь будут состоять из множества градусных координат осей X, Y, Z трёхмерного пространства [13]. Данные кластеры формируют XML (extensible Markup Language) файлы.
На следующем этапе необходимо осуществить автоматический программный парсинг созданных XML файлов через Microsoft Visual Studio в связке с языком программирования C# и динамически извлечь полученные градусные координаты модели. После осуществления парсинга требуется спроецировать 3D модель на виртуальной плоскости координат через векторную систему для построения клиентских приложений WPF (Windows Presentation Foundation), которая будет направлена на адаптивность модели. Под адаптивностью модели понимается сохранения качества модели, как при низких, так и высоких разрешениях [12].
В случае необходимости изменения положения любой части модели, необходимо изменить полученные градусные координаты от парсера или сформировать новый XML файл. Данные процедуры предназначены не только для создания трёхмерной модели, но и для наполнения базы данных, которая является начальной ступенью автоматического распознавания отдельных жестов пользователя.
Ранее упомянутый контроллер Kinect позволяет получать трёхмерную информацию о видео потоке в виде карты глубины [14], а также трёхмерного облака точек видимого сенсором пространства [15]. Полученная трёхмерная модель информации приводит к отсечению заднего фона, что в свою очередь позволяет сегментировать объекты для их последующего анализа. Полученные сегментированные объекты модели являются менее ресурсоёмкими, что допускает захват всевозможных движений в режиме реального времени, а также упрощает цепочку задач машинного зрения [15] по отсечению задних фонов и сегментированию объектов.
Касательно несовершенств: предполагаемая система рассчитана на определенное расстояние и количество участников. При вовлечении большего числа пользователей могут возникнуть помехи, так же при выходе из области распознавания (диапазона действующей зоны) - потеря распознанного объекта и затрачивается время на определение его вновь. В
случае коллективной работы и прохождении той или иной учебной коммуникативной ситуации педагогу необходимо контролировать процесс - количество участников, работу системы.
Необходима разработка четкого алгоритма, определяющего комплексно двух языковую речь и моделирование ситуации с последующими выборками (создание вариаций). Так же в случае создании комплексной системы необходимо определить области, где объект (студент) будет определяться полностью или его часть тела (например, жесты руки как манипулятор курсора).
Для решения описанных задач, необходимо использование математических методов моделирования, которые должны быть построены на вычислительных экспериментах.
Одним из важнейших моментов исследования будет точность показателей системы. Технический результат будет улучшен при увеличении разнообразия языкового восприятия в распознавании речи и воспринимаемых жестов, включая одновременное восприятие крупных и мелких жестов, улучшении селективности распознавания жестов, минимизации времени, затрачиваемого на распознавание жеста и выдачу команды устройству.
Не менее важным этапом исследования и разработки проекта является определение места изучаемой интерактивной формы и задач в общем языковом обучении, определение тех разделов учебной программы, которые могут быть реализованы в предложенной форме с достижением требуемого качества обучения. Естественно, что при решении поставленных задач в проекте, должны быть учтены цели и задачи обучения, требования к качеству подготовки, временные ограничения и характеристика контингента обучаемых.
Программное компьютерное приложение, используемое во время интерактивных практических занятий, позволит максимально приблизиться к реальности имитации иноязычной ситуаций:
• обучающемуся предоставляется выбор вариантов ситуаций, что позволяет ему полностью погрузиться в языковую ситуацию;
• развитие умения адаптировать навыки применительно к каждой конкретной ситуации;
• наличие обратной связи, позволяющей обучающемуся обдумать предпринятые им языковые действия;
• получение точной информации о том, что правильно и что неправильно сделал каждый из обучающихся, а также когда он это сделал и как много это заняло времени.
Отметим, что рассматриваемая интерактивная компьютерная технология может быть использована совместно с традиционными формами обучения иностранным языкам. Также возможно ее применение в других дисциплинах, где требуется наглядная визуализация информация и непосредственное управление ей для получения необходимых выводов (например, тренажерные системы).
ЛИТЕРАТУРА
1. Маслова Г.Г. Языковое пространство вуза как фактор эффективности академической мобильности // Вестник Псковского государственного университета. Псков: ПГУ, 2013. Выпуск №3. С. 177-182.
2. Козырев В.А., Черняк В.Д. Языковое образование и языковая личность // Вестник Герценовского университета. Санкт-Петербург, 2007. Выпуск №1. С. 30-36.
3. Тихобаев А. Г. Интерактивные компьютерные технологии обучения // Вестник Томского государственного педагогического университета. 2012. Выпуск №8. C. 81-84.
4. Mehrabian Al., Nonverbal Communication. Aldine Transaction, 2007. pp. 235.
5. Зырянов А.В. Программный комплекс пользовательского интерфейса на базе манипуляционных устройств ввода. [Текст]: автореф. дис. ... канд. физ.-мат. наук / А.В. Зырянов - Екатеринбург, УрГУ 2010. - 24 с.
6. Алфимцев А.Н. Разработка и исследование метолов захвата, отслеживания и распознавания динамических жестов. - Москва: МГТУ им. Н.Э. Баумана, 2008.
7. Нагапетян В.Э. Методы распознавания жестов руки на основе дальности изображений. - Москва, 2013.
8. Куракин А.В. Распознавание динамических жестов в системе компьютерного зрения на основе медиального представления формы изображений [Текст]: автореф. дис. ... канд. техн. наук / А.В. Куракин. - Москва: МФТИ, 2012. - 22 с
9. Воронин В.В., Фисунов А.В., Марчук В.И., Свирин И.С., Петров С.П. Восстановление карты глубины на основе комбинированной обработки многоканального изображения // Современные проблемы науки и образования. - 2014. - №6; URL: http://www.science-education.ru/120-16360.
10. Ташев И. «Kinect, прием», интервью электронного журнала Lenta.ru: Наука и техника. 2011. [Эл. ресурс] URL: http://lenta.ru/articles/2011/06/15/kinvoice/.
11. Богапов Г. Kinect начали использовать для обучения детей: HiTech Expert. 2011 [Эл. ресурс] URL: http://expert.com.ua/64529-kinect-nachali-ispolzovat-dlya-obucheniya-detej.html.
12. Рюмин Д.А. Автоматизированная система распознавания отдельных жестов рук человека с применением сенсора Kinect. - Санкт-Петербург.
13. RGB-D mapping: using depth cameras for dense 3d modeling of indoor environments / P. Henry, M. Krainin, E. Herbst, X. Ren, D. Fox // Proc. of international symposium on experimental robotics (ISER), 2010, P. 15.
14. KinWrite: handwriting-based authentication using kinect / J. Tian, C. Qu, W. Xu, S. Wang // Proceedings of the 20th annual network & distributed system security symposium, NDSS 2013, 2013, P. 18.
15. Microsoft Kinect sensor and its effect / Z. Zhang // IEEE Computer Society, vol. 19, №2, 2012, P. 4 - 12.
Рецензент: Штенников Дмитрий Геннадьевич, кандидат технических наук, доцент кафедры «Компьютерные образовательные технологии» Университета ИТМО.
Dvorina Natalia Gennadievna
Saint Petersburg National Research University of Information Technologies, Mechanics and
Optics (ITMO University) Russian Federation, St. Petersburg E-mail: n.dvorina@gmail.com
Gorlushkina Natalia Nikolaevna
Saint Petersburg National Research University of Information Technologies, Mechanics and
Optics (ITMO University) Russian Federation, St. Petersburg E-mail: nagor.spb@mail.ru
Filatova Natalia Nikolaevna
Saint Petersburg National Research University of Information Technologies, Mechanics and
Optics (ITMO University) Russian Federation, St. Petersburg E-mail: natalia_f@inbox.ru
Use of interactive computer technology of gesture and speech
recognition in ESL lessons
Abstract. The article is concerned with the relevance of ESL training technology application for the creation of communicative environment, including the use of Kinect motion controller. The purpose of creation and implementation of gesture and speech recognition interactive technology in ESL classes is to enhance learning opportunities through a combination of integrated hardware, software and educational technologies to maintain a foreign language educational environment in a technical university. The analysis of gestural controllers is given. The study of this problem in Russia and abroad is shown. It is proposed to use PC application that will enable to simulate a real communicative situation in a foreign language during interactive lessons. It is shown that using interactive computer technology students can choose the options of situations, allowing them to immerse themselves in a communicative situation and develop the ability to adapt to a particular foreign lanagueg situation. Discussed interactive computer technology can be used in combination with traditional forms of teaching foreign languages. Attention is given to the possibility of its use in other disciplines, in which graphic visualization of information and management of this information are required to obtain the necessary conclusions.
Keywords: communicative environment; ESL; educational technologies; gesture and speech recognition technology; motion capture technology; motion controller; Kinect.
REFERENCES
1. Maslova G.G. Linguistic space of the university as a factor of the effective academic mobility // Bulletin of the Pskov state pedagogical university. Pskov: PSU, 2013. Issue №3. P. 177-182.
2. Kozyrev V.A., Chernyak V.D. Language education and language personality // Bulletin of the Herzen state pedagogical university. St. Petersburg, 2007. Issue №1. P. 30-36.
3. Tihobaev A.G. Interactive computer technologies of education // Bulletin of the Tomsk state pedagogical university. 2012. Issue №8. P. 81-84.
4. Mehrabian Al., Nonverbal Communication. Aldine Transaction, 2007. - pp. 235.
5. Zyryanov A.V. Software system user interface based on the manipulation of input devices: published summary of thesis / Zyryanov A.V. - Ekaterinburg: USU, 2010. -pp. 24.
6. Alfimtsev A.N. Development and research of capture, tracking and dynamic gestures recognition methods. - Moscow: Bauman MSTU, 2008.
7. Nahapetyan V.E. Methods of hand gesture recognition based on the images range. -Moscow, 2013.
8. Kurakin A.V. Recognition of dynamic gestures in the computer vision based on the medial images forms presentation: published summary of thesis / Kurakin A.V. -Moscow: MIPT, 2012. - pp. 22.
9. Voronin V.V., Fisunov A.V., Marchuk V.I., Svirin I.S., Petrov S.P. Restoration of the depth map based on a combination of multi-channel image processing // Modern problems of science and education. - 2014. - №6; URL: http://www.science-education.ru/120-16360.
10. Tashev I. «Kinect, receiving» electronic magazine interview Lenta.ru: Science and Technology. 2011. [E-resource] URL: http://lenta.ru/articles/2011/06/15/kinvoice/.
11. Bogapov G. Kinect was used for the education of children: HiTech Expert. 2011 [E-resource] URL: http://expert.com.ua/64529-kinect-nachali-ispolzovat-dlya-obucheniya-detej.html.
12. Ryumin D.A. Automated recognition system of individual human hand gestures using the sensor Kinect. - St. Petersburg.
13. RGB-D mapping: using depth cameras for dense 3d modeling of indoor environments / P. Henry, M. Krainin, E. Herbst, X. Ren, D. Fox // Proc. of international symposium on experimental robotics (ISER), 2010, P. 15.
14. KinWrite: handwriting-based authentication using kinect / J. Tian, C. Qu, W. Xu, S. Wang // Proceedings of the 20th annual network & distributed system security symposium, NDSS 2013. - P. 18.
15. Microsoft Kinect sensor and its effect / Z. Zhang // IEEE Computer Society, vol. 19, №2, 2012 - P. 4 - 12.
