CC BY
32
ПЕДАГОГИЧЕСКИЕ НАУКИ
УДК 004.934
Н.Г. Дворина
канд. пед. наук, доцент, кафедра иностранных языков, ФГАОУ ВО «Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики», г. Санкт-Петербург Н.Н. Филатова аспирант,
кафедра интеллектуальных технологий в гуманитарной сфере, ФГАОУ ВО «Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики», г. Санкт-Петербург
К ВОПРОСУ О РАЗРАБОТКЕ И ИСПОЛЬЗОВАНИИ ИНТЕРАКТИВНОЙ КОМПЬЮТЕРНОЙ ТЕХНОЛОГИИ РАСПОЗНАВАНИЯ ЖЕСТОВ И РЕЧИ НА ПРАКТИЧЕСКИХ ЗАНЯТИЯХ ПО ИНОСТРАННОМУ ЯЗЫКУ
Аннотация. В работе рассмотрен вопрос использования контроллера Kinect как интерактивной технологии распознавания жестов и речи в обучении английскому языку. Цель работы - внедрение данной технологии в практических занятиях по иностранному языку в интерактивной форме для создания иноязычной образовательной среды в техническом вузе.
Ключевые слова: языковая среда, иностранный язык, интерактивные технологии распознавания жестов и речи, жестовый контроллер Kinect.
N.G. Dvorina, Saint-Petersburg National Research University of Information Technologies, Mechanics and Optics, Saint Petersburg
N.N. Filatova, Saint-Petersburg National Research University of Information Technologies, Mechanics and Optics, Saint Petersburg
THE QUESTION OF DEVELOPMENT AND USE OF GESTURE AND SPEECH RECOGNITION
TECHNOLOGIES IN ESL CLASSES
Abstract. The use of the Kinect controller as an interactive gesture and speech recognition technology in ESL classes is considered in this paper. The purpose of the work is the implementation of the technology in foreign language classroom in an interactive way to create a communicative educational environment in a technical university.
Keywords: communicative environment, ESL, gesture and speech recognition technology, Kinect controller.
Обучение иностранным языкам является неотъемлемой частью высшего профессионального образования в России. Современная языковая подготовка специалистов в неязыковом вузе требует особого внимания в вопросах качества сформированности компетенций, поиска и разработки эффективных методик, новых технологий. Особенно это становится актуальным на этапе повышения конкурентоспособности в мировом образовательном пространстве, развития международного сотрудничества университета в связи с интернационализацией и реализацией программ академической мобильности. Все это является достаточной предпосылкой к моделированию и созданию иноязычной образовательной среды, в условия которой студенты могут успешно применять коммуникативные умения в повседневной и профессиональной деятельности.
Вопросам изучения языковой среды, коммуникации и взаимодействия коммуникантов уделяется внимание в работах И.А. Бодуэна де Куртенэ, Г. Пауля, Л.П. Якубинского, М.Б. Гас-парова, И.А. Ореховой и других учёных. Так, Г.Г. Маслова считает, что понятия языковая среда
и языковое пространство могут быть синонимами в контексте интернационализации образования и создания языковой среды университета [1]. В.А. Козырев и В.Д. Черняк рассматривают языковую среда как речевую субкультуру при формировании лингвистических компетенций студентов высшей школы [2].
Под языковой средой мы понимаем коммуникативное пространство, в котором может реализовываться процесс общения. Важно отметить, что ввиду отсутствия погружения обучающихся в естественные языковые условия, в нашем проекте языковая среда сформирована искусственно, и отсутствие предполагаемых естественных языковых условий компенсируется педагогическими и интерактивными компьютерными технологиями. Такая языковая среда должна иметь образовательный характер. Используемые методы и подходы, приемы и средства в ней направлены на поддержание обучающего характера среды.
Интерактивные компьютерные технологии предполагают обучающее двустороннее общение между студентом и преподавателем посредством ТСО при помощи специальных программных продуктов [3]. Такой отличный от традиционный методов образовательный процесс, основанный на принципах взаимодействия, имеет свои преимущества: индивидуализация, при которой учитываются особенности личности, интересы, улучшение визуального восприятия, значительное упрощение процесса усвоения учебного материала и активизация познавательной деятельности обучаемых.
Интерактивные дидактические материалы (компьютерные игры, видео-приложения, интерактивные доски, виртуальные практические курсы и др.), давно и активно использующиеся в методике обучения иностранным языкам, не вызывают сомнений в необходимости их применения. Учебный языковой материал можно не только проиллюстрировать, но и смоделировать условия имитации реальной ситуации общения с помощью технологии распознавания жестов и речи.
Жестовые языки изначально предназначены для коммуникации глухих и слабослышащих людей. Такие языки возникли значительно позже звучащих языков и еще позже стали предметом научного изучения. Язык жестов - это невербальный способ коммуникации с помощью комбинаций жестов рук, а также сочетания мимики лица, формы глаз, губ и телодвижений. Не вызывает сомнения тот факт, что невербальные средства, наряду с вербальной речью, являются неотъемлемой частью методики обучения иностранным языкам. Исследователями Р. Бердвистеллом, Р. Мораски, А. Пиза признается значимость жестовых языков в достижения желаемого коммуникативного эффекта, его дополнении и усилении. А. Мехрабиан в своей работе отмечает процентное соотношение передаваемой информации за счет вербальных, звуковых и невербальных средств, в которых преимущество в 55% отдается жестовым языкам [4].
Технология распознавания речи - процесс преобразования речевого сигнала в цифровую информацию. Обратной задачей является синтез речи. В ходе работы рассматриваются составляющие данной технологии, технические требования, проблемы и несовершенства, которые могут возникнуть при использовании данной системы.
Изучается применение в образовании тренажерной системы с использованием камер глубин, а именно контроллера Kinect от компании Microsoft, одного из немногих жестовых контроллеров, имеющего функцию распознавания голоса. Камера глубины представляет собой сенсор, позволяющий снимать видео, в котором в каждом пикселе содержится информация о расстоянии от плоскости его местонахождения до объектовых сцен [5]. Изображения, которые воспроизводятся в видеопоследовательность при использовании контроллера Kinect, называются картами глубины [6]. По техническим характеристикам: использование жестового контроллера Kinect для распознавания речи имеет ряд преимуществ. В настоящий момент Kinect понимает четыре языка: английский, испанский, японский и французский. Отсечению звука из динамиков и снижению реверберации и шума помогает технология направленных микрофонов. В
Kinect имеются четыре микрофона, они и позволяют системе захвата определить, откуда идет звук, и отсечь шумы и реверберацию.
Вторая технология - это так называемое эхоподавление. С его помощью можно отделить звук голоса от звука динамиков. Эхоподавление - один из самых старых алгоритмов обработки сигнала. Для рассматриваемого контроллера создатели разработали алгоритм стерео-акустического эхоподавления, благодаря чему Kinect стал первым устройством, где применяется подобная технология. Более того, Kinect - первое потребительское устройство, которое способно распознавать речь с расстояния трех-четырех метров. Таким образом, использование Kinect позволяет объединить речь, жесты, графику и звук в единый интуитивный интерфейс.
Предполагается, что современная технология позволит сымитировать речевую иноязычную ситуацию и позволит открыть возможности для:
- групповой интерактивной работы;
- ведения с компьютером интерактивных свободных диалогов, развитие которых зависит от обучающегося;
- подключения к системе программных приложений, например систем распознавания образов, текста, учебных мультимедийных курсов и т.д.
Интерактивная модель «студент-компьютер-преподаватель», подразумевающая взаимодействие пользователя с программно-аппаратной системой и характеризующаяся развитыми формами ведения диалога и обмена речевыми командами, запросами и ответами, вызывает интерес у методистов с точки зрения создания коммуникативной иноязычной среды.
Проведя обзор предлагаемых сегодня программных решений с подобной технологией распознавания речи, можно отметить интерактивный курс «Tell me More» французского разработчика Auralog. Программа работает без применения жестового контроллера Kinect. Другой пример реализации интерактивной технологии с использованием Kinect и консоли Xbox 360 в образовательном модуле был экспериментально предложен компанией Microsoft в школах Южной Африки в 2011 году, в частности для формирования обучающей англоязычной среды [7].
Для реализации рассматриваемого проекта перед разработчиками ставятся следующие задачи: провести анализ и подбор необходимых компонентов технической системы для быстрого потока видео; работы в режиме реального времени, без задержки отклика системы на опознанную речь и жесты; разработать программные приложения, интерфейс для практического применения на занятиях по иностранным языкам и связать интерфейс с работой жестового контроллера. Необходимо исследовать программное обеспечение для создания более конкретного проекта, для чего использовать жестовый контроллер, установить взаимосвязь с оборудованием, разработать структуру системы интерактивного взаимодействия для обучающих систем английскому языку, закладывая в неё интуитивные жесты и голосовые команды с определенной лингвистической базой. Для этого необходимо с минимальными затратами исследовать подходящую камеру глубины.
На сегодня известно немалое количество современных разработок в сфере определения динамических жестов разного диапазона пространственного распознавания. Преимущество будет у тех, которые имеют в своем арсенале, помимо визуального восприятия жестов, ещё и функцию распознавания голоса. Для разработки удобного интерфейса следует исследовать всевозможные средства его создания, хорошо проработать структуру и вид подачи информации. Необходимо проработать вид коммуникации и используемые средства. Для лучшего захвата движения и быстрого реагирования необходимо обратить внимание на существующие методы распознавания жестов и речи, провести их анализ и выбрать наиболее подходящий результат. Также следует провести исследование по оптимизации отклика и адаптации языковых возможностей распознавания речи минимум при помощи двух языков. Для скорости реагирования необходимо исследовать и проработать алгоритм для более быстрой работы.
Одним из важнейших моментов исследования будет точность показателей системы. Технический результат будет улучшен при увеличении разнообразия языкового восприятия в распознавании речи и воспринимаемых жестов, включая одновременное восприятие крупных и мелких жестов, улучшении селективности распознавания жестов, минимизации времени, затрачиваемого на распознавание жеста и выдачу команды устройству. Не менее важным этапом исследования и разработки проекта является определение места изучаемой интерактивной формы и задач в общем языковом обучении, а также определение тех разделов учебной программы, которые могут быть реализованы в предложенной форме с достижением требуемого качества обучения. Естественно, что при решении поставленных задач в проекте должны быть учтены цели и задачи обучения, требования к качеству подготовки, временные ограничения и характеристика контингента обучаемых.
Программное компьютерное приложение, используемое во время интерактивных практических занятий, позволит максимально приблизиться к реальности имитации иноязычной ситуаций:
- обучающемуся предоставляется выбор вариантов ситуаций, что позволяет ему полностью погрузиться в языковую ситуацию;
- развитие умения адаптировать навыки применительно к каждой онкретной ситуации;
- наличие обратной связи, позволяющей обучающемуся обдумать предпринятые им языковые действия;
- получение точной информации о том, что правильно и что неправильно сделал каждый из обучающихся, а также когда он это сделал и как много это заняло времени.
Отметим, что рассматриваемая интерактивная компьютерная технология может быть использована совместно с традиционными формами обучения иностранным языкам. Также возможно ее применение в других дисциплинах, где требуется наглядная визуализация информации и непосредственное управление ею для получения необходимых выводов (например, тренажерные системы).
Список литературы:
1. Маслова Г.Г. Языковое пространство вуза как фактор эффективности академической мобильности // Вестник Псковского государственного университета. Псков: ПГУ, 2013. Вып. 3. С.177-182.
2. Козырев В.А. Языковое образование и языковая личность / В.А. Козырев, В.Д. Черняк // Вестник Герценовского университета. СПб., 2007. Вып. 1. С. 30-36.
3. Тихобаев А.Г. Интерактивные компьютерные технологии обучения // Вестник Томского государственного педагогического университета. 2012. Вып. 8. C. 81-84.
4. Mehrabian A.l. Nonverbal Communication. Aldine Transaction, 2007. P. 235.
5. Воронин В.В., Фисунов А.В., Марчук В.И., Свирин И.С., Петров С.П. Восстановление карты глубины на основе комбинированной обработки многоканального изображения // Современные проблемы науки и образования. - 2014. - № 6 [Электронный ресурс]. URL: http://www.science-education.ru/120-16360 (дата обращения: 12.06.2015).
6. Распознавание динамических жестов в системе компьютерного зрения на основе медиального представления формы изображений: автореф. дис. ... канд. техн. наук / А.В. Куракин. - М.: МФТИ, 2012. - 22 с.
7. Ташев И. «Kinect, прием», интервью электронного журнала Lenta.ru: Наука и техника. 2011. [Электронный ресурс]. Режим доступа: http://lenta.ru/articles/2011/06/15/kinvoice/ (дата обращения: 12.06.2015).
