CC BY
122
Поддержка инклюзивного обучения студентов с ограниченными возможностями по слуху на основе удаленного и компьютерного сурдоперевода
Гриф Михаил Геннадьевич профессор, д.т.н., заведующий кафедрой Автоматизированных систем управления, Новосибирский государственный технический университет, пр-т. К. Маркса, 20, г. Новосибирск, 630073, (383)3460843 grifmg@mail.ra
Мануева Юлия Сергеевна аспирант, кафедра Автоматизированных систем управления, Новосибирский государственный технический университет, пр-т. К. Маркса, 20, г. Новосибирск, 630073, (383)3460843 juleno4eknot1@rambler.ru
Аннотация
В данной работе рассмотрена проблема инклюзивного обучения слабослышащих студентов. В качестве возможного подхода рассмотрена схема удаленного сурдоперевода с привлечением человека-сурдопереводчика. Альтернативой данного решения является система компьютерного сурдоперевода. На данный момент, перевод с русского жестового языка на русский звучащий язык затруднен в связи с недостаточной проработанностью аппаратных средств распознавания жестовой речи. Рассмотрена система перевода с русского звучащего языка на русский язык жестов. Предложен новый способ построения семантического блока системы компьютерного сурдоперевода. Результатом работы системы семантического анализа является список соответствий «слово-жест». Среди множества альтернатив слов на основе алгоритма семантического анализа, за каждым словом закрепляется единственное лексическое значение. Предложен новый способ перевода на основе сопоставления синтаксических конструкций. Разработана соответствующая программа для определения синтаксических конструкций.
In this paper the problem of inclusive education hearing students is observed. Remote sign language scheme involving a human sign language interpreter is considered as a possible approach. An alternative to this solution is a system of computer sign language. Currently translation from Russian sign language to Russian-sounding language is difficult because of inadequate attention to hardware recognition sign language. The translation system from Russian-sounding language to Russian sign language is considered. A new method for constructing a semantic unit of the computer system of sign language is shown. The result of the semantic analysis system is a list of correspondence "word-gesture." Among the many alternatives to words based on semantic analysis algorithm, every word is assigned a unique lexical meaning. A new method of translation on the basis of a comparison of syntactic constructions is developed. A corresponding program to determine the syntax is constructed.
Ключевые слова
инклюзивное образование, удаленный сурдопереводчик, компьютерный сурдоперевод, семантический анализ, омонимы
inclusive education, remote sign language interpreter, computer sign language interpreter, semantic analysis, homonyms
Введение
Современная система образования нацелена на подготовку высококвалифицированных кадров, имеющих большой творческий потенциал. Для плодотворной работы в одной области необходимо знание и смежных с ней областей. Почти каждый десятый россиянин имеет проблемы со слухом, таким образом, получение высшего образования данной категорией населения затруднено в связи с отсутствием безбарьерных коммуникаций между сообществом университета и слабослышащим студентом.
В России в настоящее время большое внимание уделяется программно-аппаратным средствам поддержки инклюзивного образования лиц с ограниченными возможностями здоровья по слуху. К таким средствам относятся и системы компьютерного сурдоперевода, которые уже в ближайшей перспективе позволят успешно преодолевать существующие барьеры в коммуникации между глухими и слышащими гражданами (студентами), а также ослабить проблему нехватки переводчиков русского жестового языка [1].
В последнее десятилетие произошло увеличение числа программ, представляющих системы машинного перевода со звучащего языка на язык жестов, в частности систем перевода с английского языка на американский язык жестов.
В системе Zardoz используется интерлингва (язык-посредник) для перевода на язык жестов. Применение данной системы ограничено некоторым количеством предметных областей из-за большой трудоемкости системы. Последние разработки направлены на исследования грамматики, лексики и морфологии ирландского жестового языка [2]. Рассмотрим еще одну систему машинного перевода с английского языка на американский жестовый язык - систему TEAM. Перевод в системе TEAM разбит на два этапа. На первом этапе - перевод введенного предложения с английского языка на промежуточное представление с учетом синтаксической, грамматической и морфологической информации, на втором -отображение промежуточного представления в виде движения с небольшим набором параметров, которые в дальнейшем преобразуются для управления моделью человека, воспроизводящей жесты. Гибкость системы позволяет адаптировать ее к другим жестовым языкам [3]. Проект ViSiCAST является упрощенной системой, которая фиксирует движения и жесты человека-сурдопереводчика, а затем эти координаты рук переводчика передаются для последующего анализа для получения реалистичного аватара [4].
При рассмотрении зарубежных систем перевода были выявлены следующие особенности. Ни одна из зарубежных разработок не обрабатывает голосовую информацию. Данный недостаток является существенным для систем, нацеленных на устный перевод. Для качественного перевода недостаточно только морфологической и синтаксической информации исходного языка. Попытки внедрения семантического анализа делаются в системе Zardoz. Привлечение человека для перевода (система ViSiCAST) так же является недостатком такого род систем. Кроме того, основным недостатком рассмотренных выше систем является отсутствие учета семантической составляющей как звучащего, так и жестового языка. Учет семантической составляющей в процессе перевода является большим преимуществом системы, обладающей таким свойством. Качество перевода за счет этого заметно повышается. Поэтому, для достижения наилучшего результата необходимо учитывать особенности семантики исходного языка и языка перевода.
В рамках концепции инклюзивного образования в России система компьютерного сурдоперевода должна включать в себя модуль семантического анализа и модуль перевода на жестовый язык, в котором будут учитываться его особенности.
Инклюзивное обучение студентов с ограниченными возможностями по слуху
Переосмысление обществом и государством отношения к лицам с ограниченными возможностями здоровья и инвалидам, признание их прав на предоставление равных с другими возможностей в разных областях жизни, включая образование, привели к активному развитию инклюзивных форм обучения, воспитания и реабилитации данной категории граждан на всех уровнях и ступенях образования [1]. В Федеральном законе Российской Федерации от 29 декабря 2012 г. N 273-ФЗ "Об образовании в Российской Федерации" инклюзивное образование определяется как обеспечение равного доступа к образованию для всех обучающихся с учетом разнообразия особых образовательных потребностей и индивидуальных возможностей [5]. В соответствии с данным законом лицо с ограниченными возможностями здоровья получает возможность обучения в обычной группе студентов. Для включения в учебный процесс инвалидов необходимо учитывать их психологические и физические возможности. Для каждого вида ограничения деятельности (нарушение слуха, нарушения зрения, умственная отсталость и нарушения опорно-двигательного аппарата) предполагается собственный подход для получения высшего образования наравне с обычными студентами.
Выделим основные особенности слабослышащих студентов при обучении в высшем учебном заведении:
- поражение слуха приводит к значительному ограничению общения с окружающими;
- существует отличие в темпах психического развития [1].
В настоящий момент существует язык жестов, специальные школы, различные объединения для реабилитации слабослышащих людей. Язык жестов - это способ коммуникации, в котором информация передается за счет движения рук, тела, мимики. Несмотря на то, что жестовые языки задействуют не звуковой, а визуально-кинетический канал передачи информации, по своим фундаментальным свойствам они схожи со звучащими языками, что позволяет причислять их к естественным человеческим языкам и анализировать, используя методы и понятия, разработанные на материале звучащих языков [6]. В повседневной жизни жесты применяются каждым, но особое значение имеют для слабослышащих людей. Инвалиды по слуху общаются посредством языка жестов.
В образовательном процессе слабослышащих студентов неотъемлемой частью является привлечение сурдопереводчика (переводчика жестового языка). До внедрения инклюзивного образования сурдопереводчик был решением проблемы коммуникации студентов с ограниченными возможностями по слуху и преподавателей. На данный момент слабослышащий студент имеет возможность обучения со студентами, не имеющих проблем со слухом. Очевидным решением возникшей проблемы является привлечение того же сурдопереводчика. На первый взгляд наилучшим решением является сурдопереводчик-ассистент преподавателя. Таким образом, у каждого преподавателя на занятии должен находиться сурдопереводчик. Но здесь возникает существенная проблема: например, количество преподавателей в Новосибирском государственном университете насчитывает около 1750 человек, а количество сурдопереводчиков в штате университета составляет
только 8 человек [7]. Можно выделить три основных подхода в организации образовательного процесса у студентов с особыми потребностями.
Первый подход представляет собой обучение в специализированных образовательных учреждениях. Примером данного подхода является Институт социальных технологий и реабилитации Новосибирского государственного технического университета, который был основан в 1992 году как специализированное образовательное учреждение, проводящее обучение студентов с ограниченными возможностями здоровья. На данный момент в институте проходят обучение около 300 студентов из различных регионов России [8, 9]. Для студентов и членов их семей в течение всей учебы реализуется комплексная программа педагогической, медицинской, социальной, слухоречевой и психологической реабилитации и правовой поддержки.
Ко второму способу отнесем технологии дистанционного обучения. Технологии дистанционного обучения, получившие особую популярность и распространение в XXI веке, имеют целый ряд преимуществ:
- технология дистанционного образования позволяет получить образование практически в любом образовательном учреждении;
- возможность получения дистанционного образования не зависит от состояния здоровья;
- дистанционное образование можно получать в удобное для обучающегося время;
- как правило, режим обучения определяет получающий образование (есть контрольные сроки);
- можно сразу задавать возникающие вопросы преподавателю.
Все вышеупомянутые преимущества определяют особую ценность использования дистанционных технологий в инклюзивном образовании [10]. Для взаимодействия студента и преподавателя применяется система удаленного сурдоперевода.
Данная система должна предоставлять глухому студенту возможность воспринимать голосовую информацию, исходящую от преподавателя, а также любого слышащего студента или сотрудника вуза. Глухой студент должен носить с собой смартфон с программой взаимодействия с удаленным сурдопереводчиком. Должна быть оборудована диспетчерская комната с соответствующим компьютерным оборудованием, в которой находится переводчик русского жестового языка, а также сервер с необходимым программным обеспечением.
Данную разработку можно использовать для адаптации учебных материалов (видеофильмов, текстовой информации).
Программа перевода может работать в двух режимах:
- для учебных видеофильмов в автоматическом режиме подготавливать субтитры и компьютерный перевод русской речи (преподавателя) на русский жестовый язык. В результате слабослышащий студент сможет пользоваться теми же учебными материалами, что и слышащий;
- для интересующего глухого студента участка текста, осуществлять его компьютерный сурдоперевод на русский жестовый язык.
Чтобы реализовать данный проект, надо выполнить ряд мероприятий. Во-первых, для оборудования диспетчерской комнаты (центра) необходимо покрытие стен звукоизоляционными материалами, а также оснащение двух рабочих мест диспетчеров-сурдопереводчиков и одного рабочего места оператора диспетчерского центра.
Во-вторых, создание программной системы удаленной видеосвязи глухого студента с профессиональными сурдопереводчиками, находящимися в диспетчерском центре. Приложение предоставляется в виде мобильного приложения и в виде программы на персональный компьютер.
В-третьих, модернизация компьютерного и мультимедийного оборудования терминального класса для слабослышащих студентов. Она включает в себя приобретение мультимедийных ПК ЭВМ, проектора, принтера и телевизионной панели.
В-четвертых, для студентов приобретаются планшетные компьютеры. Планшетные компьютеры являются мобильным устройством глухого студента для связи с диспетчерским центром и для осуществления коммуникаций со слышащими в образовательном процессе и за его пределами (поликлиника, столовая и т.д.). Схема работы системы удаленного сурдопереводчика представлена на рисунке 1.
К г > Планшет Сурдопереводчик Планшет
Запрос у Запрос у Результат У
1/
Рис. 1. Схема работы удаленного сурдопереводчика
Удаленный перевод имеет ряд преимуществ и недостатков. К преимуществам можно отнести:
- высокое качество перевода;
- возможность обращения за помощью к сурдопереводчику не только во время учебного процесса, но и вне его.
Количество сурдопереводчиков часто ограничено. Для бесперебойной работы программы необходимо достаточное количество сурдопереводчиков. Активное участие человека в работе удаленного сурдопереводчика является главным недостатком данной системы. Кроме того, требуются значительные финансовые вложения не только в программную часть, но и в аппаратную.
Данного недостатка лишена система компьютерного сурдоперевода с русского звучащего языка на русский язык жестов и наоборот. В роле переводчика в данном случае выступает программа компьютерного сурдоперевода (рис. 2), которую более подробно рассмотрим в следующем параграфе.
Запрос
Планшет
Результат
Рис. 2. Схема работы компьютерного сурдопереводчика
Реализация технологии компьютерного сурдоперевода
Система компьютерного перевода состоит из двух взаимосвязанных систем прямого и обратного перевода [11]. Начнем рассмотрение системы с особенностей перевода с русского жестового языка на звучащий русский язык. Основная проблема в переводе с жестовой речи на звучащую заключается в проблеме распознавания жестовой речи. Для грамотного анализа распознавания отдельных жестов недостаточно, необходимо распознать именно жестовую речь, динамику смены жестов для корректной передачи смысла предложения. Для распознавания жестов выделяются две группы устройств: устройства, основанные на видеоданных и устройства, которые используют акселерометр, магнетометр, гироскоп.
Одним из примеров удачного технического решения является камера от компании Creative. Она содержит встроенную RGB и инфракрасную камеры [9]. Фирма Microsoft разработала бесконтактный контроллер Kinect: RGB сенсор, инфракрасный излучатель и ИК сенсор. Устройство предназначено для работы на 1.8-3 метра, что в 3 раза больше дальности работы разработки от Creative. Кроме этого Creative больше подходит для распознавания жестов, идентификации и трэкинга объектов, рук, лица, их синтеза, распознавания голоса, в то время как Kinect направлен на распознавание жестов и контура тела [12]. Третий представитель данной группы Leap Motion - компактное устройство с двумя камерами Monochromatic IR cameras и тремя Infrared LEDs. Точность распознавания пальцев рук составляет до 1/100 миллиметра. Система LeapMotion нашла свое применение в очках виртуальной реальности Oculus Rift (рис. 3).
Рис. 3. Очки виртуальной реальности OculusRift и контроллер LeapMotion
Устройства второй группы на данный момент применяются только для человеко-компьютерного взаимодействия. Прототипы таких систем, которые можно было применять для сурдоперевода, только начинают появляться на рынке. Они производятся в виде перчаток, колец, браслетов, содержащих датчики. Разработчики таких устройств на данном этапе занимаются привлечением средств в свои разработки.
Устройством, которое может решить проблему распознавания движения, является браслет MYO компании Thalmic Labs (рис. 4). Его главная особенность -наличие специального датчика, получающего данные с помощью обработки электрических импульсов в мышцах двигающейся руки. Устройство настроено не учитывать случайные движения [13].
Рис. 4. Браслет MYO компании Thalmic Labs
На текущий момент единое устройство, распознающее жестовую речь, еще не разработано. Для достижения наилучшего эффекта необходимо использовать набор существующих устройств.
В настоящее время наибольший интерес представляет система перевода с русского звучащего языка на язык жестов. Трехчленная модель, предложенная З.М.Шаляпиной, лежит в основе современных систем перевода [14]. Данная модель состоит из трех подсистем: анализ исходного текста, анализ межъязыковых преобразований и синтез жестовой речи.
Компьютерный переводчик также должен обеспечивать:
- загрузку текста;
- визуализацию результатов перевода;
- возможность изменения структуры системы (расширение, изменение словарей) [8].
Система компьютерного сурдоперевода состоит из четырех подсистем [11].
- Системы распознавания русского звучащего языка, основанной на разработке по распознаванию голоса компании Google.
- Системы анализа русского текста, включающего морфологический, синтаксический и семантический анализ. Данный модуль опирается на свободно распространяемые коды (система Диалинг) [15].
- Системы преобразования синтаксических конструкций русского языка на русский язык жестов [16].
- Системы отображения русского жестового языка. Существует два варианта реализации визуализации жестовой речи: фотосъемка модели, демонстрирующей определенные жесты, и сохранение их в базе данных системы; создание для демонстрации жестов виртуального персонажа [17].
На этапе распознавания речи для последующего анализа была получена текстовая строка. На этапах морфологического и синтаксического анализа определяется набор необходимых морфологических и синтаксических характеристик (рис. 5).
Рис. 5. Мофрологический и синтаксический анализ
Для повышения качества перевода была разработана система семантического анализа. Смысл единицы русского языка зависит от ее соотношения с остальными единицами языка и от ее лексической и синтаксической сочетаемости с ними [14]. Проблема разрешения лексической неоднозначности является одной из приоритетных проблем в процессе перевода с одного языка на другой, ведь от правильной работы семантического модуля зависит смысл всего текста. Особый интерес в данном вопросе представляют омонимы и фразеологизмы.
Цель семантического анализа состоит в закреплении значений слов в предложении. Для достижения данной цели необходимо разрешить лексическую многозначность (омонимию). Наиболее ярким примером омонимов можно назвать существительное «коса», которое имеет различные значения, определяемые контекстом, например, русая коса, береговая коса, железная коса [18]. На жестовом языке одному многозначному слову на русском языке соответствует 3 различных
жеста [19]. Поэтому при использовании сурдопереводчика в образовательном процессе необходимо правильно передавать смысл речи преподавателя.
Для определения значений слов применяется словарь В.А.Тузова [20]. Модуль семантического анализа начинает свою работу после выполнения морфологического и синтаксического анализа. Входная информация представляет собой текстовую строку, полученную на этапе распознавания речи. Первый этап основан на работе системы «Русско-английского машинного перевода Диалинг». Результатом работы являются: начальные формы каждого слова, набор морфологических характеристик и семантические отношения. В системе Диалинг семантическое отношение определяется как универсальная связь, которая усматривается носителем языка в конкретном контексте. Основная идея списка отношений заключается в том, что связи в тексте можно определить через предложенные отношения или через их композицию. Большинство существующих семантических отношений считаются универсальными [15]. Семантические отношения в дальнейшем будут использоваться для определения значений слов.
В работе В.А.Тузова «Компьютерная семантика русского языка» каждое слово состоит из набора характеристик: номер класса, базисная лексема, семантическое описание, морфологическое описание и комментарий. Основная семантическая информация содержится в номере класса, обозначающем принадлежность к той или иной семантической группе [20].
Словарная статья компьютерного семантического словаря содержит заголовочное слово и его толкование на семантическом языке. Большинство слов словаря имеют несколько семантических описаний. В данном словаре предлоги являются частью речи, значение единиц которой может содержать более двухсот значений. В отдельные значения вынесены фразеологические обороты. Например, глагол «идти» имеет 25 словарных статей. Из них 12 значений относятся к фразеологическим оборотам: идти вразрез, впрок, на поправку, ва-банк, замуж и другие. Основная семантическая информация содержится в номере класса, но кроме этого может содержаться и дополнительная информация. На основе семантического словаря была разработана база данных. Логическая структура базы данных состоит из тринадцати взаимосвязанных таблиц. К основным таблицам отнесем: таблицу «Словарные статьи», таблицу «Семантические описания», таблицу «Слова», таблицу «Жесты», таблицу «Фразеологизмы». Таблица «Словарные статьи» насчитывает 163903 записи.
Алгоритм семантического анализа состоит из следующих этапов:
- выделение списка альтернативных лексических значений;
- обработка фразеологизмов;
- обработка предлогов;
- закрепление лексических значений;
- поиск соответствующих жестов.
Основная задача семантического анализа - построение списка независимых альтернатив и вычисление семантико-грамматического типа каждой альтернативы, входящей в описание. Эти преобразования выполняются в несколько этапов. На первом этапе происходит поиск всех альтернативных значений для каждого слова в предложении (рис. 6).
Рис. 6. Поиск альтернатив
На втором этапе выполняется следующая вспомогательная работа: нумеруются и идентифицируются все альтернативы каждого слова, выносится номер семантического класса слова, из семантического описания выносятся все аргументы. Построенное описание состоит из набора альтернатив, каждая из которых содержит две основные части: морфологическую с указанием семантического класса слова и семантическую. Первая часть альтернативы содержит информацию о том, к каким словам может присоединиться данное слово, вторая часть - какие слова оно может присоединить. При сборке во взаимодействие вступают две рядом стоящие конструкции.
Следующий этап работы семантического модуля заключается в обработке фразеологизмов. В семантическом словаре фразеологизмы определены в отдельные альтернативы. Поэтому они обрабатываются в первую очередь, чтобы в дальнейшем уменьшить количество проверяемых значений.
Процесс обработки предлогов состоит из двух этапов. Сначала осуществляется поиск предложно-падежных сочетаний. Правильный выбор семантического описания предлога зависти от связанного с ним существительного. В итоге получаем, что каждому предлогу соответствует единственное семантическое описание.
Дальнейшие действия анализатора зависят от вида предложения. Выделим два вида предложений: первый - предложения, в составе которых только одно слово имеет несколько альтернатив, второй - в предложении таких слов несколько. В первом случае цикл отсутствует, и анализируется только одно слово. Анализ зависит от части речи многозначного слова. На текущий момент проводится анализ глаголов, имен существительных, имен прилагательных, инфинитивов, причастий, деепричастий, наречий. Алгоритмы в каждом случае различны. Например, алгоритм обработки имени существительного состоит из следующих шагов:
- определяется список всех альтернатив обрабатываемого слова посредством обращения к словарю;
- делается заключение - является ли данное слово главным или зависимым в словосочетании;
- на основе словосочетаний, построенных на предыдущих этапах, определяется часть речи второго слова;
- выполняется обработка словосочетания в зависимости от части речи второго слова. В данном случае будет выполняться один из пяти алгоритмов анализа;
- в результате работы алгоритма остается одно значение имени существительного.
Результатом работы системы семантического анализа является соответствие «слово-жест». Разработан программный комплекс, позволяющий выполнять семантический анализ предложений (рис. 7).
Рис. 7. Система семантического анализа
После определения списка соответствующих жестов для визуализации жестового языка выполним необходимые преобразования. На данном этапе будем опираться на полученные ранее результаты лингвистического исследования русского жестового языка в части особенностей лексики, словообразования, морфологии, синтаксиса и семантики жестового языка [20] глухих и слабослышащих граждан Российской Федерации, которые используются при разработке компьютерного сурдопереводчика русского языка. Цель описываемых синтактико-семантических преобразований - упрощение текста русского языка за счёт разбиения предложений, представляющих сложные ситуации, на последовательности более простых предложений. За счет упрощения достигается уменьшение применения дактильной азбуки и увеличение частоты применения конкретного жеста в процессе перевода. Единицей, над которой осуществляются преобразования, является предложение, содержащее полное причастие.
В результате применения каждого правила преобразования исходное предложение разбивается на две части, оформляемые далее в виде предложений и каждое из которых обозначает меньшее число ситуаций.
В ходе преобразования исходное предложение не просто механически разделяется на две части, а подвергается определённым дополнительным модификациям. В частности, причастие заменяется соответствующим глаголом. Для указания на идентичность упоминаемых объектов вводятся местоимения.
Разработан набор правил, которые могут заменять или устранять некоторые части исходного текста, а также изменять порядок следования некоторых частей текста. Общее условие применимости: правила данного типа применимы только в том случае, если в результате предшествующего (морфологического и синтаксического) анализа выделена группа - полное причастие. Данный тип правил представлен шестью вариантами (два правила для причастий действительного залога и четыре правила для причастий страдательного залога). Например, в результате применения правила предложение «Плеск дождевых капель, ниспадавших на его кипящую поверхность, далеко относил гул» будет разделено на два более простых: [дождевые капли ниспадали на его поверхность] [плеск этих капель далеко относил гул].
Нужно заметить, что возможен и перевод на основе базового порядка следования жестов в предложении. Рассмотрим программу компьютерного сурдоперевода русского текста на письменный разговорный русский жестовый язык. Произвольный русский текст (предложение) вводится в программу и подвергается морфологическому, синтаксическому и семантическому анализу. Затем формируется стандартная схема предложения на разговорном русском жестовом языке: подлежащее, определение, обстоятельство, сказуемое, дополнение.
Данная схема последовательно применяется для простых высказываний. Если слову в предложении можно поставить жест, то оно заменяется на гамбургскую систему нотаций для данного жеста. Если нет - то переводится дактильной азбукой в данной системе нотаций. Для снятия многозначности показа жеста используется база онтологий. Проводится анализ на возможность параллельного показа высказываний.
Заключение
В данной работе рассмотрена проблема инклюзивного обучения слабослышащего студента в системе высшего профессионального образования. В качестве решения данной проблемы предложена система удаленного и компьютерного сурдоперевода. На данный момент перевод с русского жестового языка на русский звучащий язык затруднен в связи с недостаточной проработанностью аппаратных средств распознавания жестовой речи. Рассмотрена система перевода с русского звучащего языка на русский язык жестов. Предложен новый способ построения семантического блока системы компьютерного сурдоперевода. Результатом работы системы семантического анализа является список соответствий «слово-жест». Среди множества альтернатив слов на основе алгоритма семантического анализа, за каждым словом закрепляется единственное лексическое значение. Для простых предложений разработаны и реализованы алгоритмы семантического анализа. К наиболее приоритетным направлениям модификации модуля семантического анализа можно отнести следующие: расширение базы жестов, осуществление разбора сложных предложений, добавление учета в алгоритме анализа специфики русского жестового языка. Предложен новый способ перевода на основе сопоставления синтаксических конструкций. Разработана соответствующая программа для определения синтаксических конструкций. В будущем планируется внедрить разработанные технологии в систему «Сурдофон» для обучения студентов с ограниченными возможностями по слуху.
С 2011 года на разработку системы компьютерного сурдоперевода затрачено порядка 10 миллионов рублей. На данный момент программа компьютерного сурдоперевода является бесплатной. Стоимость внедрения для удаленного сурдоперевода составляет около 800 тысяч рублей: покупка программного обеспечения 300 тысяч рублей и 500 тысяч на оборудование диспетчерской.
Литература
1. Гриф М.Г. Особенности использования систем компьютерного сурдоперевода в инклюзивном образовании лиц с нарушением слуха: учебное пособие /М.Г. Гриф, О.О. Королькова, Г.С. Пушкин, Е.В. Траулько. - Новосибирск: Изд-во НГТУ, 2014. - 69 с.
2. Andre E., The generation of multimedia presentations, in A Handbook of Natural Language Processing: Techniques and Applications for the Processing of Language. -Marcel Dekker. - 2000. - 327 p.
3. Foster M. E., White M., Setzer A. Multimodal generation in the COMIC dialogue system // Proceedings of the ACL Interactive Poster and Demonstration Sessions (12-14 June 2005). - Association for Computational Linguistics, 2005. - P. 40-48.
4. Kopp S., Tepper P., Cassell J. Towards integrated microplanning of language and iconic gesture for multimodal output // 6th International conference on Multimodal interfaces (6-9 Augast 2004). - State College, USA, 2004. - P. 136-144.
5. Правовые новости. Специальный выпуск "Комментарий к Федеральному закону от 29.12.2012 N 273-Ф3 "Об образовании в Российской Федерации". URL:
http://www.consultant.ru/law/review/fed/nw2013-05-15.html?utm campaign=popular& utm source=google.adwords&utm medium=cpc&utm content=law review dynamic& gclid=CiwKEAiww903BRDp1tq0iIP023YSJAB0-i1SH4dozMsmh1 Jg1FodVFg0RBzrCvxgFQBEwIth6i-khoChczw wcB (дата обращения: 10.03.16).
6. Прозорова Е. В. Российский жестовый язык как предмет лингвистического исследования // Вопросы языкознания. - 2007. - № 1. - С. 44-61.
7. Отдел специальных технологий обучения и реабилитации ИСТР (ОСТОиР ИСТР). URL: http://www.nstu.ru/phone/object?request0bject=126541 (дата обращения: 05.03.16).
8. Птушкин Г.С, Траулько Е.В. Условия качественной профессиональной подготовки студентов-инвалидов // Среднее профессиональное образование. -2008. - № 6. - С. 15-20.
9. Траулько Е.В. Особенности организации реабилитационно-образовательного процесса при освоении профессиональных образовательных программ студентами-инвалидами // Сб. матер. научно-практ. конф. с междун. участием «Современные формы организации и эффективные технологии обучения и реабилитации людей с ограниченными возможностями здоровья и инвалидов» (Новосибирск, 17-20 октября 2012г.). - Новосибирск: Изд-во НГТУ, 2012. - С. 5961.
10. Королькова О.О. Использование информационно-коммуникационных технологий в инклюзивном образовании детей с ограниченными возможностями по слуху // XXVI междунар. научно-практич. конф. для студентов, аспирантов и молодых ученых «Теоретические и практические исследования психологии и педагогики» (Москва, 27 сент. 2014 г.) - М.: Московский научный центр психологии и педагогики, 2014. - С. 69-72.
11. Гриф М.Г. Лексические и грамматические аспекты разработки компьютерного сурдопереводчика русского языка: монография / М.Г. Гриф, О.О. Королькова, Л.Г. Панин, М.К. Тимофеева, Е.Б. Цой. Новосибирск: Изд-во НГТУ, 2013. - 292 с.
12. Гриф М.Г., Козлов А.Н. Сравнительный анализ программно-аппаратных средств в задачах распознавания жестовой речи // Сборник трудов НГТУ. - Новосибирск, 2014. - С. 63-72.
13. Браслет MYO и мир Будущего. URL: http://www.3dnews.ru/645483 (дата обращения: 20.10.2014).
14. Шаляпина З.М. К проблеме построения формальной модели процесса перевода // Материалы всесоюзной научной конф. «Теория перевода и научные основы подготовки переводчиков». - Ч. 2. - М.: МГПИИЯ им. М. Тореза, 1975. - С. 165172.
15. Сокирко А. Семантические словари в автоматической обработке текста (по материалам системы Диалинг) : дис. канд. техн. наук. - М., 2000. - 108 c.
16. Grif M.G., Demyanenko Y.A., Korolkova O.O., Tsoy Y.B. Development of Computer Sign Language Translation Technology for Deaf People // Proc. of The 6th Internation Forum of Strategic Tech-nology IFOST 2011 (Harbin Univ. of Science and Technology, 22-24 August, 2011). - PР. 674-677.
17. Гриф М.Г. Методы и технологии компьютерного сурдоперевода: учебное пособие. - Новосибирск: НГТУ, 2012. - 71с.
18. Ахманова О.С. Словарь омонимов русского языка. М: Советская энциклопедия, 1974. - 451с.
19. Королькова О.О. Особенности словообразования русского жестового языка// Современная лингвистика и межкультурная коммуникация: монография // О.А.Березина, Е.Н. Грушецкая, Т.В.Ицкович [и др.]. Красноярск: Научно-инновационный центр, 2012. - С. 98-152.
20. Тузов В.А. Компьютерная семантика русского языка: учебное пособие - СПб: СпбГУ, 2003. - 391с.
