CC BY
1484
Речевые технологии развития общения у детей с отсутствием речи
Ана Медина Регера, PhD, Университет Пабло де Олавиде, кафедра письменного и устного перевода, Ctra. de Utrera, 1, 41013 Севилья - Испания [email protected]
В данной работе представлены некоторые речевые и коммуникативные технологии, которые меняют качество жизни детей с отсутствием речи, таких, как дети с церебральным параличом и сопутствующими заболеваниями. В частности, мы обращаемся к технологическим достижениям, связанным с программным обеспечением аугмента-тивных и альтернативных систем связи (SAAC), которые позволяют улучшить лингвистическую конфигурацию пиктографических систем. Кроме того, были усовершенствованы способы доступа к этим системам, такие как считыватели глаз и интерфейсы «мозг-компьютер». Из обеих групп мы укажем аспекты использования технологий искусственного интеллекта, ответственных за непосредственное улучшение выразительных возможностей пользователей SAAC: с одной стороны, сочетание пиктограмм и лингвистического предсказания на виртуальных клавиатурах; с другой — технологии искусственного интеллекта, которые позволяют улучшать математические модели доступа, с использованием компьютера. Дополнение и развитие темы будет продолжено в исследовании по проекту «Capaces de Comunicar», финансируемом Испанским фондом науки и технологий Министерства науки и инноваций Испании.
• аугментативные и альтернативные системы • дети с отсутствием речи • технологии искусственного интеллекта
ВВЕДЕНИЕ
Речевые технологии охватывают самые разные области работы и применения. Можно сказать, что это набор методов, которые позволяют взаимодействовать людям и машинам с участием голоса и применением языковых технологий, которые также включают автоматическую обработку письменного языка (саммаризацию, генерирование), например автоматическую речь, распознавание, преобразование текста в речь (синтез, см. Taylor 2009) и диалоговые системы, способные общаться с пользователями-людьми. В области здравоохранения, в клиническом применении, выделяется голосовая биометрия, которая анализирует голоса
людей, выявляя характеристики своеобразных голосов или определённых существующих или потенциальных речевых и языковых расстройств (Fernández Garcia, 2021). Эти технологии сочетают в себе методы обработки сигналов, искусственный интеллект и компьютерную лингвистику. Искусственные нейронные сети и глубокое обучение (Graves, Mohamed, and Hinton, 2013) быстро улучшают вышеперечисленные подходы. Так обстоит дело с программным обеспечением для дополнительной и альтернативной связи (AAC), которое имеет всё более совершенные модули синтеза речи. Средства голосового вывода (VOCA, также SGD: устройства, генерирующие речь) представляют собой высокотехнологичные устройства AAC, которые воспроизводят речь для человека, который не может общаться устно из-за болезни или инвалидности. Устройства воспроизводят оцифрованный или синтетический голос. В случае с оцифрованным голосом запись предварительно записана и воспроизводится, и используется в ряде случаев в низкотехнологичных устройствах (простых коммуникаторах типа Smooth Talker, BigMack или Step by Step). Синтезированные голоса, с другой стороны, основаны на технологиях преобразования текста в речь и заменяют естественный голос человека наиболее естественным образом.
Для испанского выделяются голосовые технологии Acapela, Loquendo или Microsoft. AAC — это одновременно область исследований и набор клинических и образовательных стратегий и практик (Mirenda, 2013), которые компенсируют отсутствие естественной речи другими механизмами, такими как жесты, символы и технологические устройства. AAC используется, когда речи или языка недостаточно для удовлетворения потребностей людей в устном общении (Beukelmann & Light, 2020). Пиктографические и письменные системы заменяют естественную речь, а также поддерживают развитие речи у детей с трудностями в понимании и эмоциональной регуляции. Хотя AAC традиционно использовался у людей с физическими ограничениями без связанных с ними умственных нарушений, в настоящее время известно, что он полезен для всех с серьёзными коммуникативными трудностями, включая людей с умственной отсталостью любого диагноза (Schlosser, 2003). Эффективность была показана у людей с синдромом Ангельмана., TEA1 (Schlosser & Blischak, 2001) синдром Дауна и другие.
Речевые технологии для людей с отсутствием речи в Испании представлены очень мало, и вряд ли найдутся терапевты, неврологи, логопеды или учителя, которые знают, как их внедрить. Усилия Барселонского университета выделяются тем, что соответствующий центр взаимодействует с факультетом психологии, на котором есть подразделение под названием UTAC2 для Каталонии, а также благодаря усилиям Министерства социальных дел через CEAPAT-Imserso, у которого есть база данных с информацией о CAA и вспомогательных продуктах3. Из недавних разработок выделяется ассоциация AlfaSAAC, которая создала информационный веб-портал с возможностями обучения и консультаций, использования материалов, библиографии и т. д.
Университет Пабло де Олавиде разработал проект «Capaces de Comunicar», финансируемый Испанским фондом науки и технологий, в рамках проекта по распространению и передаче знаний для повышения образовательного уровня населения в области науки и техники. Проект состоит из двенадцати видеоинтервью с пользователями
1 Véase en ruso https://www.rus-aac.ru/post/альтернативная-и-дополнительная-коммуника-ция-в-работе-с-детьми-с-рас
2 www.utac.cat
3 Véase https://ceapat.imserso.es/ceapat_01/redes/com_aa/index.htm
85
86
и экспертами как из Испании, так и из-за рубежа, а также заключительного круглого стола. С помощью вопросов и ответов интервьюируемые рассказывают о своем опыте из различных областей: собственный опыт (Брэдли Хевен и Кэтрин Лемлер), методология (Майкл Кларк и Йенс Бениш), восприятие читателей (Хуан Хосе Берналь и Ройден Джеймс), особенности мозга и компьютерный интерфейс (Хосе Андрес Гонсалес и Виктор Мартинес), ассоциации и фонды (Морис Гринберг), синтез голоса (Инмакулада Эрнаес), дизайн пиктограмм (Серхио Палао и Аннет Китцингер), предпринимательство в области вспомогательных технологий (Хавьер Монтанер). Все материалы находятся в открытом доступе на сайте проекта4.
В данной работе мы освещаем новейшие технологии, которые оказывают реальное влияние на аугментативное общение в детстве. Во-первых, мы остановимся на компьютерных приложениях и технических критериях, позволяющих оценить одни варианты по сравнению с другими; во-вторых, ридеры как средство общения и доступа к компьютеру; в-третьих, некоторые будущие приложения взаимодействия человека и машины и, наконец, последние методологические достижения, направленные на развитие детской речи.
1. ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ И ПРИЛОЖЕНИЯ
Бумажные коммуникационные доски (см. рисунок 1) постепенно заменяются современным коммуникационным программным обеспечением, содержащим полные пиктографические словари, доступ к клавиатурам с лингвистическим предсказанием и многочисленными вариантами доступа к ним.
Рис. 1. SAAC, подготовленный непосредственно на бумаге
без
технической поддержки
5
La web del proyecto es https://www.upo.es/investiga/capacesdecomunicar/
Fuente de la imagen: Creena. Centro de Recursos de Educación Especial de Navarra. https://creena.educacion.navarra.es/web/necesidades-educativas-especiales/equipo-motoricos/respuesta-educativa-motoricos/saac/8853-2/
Рис. 2. Коммуникатор, распечатанный с помощью программного обеспечения
CAA Grid3
Печатная версия по-прежнему необходима для повседневных ситуаций, в которых нет возможности использовать технику (в ванной, бассейне, во время сеанса физиотерапии или в постели, а также в случае поломки), но теперь мы рассматриваем печатную версию как вторичную версии технологической, то есть содержимое электронного коммуникатора печатается (обе версии одинаковы в случае пиктографических систем). На рис. 2 показана печатная версия программного обеспечения для коммуникации. В то время как для данного ПО традиционно требовалась операционная система Windows, теперь существует мобильный формат в так называемом конвертируемом виде или «два в одном» (то есть ноутбуки в формате планшета, такие как Microsoft Surface), в последние годы его также можно использовать в операционной системе IOS, особенно в iPad, а также в приложениях Android. В Испании для людей, не обладающих навыками компьютерной грамотности и нуждающихся в изучении символической коммуникации, комбинируется коммерческое ПО, особенно Grid3, Proloquo2Go, TDSnap и Verbo, с другим бесплатным ПО, таким как Plaphoons, Jocomunico и LetmeTalk, Symbolotalk. Между ними существуют заметные различия, поэтому некоторые авторы говорят
87
о таких критериях, как надёжность системы связи. Существует консенсус в отношении того, что система является надёжной, если она позволяет генерировать все коммуникативные функции, включает все классы грамматических и лексических слов, когда она имеет доступ к виртуальной клавиатуре, позволяет вводить формулы вежливости и ритуальные формулы и, самое главное, когда позволяет моторная автоматизация (motor аutomation), то есть размещение пиктограмм в ячейках, которые всегда находятся в одном и том же месте, и навигация между экранами стабильная, то есть с маршрутами, которые пользователь может научиться объединять, чтобы составлять предложения с суммой нескольких ячеек (Beukelman and Light, 2020). Это большое отличие от системы PECS, основанной на обмене пиктограммами без фиксированного положения и без технической поддержки. PECS была разработана в США в 1985 году Бонди и Фростом для учащихся с РАС, и сегодня предполагается, что многие учащиеся могут перейти с этой системы на устройство, генерирующее голос, о чём можно прочитать на сайте испанской компании, которая продаёт данную систему.6
©-эх
h &
Дом Описание Мнение ? • Помощь ? • Вопросы lit Школа О
Еда Напитки Одежда Лк Цвета Количество ш Люди о
$ Тело V Чувства С Врем 5 \ Кухонные принадлежности Abed Слова -J f Занятия в
fk Местоимения =? Действия 1 l: j АЬ Короткие cd НИ ..in.. Положение ©I Новости > 1 Ещё в
Рис. 4. Один из вариантов главного экрана Grid3, основанный на символах виджета
Настройки для разных приложений также различаются в зависимости от того, как люди получают доступ к устройству. Одной из новейших характеристик компьютера является использование грамматического модуля: пользователь после нажатия на личное местоимение автоматически получает возможность спрягать пиктограмму глагола. Спряжение и времена глаголов, множественное или единственное число существительных и род прилагательных являются наиболее полезными морфосинтаксическими элементами для испанского языка.
88
https://pecs-spain.com/el-sistema-de-comunicacion-por-el-intercambio-de-imagenes-pecs/
6
Синтаксические правила обеспечивают более естественный расширенный ввод в средствах выражения пользователей и их собеседников.
Наконец, одним из критериев надёжного коммуникационного программного обеспечения является то, что оно может со временем увеличивать словарный запас. Для учащихся с двигательными нарушениями важен размер ячеек (первый ряд изображения 5), помимо моторной автоматизации (чтобы пиктограммы оставались в одном и том же положении). Учащиеся с когнитивными нарушениями получают доступ на ощупь (пальцем), наилучшей формой роста является та, которая позволяет открывать новые клетки по мере изучения словарного запаса (вторая строка изображения 5).
Рис. 5. Две разные организации расширения словарного запаса в программном
обеспечении TDSnap
Результаты некоторых приложений представлены в следующей таблице.
Таблица 1
Сравнение некоторых программ САА
Grid3 Proloquo2Go Plaphoons LetMe Talk TDSnap
Включает словарный запас, организованный в семантические категории Да Да Нет Нет Да
Возможность скрыть ячейки Да Да Нет Нет Да
Модуль спряжения и грамматики Да Да Нет Нет Да
Клавиатура Да Да Да Нет Да
Сенсорный доступ Да Да Да Да Да
Переключить доступ Да Да Да Да Да
Взгляд - доступ Да Нет Да Нет Да
Операционная система Windows Да Нет Да Нет Да
Операционная система iOS/Mac Нет Да Да Да Нет
Система Android Нет Нет Да Да Нет
Бесплатное ПО Нет Нет Да Да Нет
89
90
2. ОБЩЕНИЕ С ЧИТАТЕЛЯМИ ГЛАЗАМИ
Среди вариантов доступа к высокотехнологичным устройствам выделяется разработка айтрекеров (также называемых ай-ридерами или глазами-мышками). Эти устройства представляют собой инфракрасные камеры с математическими алгоритмами, которые позволяют откалибровать взгляд человека, то есть угадать точную точку, куда смотрит человек, и, на втором этапе, щелкнуть ожиданием (пристальным взглядом), морганием или комбинированием взгляда с внешним переключателем или кнопкой (см. рисунок 6).
Рис. 6. Иллюстрация компании ^Ли Dynavox того, как работают устройства для чтения глаз
Доступ к компьютеру посредством взгляда позволяет установить плавное и полное общение как на формальном, так и на практическом уровне и является единственным эффективным вариантом для людей с очень ограниченной подвижностью. Устройство для чтения глаз отслеживает движения радужной оболочки с помощью двух инфракрасных камер и других датчиков, которые затем преобразуются в сигналы и математические алгоритмы. Он подключается к компьютеру, и его программное обеспечение преобразует движения глаз во входные сигналы, поэтому он работает как обычная мышь и позволяет нажимать на экран. Управление этими технологическими ресурсами подразумевает принятие решений, разработку действий с определёнными целями и специалистов, желающих пройти обучение. Возможности обучения тому, как обращаться с этой технологией взгляда, часто являются даже большим препятствием, чем экономический барьер, поскольку эти устройства обычно не собираются национальными службами общественного здравоохранения. В описанном процессе активно участвует образовательное сообщество: сами дети, а также родители, логопеды и даже частые собеседники, такие как другие родственники и опекуны.
Технология отслеживания движения глаз приписывается шведской компании, расположенной в Гетеборге в 1999 году, а устройства для чтения
глаз впервые были использованы в здравоохранении в Швеции в 2007 году, по данным компании ^Ьп, и одним из самых больших препятствий на пути к тому, какие преимущества получают пользователи от этих систем, являются их высокие экономические затраты, хотя с годами они снижаются. В 2019 году устройства для чтения глаз были включены в портфель общих услуг Министерства здравоохранения Испании. В частности, предоставление этих устройств в соответствии с законом предусматривается для «пациентов с тяжёлыми нейромоторными расстройствами, с тяжёлым поражением обеих верхних конечностей и невозможностью устного или письменного общения, в основном для пациентов с боковым амиотро-фическим склерозом, тромбозом основной артерии, детский церебральный паралич, черепно-мозговая травма и мостовой миелинолиз» (Приказ SCB/480/2019 от 26 апреля).
Уже обнародованы данные об использовании описанной технологии офтальмологами для улучшения качества жизни пациентов. В работе Londral и др. (2015) показано положительное влияние на общение не только у человека, который его использует, но и на его окружение, на тех, кто за ним ухаживает. Другие исследования, такие как Ball и др. (2004) и Калигари и др.. (2015) утверждают, что позитивные изменения качества жизни, а также автономия и участие обусловлены рекомендацией специалистов по внедрению SAAC в жизнь.
В Испании продаются устройства для чтения глаз только двух марок: Tobii Dynavox и испанская марка Irisbond. Хотя есть и другие, во всём мире зарегистрировано не более десяти брендов устройств для чтения глаз в области здравоохранения. Некоторые компании, такие как Microsoft, протестировали доступ с помощью взгляда через веб-камеру, хотя эти приложения не обладают необходимой точностью, которая требуется людям с ограниченными физическими возможностями, поскольку устройства вычисляют фиксацию глаз с учётом аномальных движений головы, косоглазия, различных условий освещения, зрачка, цвет и т.д.
Ридеры до недавнего времени были привязаны к среде Windows. Между тем, в 2019 году небольшая немецкая компания EyeV запускает Skyle как первый айтрекер для IOS, распространяемый с 2020 года компанией Inclusive Technology из Великобритании. Наконец, в конце 2021 года Tobii запускает TDPilot в качестве альтернативы iPad. Несмотря на новаторство, которое они представляют, у нас до сих пор нет отзывов профессионалов или пользователей об этих двух устройствах. Для чтения глаз требуется оборудование средней или высокой производительности из-за большого объёма данных, которые они обрабатывают. Это связано с количеством изображений, используемых в коммуникационном программном обеспечении, с которым используется устройство взгляда. В новых поколениях считыватели глаз способны сами обрабатывать данные, а не передавать их компьютеру. С обновлением iOS13 и улучшениями специальных возможностей Assistive Touch доступ к этой операционной системе был разрешён через устройство отслеживания взгляда.
Последние технологические достижения в области чтения глаз для общения также связаны с условиями освещения, в которых находится человек, который их использует. В первом поколении считывателей инфракрасное излучение не позволяло использовать их при дневном освещении или на солнце. В новом устройстве Tobii (устройства i-Series и устройство PCEye) и в новом Smartbox (Lumin-i), разработанном компанией Smart Eye, это свойство отмечается как преимущество по сравнению с предыдущими поколениями. Уже более 20 лет компания Smart Eye
91
92
разрабатывает искусственный интеллект (ИИ) в виде технологии отслеживания взгляда, которая понимает, поддерживает и предсказывает намерения и действия человека, тщательно изучая движения глаз, лица и головы. О новом Lumin-i, запущенном в июле 2021 года, компания заявляет: «Lumin-i требуется всего 25 мс (миллисекунд), чтобы отреагировать на ваш взгляд, снимая 60 кадров в секунду со временем восстановления взгляда всего 17 мс. Lumin-i также имеет механизм (большую гусеницу размером 35 X 30 X 65 см.), которая позволяет много двигаться головой, предоставляя пользователям с ограниченной мобильностью надёжное и мощное решение для общения и независимости».
3. ИНТЕРФЕЙС МОЗГ-КОМПЬЮТЕР (BCI) И ИХ ВЗАИМОСВЯЗЬ
BCI — это системы, готовые улавливать, интерпретировать и обрабатывать то, что думает субъект и каковы могут быть его намерения, благодаря импульсам, которые производятся в их мозгу. Они позволяют создать коммуникационный мост между нашим мозгом и ближайшим окружением без использования обычных механизмов периферических нервов или мышц. Существуют интерфейсы мозг-компьютер (ИМК) и интерфейсы мозг-машина (ИМТ). Благодаря подобным системам их пользователи могут произвольно манипулировать активностью своего мозга, генерируя мозговые сигналы, без использования движений.
Как показывает работа Хосе Андреса Гонсалеса (см. его выступление в проекте «Способность к общению») с пациентами с боковым амиотро-фическим склерозом (БАС) и раком горла или ларингэктомии была проведена большая работа по разработке соответствующих речевых технологий.
Большинство работ посвящено автоматическому распознаванию речи и проблемам, возникающим при распознавании речевых сигналов людей с дизартрией или своеобразными голосами, были разработаны модификации программ, чтобы они могли распознавать голоса подобных людей. С другой стороны, выделяются последние достижения в области «молчаливых устных интерфейсов» (González et al. 2016). Это набор технологий, которые пытаются восстановить речь людей, потерявших голос в результате нейродегенеративного заболевания или несчастного случая. С помощью алгоритмов ИИ сигналы, генерируемые человеческим телом, опознаются, пока эти люди «говорят молча».
Группа биомедицинской инженерии Университета Валенсии работала над проектированием, разработкой и оценкой систем BCI как в области обработки сигналов, так и в области программирования вспомогательных приложений для людей с ограниченными физическими возможностями (Martínez-Cagigal et al. 2019). В нескольких проектах сигнал электроэнцефалограммы использовался для пациентов с церебральным параличом посредством вызванных зрительных сигналов. Система BCI специально ориентирована на систему дополнительной связи на основе пиктограмм. Это означает, что пользователи во время ЭЭГ
фокусируются на точке на экране, которая мигает с постоянной частотой, а BCI наблюдает за синусоидой на ЭЭГ с этой частотой, чтобы определить конкретную точку, на которую смотрит пациент. Пользователь получает неожиданный визуальный стимул от случайно мигающих огней, что позволяет генерировать реакции (Martfnez-CagigaL, 2020). Пользователи, изученные Мартинес-Кагигал, из разных групп с ограниченными двигательными возможностями, контролировали устройства, работали в Интернете и писали слова с помощью этого метода, что свидетельствует о значительном прогрессе, поскольку подобные тесты ранее проводились только с людьми без инвалидности.
Другие американские компании, такие как Synchron или NeuraLink, также работают над BCI и возможностям расширения коммуникации. Устройство Synchron Stentrode обеспечивает компьютерную связь благодаря интеграции небольшого электродного устройства, предназначенного для имплантации рядом с моторной корой. Вмешательство проводится под общей анестезией с помощью катетера, направляемого по 3й-изображениям, через яремную вену благодаря небольшому разрезу на шее. На следующем изображении можно увидеть графическое представление операции.
Рис. 7. Работа устройства Synchron Stentrode (Oxley 2020: 103)
Исследования со взрослыми пациентами с БАС, которые тестировали данные устройства, показали, что они могут писать тексты со средней скоростью 20 символов в минуту, поэтому теоретически это может быть путь для будущего развития, более
93
близкий к тому, что можно было бы придумать в области аугментатив-ной и альтернативной коммуникации.
Для взрослых с диагнозом нейродегенеративное заболевание, такое как БАС или рассеянный склероз, рак горла, дистония или другие заболевания, влияющие на речь, можно использовать алфавитные доски для общения. За исключением афазии, при этих преимущественно соматических заболеваниях больной может продолжать пользоваться письмом как средством общения. Для перевода письменной системы в устную используются как низкотехнологичные устройства (фреймворки ETRAN), так и виртуальные клавиатуры компьютеров или высокотехнологичные SAAC.
С другой стороны, когда речь идёт о детях с отсутствием речи, мы должны использовать другие коды, такие как фотографии, рисунки или пиктограммы. В 1980-х годах была разработана ПКС (Пиктографическая система связи), состоящая из набора пиктограмм, предназначенных для обозначения на подставке для связи с собеседником. Другие библиотеки предложили альтернативы, и мы можем выделить Widgit, Symbolstix, Metacom, ARASAAC или Sclera. Некоторые из этих наборов символов платные, а другие, такие как испанский ARASAAC, находятся в свободном доступе. В некоторых материалах в России используются пиктограммы ARASAAC (см. рис. 3), хотя немаловажным камнем преткновения является культурный факт, поскольку в испанской библиотеке символов отсутствуют многие типичные для русской культуры пиктограммы. На сайте ARASAAC есть несколько русских переводчиков, в том числе Ирина Текоцкая.
4. НОВЫЕ МЕТОДОЛОГИИ ВМЕШАТЕЛЬСТВА
С • arasaac.org/materials/es/3818
if? i¡ * о
(В Pictogramas
V Favoritos
Q, Buscar
МОЯ КНИГА РЕЦЕПТОВ (1,2 И 3 ЧАСТЬ)
о о © © © О О
^ Desabolladores О Configuración
Книги рецептов разработаны специально для ребят, использующих АДК для проведения кулинарных мастер-классов . В них собраны рецепты пиццы, паннакоты, молочного коктейля, шоколадного фондана и борща с пампушками. Они очень понравились детям и педагогам, поэтому хотим ими поделиться.
Idiomas
Рис. 8. Материалы на русском языке на сайте ARASAAC
94
Для большинства детей описанные выше процессы развиваются естественно и спонтанно, если их рост происходит в благоприятной среде и контексте. Типично развивающиеся дети получают постоянную обратную связь о форме, значении и использовании своих вербальных произведений на протяжении всего периода раннего развития. Эта обратная связь позволяет им восстанавливать и улучшать свои первые языковые выбросы. Во время разговора взрослые приспосабливают свою речь к детскому лингвистическому уровню, используя более короткие предложения, паузы и повторения (Clark, 2014). Эти поддерживающие стратегии, такие как модели, переформулировки и помощь опытных собеседников, оказывают решающее влияние на развитие различных языковых навыков ребёнка (Clark, 2018; Savaldi-Harrusi & Soto, 2018). Таким образом, на языковое развитие напрямую влияет качество языковой среды (Weisleder & Fernald, 2013).
Хотя типично развивающиеся дети могут полагаться на речь для участия в разговорах и взаимодействиях, это часто не помогает людям со сложными коммуникативными потребностями. Дети с отсутствием речи или с неразборчивой речью, или дети, которые могут произносить только несколько слов, должны полагаться на такие стратегии, как вспомогательная коммуникация, то есть использование внешних средств связи, таких как динамические коммуникаторы с голосовым выводом или коммуникационные панели, среди прочего, чтобы «помочь» совместному конструированию смысла во время взаимодействия со своими собеседниками (Smith & Murray, 2016). Вспомогательное общение позволяет развивать язык альтернативными способами естественной речи, если ребенок подвергается разнообразному языковому опыту, что является ключом к языковому развитию (Tomasello, 2003; von Tetzchner & Stadskleiv, 2016). Дети, использующие вспомогательную коммуникацию, часто испытывают несоответствие между модальностью ввода языка — разговорным языком, с которым они сталкиваются, — и их собственным лингвистическим опытом (Smith & Grove, 2003). Кроме того, они часто имеют ограниченный доступ к профессионалам, которые показывают им, как должна использоваться их система связи.
Таким образом, в отличие от детей, которые используют естественную речь, дети, которые развивают язык с помощью вспомогательной коммуникации, зависят от сознательных и преднамеренных усилий родителей, учителей и других специалистов. Несколько исследований показали, что обучение собеседников так же важно, как и обучение самих пользователей. Обучение собеседников (родителей, учителей и одноклассников) стратегиям моделирования и общения (Kent-Walsh et al., 2015) необходимо для развития речи при обучении говорить с помощью SAAC с помощью технологий. Эти дети нуждаются в доступной им языковой стимуляции с помощью техники или стратегии моделирования, в которых собеседники указывают на символы (обычно пиктограммы) во время разговора с ребёнком, нуждающимся в этой поддержке. Моделирование, также называемое дополнением лингвистического ввода, было описано как эффективный механизм поддержки понимания и выразительной речи (O'Neill et al., 2018).
5. ВЫВОДЫ
Дополняющие и альтернативные коммуникационные системы предоставляют людям с нарушениями речи доступ к общению, соучастию и отдыху. С помощью специального программного обеспечения они могут развивать невербальный язык
95
детей, независимо от того, существуют ли у них физические или ментальные недостатки. В первом случае, когда руки не могут использовать переключатели или джойстики, считыватели глаз представляют способ доступа, который радикально меняет жизнь таких людей и их окружения, давая им лингвистический код, сначала пиктографический, а затем буквенный для общения. Считыватели для глаз также помогают осуществлять доступ к компьютеру с помощью функции мыши для глаз («мышь для глаз»), чтобы дети с ограниченными возможностями могли получить доступ к образованию, социальным сетям и другим программам для отдыха или работы. Поскольку сложно найти взрослых людей, которые могут рассказать о своём опыте использования подобных технологий, и в проекте Capaces de Comunicar мы взяли интервью у двух пользователей, которые учились и работают благодаря им. В представленной статье мы дали несколько сжатых описаний новейших функций, которые позволяют более адекватно и корректно реализовать подобные системы применительно к программному обеспечению и средствам чтения для глаз. Мы также рассмотрели новейшие методологии вспомогательного естественного языка, то есть то, как использовать это программное обеспечение, чтобы развитие языка и производство детской речи шло адекватно и система не была заброшена. Наконец, хотя система Интерфейс мозг-компьютер еще не является частью технологий дополнительных коммуникаций, всё говорит о том, что через одно-два десятилетия они могут стать ещё одной альтернативой доступа и открыть путь для людей с ограниченными возможностями, которые не могут пользоваться зрением, а также читателей с проблемами со зрением.
Литература
1. Beukelman, D. & Light, J. (2020). Augmentative and alternative communication: Supporting children and adults with complex communication needs (5th Edition), Paul H. Brookes Publishers. ISBN 9781598573749
2. Митрофанова, И.И. (2019). Клиповое мышление: реальность и перспективы. Речевые технологии 2019.
3. Чучупал, В.Я. (2020). Нейросетевые модели языка для систем распознавания речи. Речевые технологи, 1-2-2020. (información para ti: va de sistemas neuronales de reconocimiento de lenguaje hablado, también para intérpretes automáticos)
4. Ляксо Е.Е., Фролова О.В. (2020). Акустические маркеры аутизма. Речевые технологи, 1-2-2020. (marcadores acústicos para el diagnóstico en función del nivel del habla y tratamiento del autismo)
5. Вашкевич М.И., Рушкевич Ю.Н. (2020). Обзор систем автоматического детектирования речевых нарушений пациентов с боковым амиотрофическим склерозом (БАС). Речевые технологи, 1-2-2020. (detección automática de trastornos del habla en pacientes con eslerósis amiotrófica lateral)
6. Graves, A. Mohamed y G. Hinton, «Speech recognition with deep recurrent neural networks», de IEEE International Conference on Acoustics, Speech and Sig-nal Processing (ICASSP), 2013.
7. Taylor, P. (2009).- Text-To-Speech synthesis, Cambridge, Cambridge University Press.
96
8. Mirenda P. (2013) Augmentative and Alternative Communication. In: Volkmar F.R. (eds) Encyclopedia of Autism Spectrum Disorders. Springer, New York, NY. https://doi. org/10.1007/978-1-4419-1698-3_486
9. Schlosser, R. W. (2003b). The Efficacy of Augmentative and Alternative Communication: Towards Evidence-Based Practice. Baltimore: Paul Brookes.
10. Schlosser, R. W., & Blischak, D. M. (2001). Is there a role for speech output in interventions for persons with autism. Focus on Autism and Other Developmental Disabilities, 16, 170-176.
11. Рыскина В. (ред.-сост.) Альтернативная и дополнительная коммуникация в работе с детьми и взрослыми, имеющими интеллектуальные и двигательные нарушения, расстройства аутистического спектра / СПб.: Издательско-Торговый Дом «Скифия», 2016. — 288 с. — ISBN 978-5-00025-076-1.
12. Martínez-Cagigal, V.; Santamaría-Vázquez, E.; Gomez-Pilar, J.; Hornero, R. A brain-computer interface web browser for multiple sclerosis patients. En: Ayman El-Baz, A.; Suri, Jasjit S. Neurological Disorders and Imaging Physics, Volume 2: Engineering and clinical perspectives of multiple sclerosis. IOP Science; 2019. p. 1-31
13. Martínez-Cagigal, V. (2020). Toward practical p300-based brain-computer interfaces: asynchrony, channel selection and assistive applications. Tesis doctoral dirigida por Roberto Hornero Sánchez (dir. tes.). Universidad de Valladolid (2020).
14. Orden SCB/480/2019, de 26 de abril, por la que se modifican los anexos I, III y VI del Real Decreto 1030/2006, de 15 de septiembre, por el que se establece la cartera de servicios comunes del Sistema Nacional de Salud y el procedimiento para su actualización. Boletín Oficial del Estado, 101, de 27 de abril de 2019, páginas 43018 a 43028. Tomasello, M. (2003). Constructing a language. A Usage-Based Theory of Language Acquisition. Harvard University Press.
15. Von Tetzchner, S. y Stadskleiv, K. (2016). Constructing a language in alternative forms. En: M Smith y J. Murray (Eds.). The Silent Partner? Language, Interaction and Aided Communication (pp. 17-34). J & R Press Ltd.
16. Tomasello, M. (2003). Constructing a language. A Usage-Based Theory of Language Acquisition. Harvard University Press.
17. Weisleder, A., y Fernald, A. (2013). Talking to Children Matters: Early Language Experience Strengthens Processing and Builds Vocabulary. Psychological Science, 24(11), 2143-2152.
18. Oxley TJ, et al. (2020). J Motor neuroprosthesis implanted with neurointerventional surgery improves capacity for activities of daily living tasks in severe paralysis: first in-human experience NeuroIntervent Surg 2021;13:102-108. doi:10.1136/neurintsurg-2020-016862
19. Smith, M. y Murray, J. (2016). Introduction. En: M. M. Smith y J. Murray (Eds). The Silent Partner?. Language, Interaction and Aided Communication (pp. 1-16). J & R Press Ltd.
20. Savaldi-Harrusi, G. y Soto, G. (2018). Changes in adult scaffolding in conversations with children who uses aided AAC. Communication Matters, 32(3), 4-6.
21. Clark, E. V. (2018). Conversation and Language Acquisition: A Pragmatic Approach. Language Learning and Development, 14(3), 170-185.
22. Clark, E. V. (2014). Pragmatics in acquisition. Journal of Child language, 41(S1), 105-116.
23. Fernández-García, S., Gabriela Dumitrache, C. y González-López, J.A. (2021). Acoustic analysis of the voice in patients with Parkinson's disease and hypokinetic dysarthria,Revista de Logopedia, Foniatría y Audiología, Volume 41, Issue 3,2021, Pages 142-150
24. Gonzalez J.A., Cheah LA, Gilbert JM, et al. (2016) A silent speech system based on permanent magnet articulography and direct synthesis. Comput Speech Lang 39: 67-87. doi: 10.1016/j. csl.2016.02.002
25. O'Neill, T., Light, J., & Pope, L. (2018). Effects of interventions that include aided augmentative and alternative communication input on the communication of individuals with complex communication needs: A meta-analysis. Journal of Speech, Language, and Hearing Research, 61, 1743-1765. doi:10.1044/2018_JSLHR-L-17-0132
97
26. Kent-Walsh, J., Murza, K. A., Malani, M. D., & Singer, C. (2015). Effects of Communication Partner Instruction on the Communication of Individuals using AAC: A Meta-Analysis. Augmentative and Alternative Communication, 31(4), 271-284.
27. Weisleder, A., y Fernald, A. (2013). Talking to Children Matters: Early Language Experience Strengthens Processing and Builds Vocabulary. Psychological Science, 24(1 1), 2143-2152.
TECNOLOGÍAS DEL HABLA PARA EL DESARROLLO DE LA COMUNICACIÓN EN NIÑOS CON SIN LENGUAJE ORAL
Ana Medina Reguera, PhD, University Pablo de Olavide, Department Translation & Interpreting, Ctra. de Utrera, 1, 41013 Sevilla - Spain, [email protected]
In this paper we present some speech and communication technologies that are changing the quality of life of nonverbal children, such as children with cerebral palsy and related conditions. In particular, we point out the technological advances related to augmentative and alternative communication (AAC) software, which allow a better linguistic configuration of pictographic symbols systems. In addition, there have been advances in the access methods for these systems, such as eye-trackers and Brain-Computer-Interfaces. We tackle the technological advances related to augmentative and alternative communication (AAC) software, which allow a better linguistic configuration of pictographic systems. In addition, there have been advances in the methods of accessing these systems, such as eye-readers and Brain-Computer-Interfaces. From both groups we will address aspects of artificial intelligence which are responsible for a direct improvement of the expressive ability of AAC users: on the one hand, symbol combination and linguistic prediction in virtual keyboards; on the other hand, artificial intelligence that allows improving mathematical models for gaze access to the computer. We will rely, in addition to scientific studies on the subject, on our scientific transfer project 'Capaces de Comunicar' [Able to communicate], a project funded by the Spanish Foundation for Science and Technology of the Spanish Ministry of Science and Innovation.
• augmentative and alternative systems intelligence technologies
speechless children • artificial
98
En este trabajo presentamos algunas tecnologías del habla y de la comunicación que están cambiando la calidad de vida de los niños sin lenguaje oral, como niños con parálisis cerebral y enfermedades afines. En concreto, abordamos los avances tecnológicos relativos a los software de los sistemas aumentativos y alternativos de la comunicación (SAAC), que permiten una mejor configuración lingüística de los sistemas pictográficos. Además, se han producido avances en los modos de acceso a estos
sistemas, tales como los lectores oculares y los Brain-Computer-Interfaces. De ambos grupos señalaremos aspectos de la inteligencia artificial responsables de una mejora directa de la capacidad expresiva de los usuarios de SAAC: por un lado, la combinación de pictogramas y la predicción lingüística en teclados virtuales; por otro, la inteligencia artificial que permite mejorar los modelos matemáticos para el acceso por mirada al ordenador. Nos apoyaremos, además de en los estudios científicos sobre el tema, en nuestro proyecto de transferencia científica 'Capaces de Comunicar', un proyecto financiado por la Fundación Española de la Ciencia y la Tecnología del Ministerio de Ciencia e Innovación de España.
99
