CC BY
9
УДК 376.37 DOI: 10.52772/25420291_2022_4_12
Илья Александрович Алексеев, Алина Александровна Вебер, Александр Алексеевич Копорулин
г. Шадринск
Применение метода проектов при обучении разработке приложения для альтернативной коммуникации лиц с тяжелыми нарушениями речи
В данной статье представлен процесс применения методов проекта при разработке программного приложения Pic2Speech, основанного на технологиях нейронных сетей для организации альтернативных способов коммуникации лиц с тяжелыми формами речевых патологий. Описаны этапы разработки системы и ее возможности использования в практической деятельности. Данное приложение было разработано на базе ФГБОУ ВО «Шадринский государственный педагогический университет» в рамках деятельности научной лаборатории «Технологии диагностики и коррекции психоречевого развития ребенка».
Ключевые слова: логопедия, лица с речевыми нарушениями, альтернативная коммуникация, нейронные сети, лица с ограниченными возможностями здоровья, методы проекта, язык программирования.
Ilya Alexandrovich Alekseev, Alina Alexandrovna Veber, Alexander Alekseevich Koporulin Shadrinsk
Project method in teaching the application development for alternative communication
of persons with severe speech disorders
This article presents the process of applying the project methods in the Pic2Speech software application development based on neural network technologies for organizing alternative ways of communication for people with severe speech pathologies. The authors describe the stages of the system development and its possibilities in practice. This application was developed on the basis of the scientific laboratory "Technologies for diagnosing and correcting a child's psychoverbal development" at Shadrinsk State Pedagogical University.
Keywords: speech therapy, persons with speech disorders, alternative communication, neural networks, persons with disabilities, project methods, programming language.
На современном этапе развития государства и общества, можно констатировать наличие все больше набирающего актуальность запроса социальной, производственной и экономической сфер к современной системе профессионального образования на подготовку специалистов, обладающих не только высоким уровнем сформированности профессиональных компетенцией, но и способных активно и эффективно участвовать в разработке коллективных прикладных и научных проектов в рамках своей профессиональной деятельности. Одним из ключевых методов подготовки таких специалистов является проектный метод, в основу которого заложено междисциплинарное взаимодействие обучаемых в процессе разработки продукта, востребованного на современном рынке.
Технологию применения метода проектов в отечественной педагогике разработала Е.С. Полат, которая определяет его, как «...способ достижения дидактической цели через детальную разработку проблемы (технологию), которая должна завершиться вполне реальным, осязаемым практическим результатом, оформленным тем или иным образом» Научно-теоретическую и практическую базу метода проектов составили работы таких учёных, как И.Е. Брусникина, Т.А. Воронина, А.У. Зе-ленко, Е.С. Полат, А.И. Савенков, С.Т. Шацкий, Л.К. Шлегер и др. [4; С.66].
Язык и коммуникация - это основа социального взаимодействия. Основным средством для коммуникации является речь. Общение - это понятие гораздо более широкое, чем просто устная речь. Это сложный многоплановый процесс установления и развития контактов между людьми, порождаемых потребностями совместной деятельности и включающий в себя обмен информацией, выработку стратегий взаимодействия, восприятие и понимание другого человека. Людям, с тяжелыми формами речевых патологии, не владеющие вербальной речью, бывает очень тяжело вступить в общение с другим человеком и донести до него определенную информацию. У людей, с речевыми патологиями, наблюдается: ограниченный пассивный словарь; отсутствие или недостаточная мотивация к речевой деятельности, в частности и коммуникации; неумение осуществлять речевое взаимодействие [1,5].
Все выше перечисленное, ограничивают процесс общения, затрудняют расширение их социальных контактов. Окружающие обращаются к ним тогда, когда имеют для этого желание, причину или время. Недопонимание со стороны окружающих, неспособность донести до другого человека свои желания ведут к проявлениям нежелательного поведения. Постепенно, такой человек может стать агрессивным от того, что он лишен права выбора,
ВЕСТНИК ШАДРИНСКОГО ГОСУДАРСТВЕННОГО ПЕДАГОГИЧЕСКОГО УНИВЕРСИТЕТА. № 4 (56) 2022
что его не понимают, и не хотят услышать то, что он хочет донести до окружающих.
На помощь, для организации общения людей с тяжелыми речевыми нарушениями, приходят средства альтернативной коммуникации (жесты; письмо; предметные символы; графические знаки, включающие себя символы-изображения и т.д.). Альтернативная коммуникация помогает создать работающие системы коммуникации, развивать навык самостоятельно доносить до собеседника нужную информацию, умение выражать мысли с помощью символов и жестов. Системы альтернативной и дополнительной коммуникации помогают в перспективе неговорящим людям перейти на речевое общение. Необходимость разработки такого приложения обоснована потребностью лиц, лишенных возможности полноценной коммуникации в альтернативных способах перевода информации в электронный вид для дальнейшего ее использования с целью общения или профессиональной деятельности посредством новых информационных технологий [1,2,5].
В целях успешной коммерциализации результатов проектной деятельности в современных условиях целесообразно использовать систему
грантовой поддержки научных и прикладных проектов в образовании. Так, например, в рамках взаимодействия вузов-партнеров Шадринского государственного педагогического университета (ШГПУ) и Южно-Уральского государственного гуманитарно-педагогического университета
(ЮурГГПУ) был разработан проект нейросетевого мобильного приложения для организации альтернативных способов коммуникации лиц с тяжелыми нарушениями речевого общения в результате патологий эмоционально-волевой сферы, интеллекта, речевого и опорно-двигательного аппаратов. Приложение получило название «Pic2Speech» - это система альтернативной коммуникации для распознавания картинок и перевода их в текст или голос на основе нейронных сетей и искусственного интеллекта [3,6].
Для работы с программой пользователю необходимо иметь набор распечатанных карточек из набора «PECS». В настоящее время осуществляется расширение спектра распознаваемых пиктограмм и совершенствование алгоритмов работы программы. Экспериментально, программа работает со следующими пиктограммами из набора «PECS» (Рис.1).
X \ * J>
и! ^ ф Tt"
■ J Ll. ~~ w О ^ч-^^ИЕ
t ' f J^fr. г--?
I
г I « ^НЬ ~
u Г»
щ ■
i
Рис. 1. Картинки для альтернативной коммуникации из набора «PECS»
Пользователь размещает карточку с изображением непосредственно перед веб-камерой и ожидает, когда в текстовом поле отобразится название предмета или действия, изображенного на картинке. После этого, пользуясь простым интерфейсом программы, пользователь может получить озвученное название данного изображения, сохранить его на компьютере или скопировать текстовое описание картинки. Продемонстрировав серию картинок, пользователь получает серию озвученных или написанных слов, отражающих смысл высказывания, которые можно использовать в качестве звукового или текстового сообщения. Далее,
полученный материал пользователь может использовать по своему усмотрению в целях осуществления коммуникации.
Система разработана и развернута на базе сайта vmesteproshe.ru, для быстрой интеграции в сеть интернет и использовании готовых стилей и разработки красивого пользовательского интерфейса. Для разработки основной части использовался язык программирования PHP в связке с HTML и JS. Данный язык предназначен для разработки веб-приложений, но и позволяет выполнять некоторые системные функции [6].
Пользовательский интерфейс рабочего поля разбит на 3 колонки.
Трансляция с web камеры. Текстовое поле для ввода текста или вставки текста по распознанной картинке. Управляющие компоненты.
const flip = true;
v/eb cam = new til nage. We bean ( 3QB, 300, await Lve&cam.setupO ; await we&cam.playO; window.requeEtAninationFrane(Ioop]; document.getELementById("webcam-container").appendChild Сwedcoro.canvas);
Рис. 2. Инициализация блока работы с веб-камерой, добавление объекта в блок HTML
Далее происходит запуск циклической функ- Перед тем как работать с веб-камерой необхо-
ции, которая обновляет полученные изображения с димо подключить нейросеть с данными (Рис.4). камеры и отправляет их на распознавание изображений, т.е. происходит вызов функции predict (Рис.3).
ssync function Iсор С) { webcam, update О; await predict С);
window. requestAnimaticnFrame[loop);
}
Рис. 3. Вызов функции predict
const modeUJRL = URL + "model.json"; const metadatallRL = URL + "metadata.json";
model = await tmlmage."Load[modeUJRL, metadataURL); fflflxPredictions = model.qetTctalCLasses() ;
Рис.4. Подключение нейросети к данным
Перед началом работы происходит инициализация блока работы с веб-камерой, в инициализации указывается размер окна трансляции в пикселах, и добавление объекта в блок HTML.Представлено на рисунке 2.
flip);
Нейросеть разрабатывалась с помощью сервиса TeachableMachine, в который загружались необходимые изображения под разными углами и с разной дальностью от камеры для возможности распознавания. После загрузки всех изображений происходит обучение нейросети, и на выходе мы получаем файл bin содержащий все данные об изображениях.
async function predict О {
Функция predict записывает в массив prediction данные о том, на что похоже полученное изображение. Далее происходит проверка данных в цикле и если у какого-либо варианта изображения схожесть с данными нейросети равна 100 процентов, то происходит запись в текстовое поле об изображении на картинке. При этом, происходит проверка на то, что перед камерой не фон, и не тоже самое изображение, во избежание повторений (Рис.5).
const prediction = await model.predict(webcam.canvas); for (let i = 0; i < mispredictions; -{
if [[prediction!].] .probability. toFixed[2) === "1.00") && [prediction [i] .className !== 'Don') && [prediction[i].className !== endClnssNnme)) { endClassName = prediction[l].className; document.getElementByldf'textjfor.speech').value =
document.getElementById['text_for_speech').value + " " + prediction[i].className;
}
Рис.5. Функция predict записывает в массив prediction данные
ВЕСТНИК ШАДРИНСКОГО ГОСУДАРСТВЕННОГО ™ __ПЕДАГОГИЧЕСКОГО УНИВЕРСИТЕТА. № 4 (56) 2022_ 2542-0291
Когда текстовое поле заполнено перед пользователем стоит выбор:
1) Очистить поле.
2) Копировать полученный текст.
3) Услышать озвучку текста.
4) Скачать озвучку текста.
Кнопка очистить, удаляет весь введенный текст в текстовом поле и сбрасывает настройки последнего изображения (Рис.6).
Кнопка копировать, выделяет весь текст в текстовом поле и помещает его в буфер обмена, т.е. дальше уже можно выполнять вставку текста в удобное для пользователя место (Рис.7).
<button class= "btn btn-danger" style="width: МОК;"
onclick="document. getElementByld [' text_for_speech'). value=''; endCl«ssName=' '; ">0чистить </button>
Рис.6. Процесс удаления текста
«button class="btn btn-info" style=",.."
onclick="document. ^etElementByldi'text_for_speech') .select О; document.execCormandC'copy'); "> Колировать </button>
Рис.7.Процесс копирования текста
Кнопка озвучить, озвучивает текст в браузере. Для озвучки текста используется YandexSpeechKit, что позволяет выполнять озвучивание текста мощностями серверов Yandex, и, помимо этого, нейросеть определяет интонацию и плавность звучания. Нажатие на кнопку вызывает функцию playSpeech(), функция с помощью post-запроса отправляет текст из тек-
стового поля в файл для обработки сшг1^р, дожидается ответа, и озвучивает текст. Ответом для функции является ссылка на аудиофайл, который необходимо воспроизвести (Рис.8).
В файле сшй^р первым делом генерируется случайное имя будущего файла с озвучкой. Сгенерированное имя помещается в переменную $пате (Рис.9).
function playSpeech() {
let text = document.getElementByld[1text_for_speech").value;
$. ajax(-{
type: "POST"j url: "curl.php", data: {
text: text
}
}).done[function f result) -{
van audio = new ^udio[); // Создаём новый элемент Audio audio.src = result; // Указываем путь к звуку "клика" audio.autcplay - true;
Рис.8.0звучка текста
function generateName[$length = В) i
$ с h a rs = 1 abcdefghij ktmnopqrstuvwxyzABCDEFGHI J KLMNDPQRSTUV1NXYZ01234567S91 ;
$count = jj?i)_strlefiC$chars) ;
for C$i = Oj $result = 1 ' ; $i < $length; $i++) -t $index = ra.nd(Q, $court - 1);
$result .= nib_su&stj~(!f chars, $index, length l);
}
return $result;
}
$name = generateNameО;
Рис.9. Помещение сгенерированного имя в переменную $name
Далее необходимо получить токен для работы с apiYandexSpeechKit, но перед этим необходимо зарегистрировать аккаунт на cloud.yandex.ru. Действие выданного токена составляет около 12 часов, однако Yandex рекомендует обновлять его каждый час. Для этого удобно использовать утилиту y cra Linuxи командой yciamcreate-tokenс помощью crontab получать токен каждый час.
Помимо токена необходимо указать folderld, он генерируется один раз, поэтому обновление не const FORMAT_PCM = "Ipcm"; const FORHAT_OPUS = "oggopus"; const F0RMAT_MP3 = мглрЗ";
требуется. Так же указывается ссылка на необходимое api, в текущем случае это озвучивание текста. И происходит проверка на наличие текста в текстовом поле (см. рис.10).
Теперь формируем заголовки и сам post-за-прос для отправки на сервер яндекса (рис. 11).
Если при отправке запроса и получение ответа возникли ошибки, сообщаем об этом, если нет, то записываем полученные голосовые данные в файл и возвращаем имя файла (см. рис. 12).
it0ken=su&str[jri"l.e_iret_ccfjtentsc filename: " "), offset: 0, length: -1);
$folderId = "blgmfsosjurum6gjt6i0"; ff Идентификатор каталога
$u rl_ = "https: //tts. api. cloud. yandex. net/speech/vl/tts: synthesize" ;
if(!isset(i_POST['text1 ])) $_POST['text1 ] = "Введите текст";
if($_POST['text']== " ) $_POST['text'] = "Введите текст";
Рис.10. Получение токена для работы
$post = "text=" . urlerjcode(i_POST[ text' ]) .
"aiang=ru-Ru afold erld=$-[ f о Id e П d } as amp le Ra t e He rtz=4 BOOOSfo rma t= " . FORMA T_HP3 ¡¡¡headers = ['Authorization: Bearer ' . $token]; $ch - curl_init(];
с url_ setcpt[$ с h, option: CURLOPT_AUTOREFERER, value: TRUE); curl_se tcpt[$ С h, option: ClifiLOPilffETURNTfidNSFEff, value: 1); curL_setcptC$ch, option: CURLOPT_URL, $url); сurl_setcpt[$ с h, option: CURLOPT_FOLLOWLOCATION, value: TRUE); curl_setcptC$ch, option: CURLOPT_HEADER, value: false); if Cipost !== false) i
curl_setapt[$ch, option: CURL OP T_ POST", value: 1); С url_ setopt с $ С h, option: CUiFL0Pr_P0S7FIEI.DS, $post);
>
curl_setopt[$Gh, option: CURLOPT_HTTPHEADER, ^headers); $resporse = curl_execC$ch);
Рис. 11. Формировка заголовка и post-запроса
if (curl_getipf0[$ch, option CURLINFO_HTTP_CODE) != 200) ■{
$decodedResponse = Jsan_cfeca(ie[$resporEe, associative true);
echo "Error code: " . $deccdedResponse["error_code"] . "\r\n";
echo "Error message: " . $decodedResporse["error_message"] . "\r\n";
Рис.12.0тправка запроса
Аналогичная ситуация происходит если нужно скачать озвучку, за исключением воспроизведения, открывается ссылка файла с возможностью загрузки.
На рис. 13. описана схема взаимодействия Pic2Speech с ядром сайта vmesteproshe.ru, TeachableMachine и YandexSpeechKit.
ВЕСТНИК ШАДРИНСКОГО ГОСУДАРСТВЕННОГО ™ __ПЕДАГОГИЧЕСКОГО УНИВЕРСИТЕТА. № 4 (56) 2022_2542-0291
Ядро vmesteproshe.ru
Pic2Speech
v
YandexSpeechKit Поле текста
TeachableMachine (Разработанная нейросеть по распознаванию картинок)
Озвученный текст
Рис.13. Схема взаимодействия Pic2Speech с ядром сайта vmesteproshe.ru, TeachableMachine и
YandexSpeechKit
Таким образом, разработанное приложение альтернативной коммуникации для распознавания картинок и перевода их в текст или голос на основе нейронных сетей и искусственного интеллекта «Рю2$рееск», позволяет людям с тяжелыми формами речевых патологий: возможность опознавания графических объектов с помощью алгоритмов нейронной сети; возможность перевода графиче-
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ
ской информации в звуковые или текстовые данные; возможность сохранения и передачи полученной информации в виде текста и/или звука. Следовательно, приложение «Рю2$рееск» позволяет людям с тяжелыми формами речевых патологий организовывать процесс общения, выражать свои мысли для окружающих их людей, тем самым обеспечивая их социализацию.
1. Козлова, К. М. Обзор способов альтернативной коммуникации, применяемых в отечественной практике специального образования / К. М. Козлова. - Текст : непосредственный // Проблемы современного педагогического образования. - 2018. - № 58. - С. 120-127.
2. Мироненко, Н. В. Альтернативные средства коммуникации - карточки PECS / Н. В. Мироненко. - Текст : непосредственный // Молодой ученый. - 2021. - № 11 (353). - С. 176-181.
3. Нейротехнологии и искуственный интеллект : дорож. карта развития «сквозной» цифровой технологии / М-во цифрового развития, связи и массовых коммуникаций РФ. - Москва, 2019. - URL: https://digital.gov.ru/uploaded/files/07102019ii.pdf.
4. Новые педагогические и информационные технологии в системе образования : учеб. пособие для студентов высш. учеб. заведений / Е. С. Полат, М. Ю. Бухаркина, М. В. Моисеева, А. Е. Петров ; под ред. Е. С. Полат. - 3-е изд., испр. и доп. - Москва : Академия, 2008. - 272 с. Текст : непосредственный.
5. Тверская, О. Н. Применение средств альтернативной коммуникации для освоения социокультурного пространства города лицами с ограниченными возможностями здоровья / О. Н. Тверская, Н. В. Дружинина. - Текст : непосредственный // Auditorium. - 2019. - № 2 (22). - С. 15-19.
6. Эванс, Э. Предметно-ориентированное проектирование (DDD): структуризация сложных программных систем / Э. Эванс. - Москва : Вильямс, 2011. - 448 с. - Текст : непосредственный.
7. Фрэйн, Б. Отзывчивый дизайн на HTML5 и CSS3 для любых устройств / Б. Фрэйн. - 3-е изд. - Санкт-Петербург : Питер, 2022. - 336 с. - Текст : непосредственный.
REFERENCES
1. Kozlova K. M. Obzor sposobov al'ternativnoj kommunikacii, primenjaemyh v otechestvennoj praktike special'nogo obra-zovanija [Review of alternative communication methods used in the domestic practice of special education]. Problemy sov-remennogo pedagogicheskogo obrazovanija [Problems of modern pedagogical education], 2018, no. 58, pp. 120-127.
2. Mironenko N. V. Al'ternativnye sredstva kommunikacii - kartochki PECS [Alternative means of communication - PECS cards]. Molodoj uchenyj [Young scientist], 2021, no. 11 (353), pp. 176-181.
3. Nejrotehnologii i iskustvennyj intellekt : dorozh. karta razvitija «skvoznoj» cifrovoj tehnologii [Neurotechnology and artificial intelligence]. M-vo cifrovogo razvitija, svjazi i massovyh kommunikacij RF (ed.). Moscow, 2019. URL: https://dig-ital.gov.ru/uploaded/files/07102019ii.pdf.
4. Polat E. S., Buharkina M. Ju., Moiseeva M. V., Petrov A. E. Novye pedagogicheskie i informacionnye tehnologii v sisteme obrazovanija: ucheb. posobie dlja studentov vyssh. ucheb. zavedenij [New pedagogical and information technologies in the education system]. In E. S. Polat (ed.). Moscow: Akademija, 2008. 272 p.
5. Tverskaja O. N., Druzhinina N. V. Primenenie sredstv al'ternativnoj kommunikacii dlja osvoenija sociokul'turnogo pros-transtva goroda licami s ogranichennymi vozmozhnostjami zdorov'ja [The use of alternative communication tools for the development of the socio-cultural space of the city by persons with disabilities]. Auditorium, 2019, no. 2 (22), pp. 15-19.
6. Jevans Je. Predmetno-orientirovannoe proektirovanie (DDD): strukturizacija slozhnyh programmnyh sistem [Domain-oriented design (DDD): structuring of complex software systems]. Moscow: Vil'jams, 2011. 448 p.
7. Frjejn B. Otzyvchivyj dizajn na HTML5 i CSS3 dlja ljubyh ustrojstv [Responsive HTML5 and CSS3 design for all devices]. Sankt-Peterburg: Piter, 2022. 336 p.
СВЕДЕНИЯ ОБ АВТОРАХ:
И.А. Алексеев, кандидат педагогических наук, доцент, заведующий кафедрой коррекционной педагогики и специальной психологии, ФГБОУ ВО «Шадринский государственный педагогический университет», г. Шадринск, Россия, e-mail: filologshgpi@mail.ru, ORCID: 0000-0003-0621-1741.
А.А. Вебер, ассистент кафедры коррекционной педагогики и специальной психологии, научный сотрудник, ФГБОУ ВО «Шадринский государственный педагогический университет», г. Шадринск, Россия, e-mail: lina.veber.95@mail.ru, ORCID: 0000-0003-3116-5767.
А.А. Копорулин, инженер-программист вычислительного центра, ФГБОУ ВО «Шадринский государственный педагогический университет», г. Шадринск, Россия, e-mail: sanyakop98@yandex.ru, ORCID:0000-0002-9977-1619.
INFORMATION ABOUT THE AUTHORS:
I.A. Alekseev, Ph. D. in Pedagogical Sciences, Associate Professor, Department Chair, Department of Correctional Pedagogy and Special Psychology, Shadrinsk State Pedagogical University, Shadrinsk, Russia, e-mail: filologshgpi@mail.ru, ORCID: 0000-0003-0621-1741.
A.A. Veber, Instructor, Department of Correctional Pedagogy and Special Psychology, Research Scientist, Shadrinsk State Pedagogical University, Shadrinsk, Russia, e-mail: lina.veber.95@mail.ru, ORCID: 0000-0003-3116-5767.
A.A. Koporulin, Software Engineer of the Computing Center, Shadrinsk State Pedagogical University, Shadrinsk, Russia, e-mail: sanyakop98@yandex.ru, ORCID:0000-0002-9977-1619.
УДК 378.012 DOI: 10.52772/25420291_2022_4_18
Элиетта Павловна Бурнашева, Наталья Викторовна Сычева, Маргарита Владимировна Антонова
г. Шадринск
Формирование предпринимательской компетентности у студентов
педагогического вуза
В условиях динамичных преобразований социально - экономического окружения перед профессиональными образовательными организациями актуализируется задача предпринимательской подготовки будущих специалистов. В условиях педагогического ВУЗа решение проблемы возможно посредством системной работы со студентами, в том числе на базе Центра поддержки предпринимательства совместно с Управлением по воспитательной работе и проектной деятельности. Различные форматы мероприятий способствуют формированию и развитию предпринимательских компетенций и позволяют студентам уже в стенах университета апробировать первый опыт реализации идей и воплощения проектов. Развитие студенческого предпринимательства рассматривается как перспективная точка роста для региона. В статье приведены некоторые результаты изучения уровня предпринимательской готовности и направленности студентов, которые и послужили катализатором к разработке Программы проектно-предпринимательской подготовки студентов.
Ключевые слова: предпринимательская компетентность, проектная деятельность, профессиональная социализация.
Elietta Pavlovna Burnasheva, Natalya Viktorovna Sycheva, Margarita Vladimirovna Antonova
Shadrinsk
Formation of entrepreneurial competence among pedagogical university students
The task of entrepreneurial training of future specialists has become actual for the professional educational organizations due to the conditions of dynamic transformations of the socio-economic environment. In a pedagogical university the solution of this task is possible through systematic work with students on the basis of the Entrepreneurship Support Center and the Department of Campus Life and Project Activity. Entrepreneurial competencies form and develop by means of various events and allow students to test their first experience of implementing ideas and projects at the university. The development of student entrepreneurship is considered as a promising growth point for the region. The article presents some results of studying the level of entrepreneurial readiness and orientation of students which served as a catalyst for the development of a Program of project and entrepreneurial training of students.
Keywords: project activity, entrepreneurial competence, professional socialization.
ВЕСТНИК ШАДРИНСКОГО ГОСУДАРСТВЕННОГО ™ __ПЕДАГОГИЧЕСКОГО УНИВЕРСИТЕТА. № 4 (56) 2022_ 2542-029l
