CC BY
57
ПЕДАГОГИКА
ПЕДАГОГИКА PEDAGOGY
УДК 376.37 DOI: 10.52772/25420291_2022_4_8
Илья Александрович Алексеев, Алина Александровна Вебер, Александр Алексеевич Копорулин
г. Шадринск
Возможность использования нейронных сетей и искусственного интеллекта для альтернативной коммуникации лиц с ОВЗ
Статья посвящена рассмотрению возможности использования нейронных сетей и искусственного интеллекта для альтернативной коммуникации лиц с ограниченными возможностями здоровья (ОВЗ). Освящено понятие альтернативной коммуникации, и ее влияние на психофизическое развитие людей с ОВЗ. Раскрыта возможность и положительные стороны использования искусственного интеллекта в альтернативной коммуникации. Представлено разработанное приложение, на базе ФГБОУ ВО «Шадринский государственный педагогический университет» в рамках деятельности научной лаборатории «Технологии диагностики и коррекции психоречевого развития ребенка», основанного на технологиях нейронных сетей и искусственного интеллекта. Приложение разработано для организации альтернативных способов коммуникации лиц с тяжелыми нарушениями речевого общения в результате патологий эмоционально-волевой сферы, интеллекта, речевого и опорно-двигательного аппаратов.
Ключевые слова: лица с ограниченными возможностями здоровья, альтернативная коммуникация, нейронные сети, искусственный интеллект, логопедия.
Ilya Alexandrovich Alekseev, Alina Alexandrovna Veber, Alexander Alekseevich Koporulin Shadrinsk
The possibility of using neural networks and artificial intelligence for alternative communication of persons with disabilities
The article examines the possibility of using neural networks and artificial intelligence for alternative communication of persons with disabilities. The concept of alternative communication and its impact on the psychophysical development of people with disabilities is sanctified. The possibility and positive aspects of using artificial intelligence in alternative communication are revealed. The developed application is presented on the basis of the Shadrinsk State Pedagogical University within the scientific laboratory "Technologies for the diagnosis and correction of the child's psychorechological development". The application is designed to organize alternative ways of communication for people with severe speech disorders as a result of pathologies of the emotional-volitional sphere, intelligence, speech and musculoskeletal systems.
Keywords: persons with disabilities, alternative communication, neural networks, artificial intelligence, speech therapy.
Роль коммуникативных навыков в нашей жизни чрезвычайно велика. Благодаря коммуникации совершается усвоение человеком языка, знаний об окружающем мире. Общение позволяет вхождение в коллектив, и тем самым ведет к социализации. Влияние развития коммуникативных навыков рассматривали такие ученые как: А.В. Запорожец, М.И. Лисина, А.Г. Рузская. Они указывали, что коммуникация входит в процесс полноценного психического развития. Ученые З.М. Богуславская и Д.Б. Эльконин, отмечали о влиянии коммуникативной сферы на общий уровень деятельности людей. Отсутствие элементарных коммуникативных навыков затрудняет общение, приводит к возрастанию тревожности [1,5,6].
При анализе и изучении научной литературы, было выявлено, что с людьми с особенностями психофизического развития, имеющими нарушения навыков вербального общения, активно ис-
пользуется альтернативная коммуникация. Альтернативная коммуникация помогает создать работающие системы коммуникации, развивать навык самостоятельно доносить до собеседника нужную информацию, умение выражать мысли с помощью символов и жестов [3]. Основными задачами, при обучении альтернативной коммуникации являются: формирование способности к зрительному и (или) слуховому сосредоточению на говорящем или жестикулирующем языке; формирование умения распределять внимание между предметом, изображением, символом; вызывание желания, потребности к подражанию эмоциональным, жесто-вым, пантомимическим и вербальным способам взаимодействия с коммуникативным партнером; формирование понимания жестов, реалистичных изображений, слов, графических символов, их последовательности, с помощью которой выражаются обращения коммуникативного партнера. Си-
ВЕСТНИК ШАДРИНСКОГО ГОСУДАРСТВЕННОГО ™ ПЕДАГОГИЧЕСКОГО УНИВЕРСИТЕТА. № 4 (56) 2022_2542-0291
стемы альтернативной и дополнительной коммуникации помогают в перспективе неговорящим людям перейти на речевое общение [2].
В последнее время все чаще и активнее стало использование области нейронных сетей и искусственного интеллекта в разных областях науки. Использование искусственного интеллекта с людьми с ОВЗ позволяет: адаптироваться под конкретные нужды и особенности своих пользователей; быстро улучшает свою способность видеть, слышать и взаимодействовать с людьми, используя естественный язык и жесты. В ближайшие годы, решения на основе искусственного интеллекта предоставят людям с ОВЗ новые возможности и расширенный доступ к окружающему их миру [4,5].
При изучении искусственного интеллекта, одной из самых интересных областей его возможностей, является анализ изображений. Средствами аль-
• sany
тернативной коммуникации являются - предметные символы, графические знаки, включающие себя символы-изображения. Именно это и привлекло нас для разработки приложения, которое позволило бы анализировать поступающую через Вэб-камеру графическую информацию (рисунки, пиктограммы, картинки и др.) и озвучивать их, или представлять в виде текста, который затем может быть использован в целях коммуникации. Данное приложение было разработано на базе ФГБОУ ВО «Шадринский государственный педагогический университет» в рамках деятельности научной лаборатории «Технологии диагностики и коррекции психоречевого развития ребенка». Приложение получило название «Рю2$реесЬ» - это система альтернативной коммуникации для распознавания картинок и перевода их в текст или голос на основе нейронных сетей и искусственного интеллекта (Рис.1).
akop98@yandex fu
t »7 41 «5800253
О Для слабовидящих
Вместепроще рф
Новости Сервисы Товары Нейросеть Форум Помощь
людям
Полезная инф
Рис.1. Приложение «Рю2$реесЬ» для альтернативной коммуникации на основе нейронных сетей и искусственного интеллекта
«Pic2Speech>> не требует специальной подготовки пользователя для работы с ней и имеет простой и доступный интерфейс. Пользователь имеет возможность доступа к приложению через устройства различного форм-фактора (персональный компьютер, ноутбук, смартфон, планшет и т.д.). Данное приложение работает в операционных системах Windows 7/8/10, MacOS, GNU Linux, IOS, Android. Приложение «Pic2Speech>> поставляется на лазерном носителе информации (DVD диск) или flash-носителе, а также распространяется посредством специализированных онлайн-сервисов.
Приложение «Pic2Speech>> анализирует поступающую через Вэб-камеру графическую информацию, в виде набора карточек PECS для альтернативной коммуникации, и озвучивает их, или представ-
ляет в виде текста, который затем может быть использован в целях коммуникации. Каждый набор карточек PECS посвящен определенной теме. В набор карточек PECS, входят изображения предметов на разные лексические темы (одежда, посуда, еда, улица, дом, фрукты, овощи, животные и т.д.) (Рис.2.).
Также, в набор карточек PECS входят изображения с действиями (Рис.3.).
Приложение альтернативной коммуникации на основе нейронных сетей и искусственного интеллекта «Pic2Speech», позволяет людям с тяжелыми формами речевых патологий: возможность опознавания графических объектов с помощью алгоритмов нейронной сети; возможность перевода графической информации в звуковые или текстовые данные; возможность сохранения и передачи полученной информации в виде текста и/или звука.
ISSN 2542-0291
JOURNAL OF SHADRINSK STATE PEDAGOGICAL UNIVERSITY. no. 4 (56) 2022
9
ПЕДАГОГИКА
Рис.2. Набор карточек PECS с изображением предметов
Рис.3. Набор карточек PECS с изображением действий
Таким образом, использование приложения земли, имея при себе любое устройство (ноутбук, для альтернативной коммуникации «Pic2Speech», смартфон, планшет), организовывать процесс обоснованного на нейронных сетях и искусственном щения, выражать свои мысли для окружающих их интеллекте, позволяет людям с ОВЗ с любой точки людей, тем самым обеспечивать их социализацию.
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ
1. Горудко, Т. В. Поддерживающая и альтернативная коммуникация : учеб.-метод. пособие / Т. В. Горудко. - Минск : БГПУ, 2015. - 148 с. - Текст : непосредственный.
2. Козлова, К. М. Обзор способов альтернативной коммуникации, применяемых в отечественной практике специального образования / К. М. Козлова. - Текст : непосредственный // Проблемы современного педагогического образования. - 2018. - № 58. - С. 120-127.
3. Мироненко, Н. В. Альтернативные средства коммуникации - карточки PECS / Н. В. Мироненко. - Текст : непосредственный // Молодой ученый. - 2021. - № 11 (353). - С. 176-181.
_~ ВЕСТНИК ШАДРИНСКОГО ГОСУДАРСТВЕННОГО
10_ПЕДАГОГИЧЕСКОГО УНИВЕРСИТЕТА. № 4 (56) 2022_ 2542-0291
4. Нейротехнологии и искуственный интеллект : дорож. карта развития «сквозной» цифровой технологии / М-во цифрового развития, связи и массовых коммуникаций РФ. - Москва, 2019. - URL: https://digital.gov.ru/uploaded/files/07102019ii.pdf.
5. Сырвачева, Л. А. Коммуникативные навыки у детей с ОВЗ и возможности их формирования посредством альтернативной коммуникации / Л. А. Сырвачева, С. С. Мерущенко. - Текст : непосредственный // The Newman in Foreign policy. - 2017. - № 37 (81). - С. 17-21.
6. Течнер, С. Введение в альтернативную и дополнительную коммуникацию: жесты и графические символы для людей с двигательными и интеллектуальными нарушениями, а также с расстройствами аутистического спектра / Стивен фон Течнер, Харальд Мартинсен ; пер. с англ. И. А. Чистович. - Москва : Теревинф, 2014. - 432 с. - Текст : непосредственный.
REFERENCES
1. Gorudko T.V. Podderzhivajushhaja i al'ternativnaja kommunikacija: ucheb.-metod. posobie [Supportive and alternative communication]. Minsk: BGPU, 2015. 148 p.
2. Kozlova K.M. Obzor sposobov al'ternativnoj kommunikacii, primenjaemyh v otechestvennoj praktike special'nogo obra-zovanija [Review of alternative communication methods used in the domestic practice of special education]. Problemy sov-remennogo pedagogicheskogo obrazovanija [Problems of modern pedagogical education], 2018, no. 58, pp. 120-127.
3. Mironenko N.V. Al'ternativnye sredstva kommunikacii - kartochki PECS [Problems of modern pedagogical education], [Alternative means of communication - PECS cards]. Molodoj uchenyj [Young Scientist], 2021, no. 11 (353), p. 176-181.
4. Nejrotehnologii i iskustvennyj intellekt : dorozh. karta razvitija «skvoznoj» cifrovoj tehnologii [Neurotechnology and Artificial Intelligence]. M-vo cifrovogo razvitija, svjazi i massovyh kommunikacij RF (ed.). Moskva, 2019. URL: https://dig-ital.gov.ru/uploaded/files/07102019ii.pdf.
5. Syrvacheva L.A., Merushhenko S. S. Kommunikativnye navyki u detej s OVZ i vozmozhnosti ih formirovanija posredstvom al'ternativnoj kommunikacii [Communication skills in children with disabilities and the possibility of their formation through alternative communication]. The Newman in Foreign policy [], 2017, no. 37 (81), pp. 17-21.
6. Techner S., Martinsen H. Vvedenie v al'ternativnuju i dopolnitel'nuju kommunikaciju: zhesty i graficheskie simvoly dlja ljudej s dvigatel'nymi i intellektual'nymi narushenijami, a takzhe s rasstrojstvami autisticheskogo spektra [Introduction to Alternative and Complementary communication: gestures and graphic symbols for people with motor and intellectual disabilities, as well as autism spectrum disorders]. Chistovich I. A. (ed.). Moscow: Terevinf, 2014. 432 p.
СВЕДЕНИЯ ОБ АВТОРАХ:
И.А. Алексеев, кандидат педагогических наук, доцент, заведующий кафедрой коррекционной педагогики и специальной психологии, ФГБОУ ВО «Шадринский государственный педагогический университет», г. Шадринск, Россия, e-mail: [email protected], ORCID: 0000-0003-0621-1741.
А.А. Вебер, ассистент кафедры коррекционной педагогики и специальной психологии, научный сотрудник, ФГБОУ ВО «Шадринский государственный педагогический университет», г. Шадринск, Россия, e-mail: [email protected], ORCID: 0000-0003-3116-5767.
А.А. Копорулин, инженер-программист вычислительного центра, ФГБОУ ВО «Шадринский государственный педагогический университет», г. Шадринск, Россия, e-mail: [email protected], ORCID:0000-0002-9977-1619. INFORMATION ABOUT THE AUTHORS:
I.A. Alekseev, Ph. D. in Pedagogical Sciences, Associate Professor, Department Chair, Department of Correctional Pedagogy and Special Psychology, Shadrinsk State Pedagogical University, Shadrinsk, Russia, e-mail: [email protected], ORCID: 0000-0003-0621-1741.
A.A. Veber, Instructor, Department of Correctional Pedagogy and Special Psychology, Research Scientist, Shadrinsk State Pedagogical University, Shadrinsk, Russia, e-mail: [email protected], ORCID: 0000-0003-3116-5767.
A.A. Koporulin, Software Engineer of the Computing Center, Shadrinsk State Pedagogical University, Shadrinsk, Russia, e-mail: [email protected], ORCID: 0000-0002-9977-1619.
ISSN 2542-0291
JOURNAL OF SHADRINSK STATE PEDAGOGICAL UNIVERSITY. no. 4 (56) 2022
11
