CC BY
63DOI 10.47576/2949-1878_2023_7_158 УДК 004.032.26
ПРИМЕНЕНИЕ НЕЙРОННЫХ СЕТЕЙ В ОБРАБОТКЕ ЕСТЕСТВЕННОГО ЯЗЫКА
Тюрина Д. А.,
студент факультета № 3, Поволжский государственный университет телекоммуникаций и информатики, г. Самара, Россия, e-mail: daratyurina@ yandex.ru
Пальмов Сергей Вадимович,
кандидат технических наук, доцент, доцент кафедры информационных систем и технологий, Поволжский государственный университет телекоммуникаций и информатики; доцент кафедры информационных технологий, Самарский государственный технический университет, г. Самара, Россия, e-mail: psvzo@yandex.ru
В статье рассмотрены развитие и применение нейронных сетей в обработке естественного языка. Отмечается, что обработка естественного языка (Natural Language Processing, NLP) является одним из ключевых направлений в искусственном интеллекте (AI) и информационных технологиях. NLP позволяет компьютерам анализировать, понимать и генерировать естественный язык, что открывает широкие возможности для автоматизации многих задач, связанных с текстовой информацией. Одним из наиболее перспективных и развивающихся подходов к обработке естественного языка являются нейронные сети.
Ключевые слова: нейронные сети; естественный язык; искусственный интеллект; информационные технологии.
UDC 004.032.26
APPLICATION OF NEURAL NETWORKS IN NATURAL LANGUAGE
PROCESSING
Tyurina D. A.,
student of Faculty No. 3, Volga State University of Telecommunications and Informatics, Samara, Russia, e-mail: daratyurina@yandex.ru
Palmov Sergey Vadimovich,
Candidate of Technical Sciences, Associate Professor, Associate Professor of the Department of Information Systems and Technologies, Volga State University of Telecommunications and Informatics; Associate Professor of the Department of Information Technology, Samara State Technical University, Samara, Russia, e-mail: psvzo@yandex.ru
In this paper we will consider the development and application of neural networks in natural language processing. Natural Language Processing (NLP) is one of the key areas in artificial intelligence (AI) and information technology. NLP allows computers to analyze, understand and generate natural language, which opens up great opportunities for automating many tasks related to textual information. Neural networks are one of the most promising and developing approaches to natural language processing.
Keywords: neural networks; natural language; artificial intelligence; information technologies.
Педагогические исследования
Нейронные сети представляют собой математические модели, которые имитируют работу человеческого мозга. Они состоят из множества взаимосвязанных узлов (нейронов), которые передают информацию друг другу, позволяя сети «учиться» на основе данных. Различные типы нейронных сетей используются в обработке естественного языка, включая рекуррентные нейронные сети (Recurrent Neural Networks, RNN), свер-точные нейронные сети (Convolutional Neural Networks, CNN) и трансформерные нейронные сети (Transformer Neural Networks) [1].
Развитие нейронных сетей в обработке естественного языка привело к созданию множества новых приложений, включая автоматический перевод, распознавание речи, анализ тональности, генерацию текста и ответы на вопросы. В данной статье мы рассмотрим основные достижения в этой области и примеры применения нейронных сетей [2-7].
1. Автоматический перевод
Автоматический перевод является одной из важных областей обработки естественного языка, которая используется для перевода текста с одного языка на другой с помощью компьютерных программ. Эта область имеет широкое применение в международном бизнесе, образовании, научных исследованиях и многих других сферах.
Нейронные сети используются в автоматическом переводе для обработки текстовых данных на разных языках и перевода их на целевой язык. Например, Google Translate использует нейронные сети для автоматического перевода текста с одного языка на другой. Эта система использует глубокое обучение, чтобы понимать связь между словами и фразами на разных языках, что позволяет ей создавать более точные и связные переводы.
Однако автоматический перевод также имеет свои ограничения, особенно при переводе текста с высокой степенью специализации или с использованием сленга и идиом. Некоторые переводы могут также содержать ошибки или быть непонятными для носителей языка, что делает их менее эффективными в коммуникации.
Тем не менее автоматический перевод является важной областью развития нейронных сетей в обработке естественного языка,
и с каждым годом системы автоматического перевода становятся более точными и эффективными.
2. Распознавание речи
Распознавание речи - это процесс, в котором компьютерная программа преобразует речь, произнесенную человеком, в текстовый формат. Эта технология используется в многих областях, таких как медицина, автомобильная промышленность, робототехника, телекоммуникации, машинный перевод, управление домашними устройствами и др.
Распознавание речи возможно благодаря использованию нейронных сетей, которые обрабатывают звуковые сигналы, полученные от микрофона, и преобразуют их в текстовую форму. Нейронные сети для распознавания речи обычно тренируются на больших объемах аудиоданных, чтобы определить связь между звуковыми сигналами и соответствующими текстовыми описаниями.
Процесс распознавания речи состоит из нескольких этапов. Сначала, звуковой сигнал от микрофона проходит через предварительную обработку, включающую фильтрацию шума и эквализацию звука. Затем сигнал разбивается на короткие временные интервалы, называемые кадрами, которые затем анализируются на предмет характеристик речи.
На следующем этапе нейронная сеть преобразует каждый кадр звука в соответствующий текстовый символ или комбинацию символов. Для улучшения точности распознавания, используются алгоритмы обработки языка, которые учитывают контекст и грамматику, и определяют наиболее вероятный текст на основе предыдущих слов.
Несмотря на значительный прогресс в области распознавания речи, существуют некоторые проблемы, связанные с точностью и производительностью. Одной из основных проблем является различие в произношении слов в зависимости от акцента и диалекта говорящего. Также влияют на точность распознавания шумы и другие искажения в звуковом сигнале.
Тем не менее развитие нейронных сетей и алгоритмов обработки естественного языка продолжает повышать точность и производительность распознавания речи. Существует множество подходов и технологий,
которые позволяют улучшить качество распознавания речи.
Одним из подходов является использование глубоких нейронных сетей, таких как сверточные нейронные сети (Convolutional Neural Networks, CNN) и рекуррентные нейронные сети (Recurrent Neural Networks, RNN). CNN обычно используются для извлечения признаков из звукового сигнала, тогда как RNN - для анализа последовательности звуковых кадров и вычисления наиболее вероятной последовательности текстовых символов.
Также используется комбинирование нескольких моделей распознавания речи, например сочетание систем распознавания на основе глубоких нейронных сетей с классическими статистическими методами, такими как скрытые марковские модели (Hidden Markov Models, HMM).
Кроме того, важно учитывать контекст и смысл в тексте, полученном после распознавания речи. Это может быть достигнуто с использованием алгоритмов обработки естественного языка (Natural Language Processing, NLP), таких как синтаксический анализ, определение смысла слов и машинный перевод.
Применение распознавания речи может быть очень разнообразным. Оно используется для создания систем голосового управления, таких как Siri и Alexa, для транскрибирования речи в текст, для управления процессами производства в промышленности, для улучшения качества обслуживания клиентов в контакт-центрах, для облегчения взаимодействия между людьми разных языков, а также для многих других задач.
3. Анализ тональности
Анализ тональности (Sentiment Analysis) -это процесс автоматического определения тональности (позитивная, нейтральная, отрицательная), выраженной в тексте. Эта технология основана на анализе текстовых данных и используется для оценки настроения пользователей, общественного мнения, мнений клиентов и т. д.
Основным методом анализа тональности является машинное обучение. Для этого используются алгоритмы классификации, такие как наивный Байесовский классификатор, метод опорных векторов (Support Vector Machines, SVM), решающие деревья (Decision
Trees) и др. Эти алгоритмы обучаются на наборе данных, содержащем тексты с известной тональностью (например, позитивные, негативные, нейтральные) и затем используются для классификации новых текстов.
Кроме того, для анализа тональности могут быть использованы алгоритмы обработки естественного языка (NLP). Они позволяют учитывать контекст и смысл в тексте, что может повысить точность определения тональности.
Одним из приложений анализа тональности является мониторинг общественного мнения в социальных сетях. С помощью анализа тональности можно определить, как пользователи относятся к определенному продукту или бренду, что может быть полезно для принятия маркетинговых решений. Также анализ тональности может использоваться для мониторинга общественного мнения на политические темы, для оценки качества обслуживания клиентов, для определения эмоциональной окраски текстовых сообщений в области судебных исследований и т. д.
Однако анализ тональности имеет некоторые ограничения. Во-первых, он может быть затруднен при анализе сленговых выражений, иронических высказываний, сарказма и т.д. Во-вторых, тональность может зависеть от контекста, что может существенно повлиять на результаты анализа.
4. Генерация текста
Генерация текста (Text Generation) - это процесс автоматического создания текстовых данных компьютером без участия человека. Эта технология основана на искусственных нейронных сетях и используется в различных областях, таких как машинный перевод, создание контента для сайтов и социальных сетей, создание музыки и т. д.
Для генерации текста используются различные типы нейронных сетей, такие как рекуррентные нейронные сети (Recurrent Neural Networks, RNN), сверточные нейронные сети (Convolutional Neural Networks, CNN) и транс-формеры (Transformers). Каждый из этих типов нейронных сетей имеет свои особенности и может использоваться в зависимости от задачи генерации текста.
Одним из наиболее распространенных методов генерации текста является модель языковых моделей (Language Models). Эта
Педагогические исследования
модель использует множество текстовых данных для обучения нейронной сети, которая затем может генерировать новый текст. Для обучения модели используется метод максимального правдоподобия (Maximum Likelihood Estimation, MLE), который позволяет найти наиболее вероятные параметры модели на основе имеющихся данных.
Другим методом генерации текста является модель автокодировщика (Autoencoder). Эта модель используется для генерации текстовых данных, которые похожи на имеющиеся в обучающей выборке. Она основана на двух нейронных сетях: кодировщике и деко-дировщике. Кодировщик преобразует входные данные в скрытое представление, которое затем используется декодировщиком для генерации новых данных.
Однако генерация текста имеет некоторые ограничения. Во-первых, сгенерированный текст может быть несвязным и не иметь логической структуры. Во-вторых, некоторые генерированные тексты могут содержать неправильные или ошибочные данные. В-третьих, существует проблема подделки текстовых данных, когда созданный компьютером текст может быть использован для распространения ложной информации или манипуляции общественным мнением.
5. Вопросно-ответные системы
Вопросно-ответные системы (Question-Answering Systems, QA) - это системы искусственного интеллекта, которые могут отвечать на вопросы, заданные пользователем на естественном языке. Они позволяют быстро и эффективно находить нужную информацию в больших объемах данных и являются важной частью области обработки естественного языка.
QA системы могут быть разделены на два типа: системы с фактами и системы с знаниями. Системы с фактами работают на основе предварительно собранных данных, которые содержат ответы на вопросы. Эти системы используют алгоритмы машинного обучения, чтобы находить соответствия между вопросом и ответом в базе данных. Системы с зна-
ниями, на другой стороне, используют знания из различных источников, таких как интернет, энциклопедии или базы данных, чтобы создать ответ на вопрос.
Одним из наиболее распространенных подходов для QA систем является поиск ответа в текстовом корпусе. Этот подход использует алгоритмы машинного обучения, такие как линейные модели или нейронные сети, для анализа вопроса и нахождения наиболее подходящего ответа в текстовом корпусе. При этом система должна учитывать контекст и семантическую связь между вопросом и текстом.
Другой подход для QA систем - это построение онтологий. Онтология - это формализованная модель знаний, которая описывает концептуальную структуру мира. Этот подход используется для ответов на вопросы, связанные с знаниями. В этом случае система анализирует вопрос и ищет соответствующую концепцию в онтологии, чтобы создать ответ.
Кроме того, QA системы могут быть классифицированы по типу ответа, который они предоставляют. Они могут быть ограничены (да/нет), фактическими (кто, что, когда, где), оценочными (какой, почему), или практическими (как сделать что-то). Каждый тип вопроса требует различного подхода к ответу, и QA система должна быть способна определить тип вопроса и выбрать соответствующий алгоритм.
Одним из ключевых преимуществ вопросно-ответных систем является их способность быстро и точно находить ответы на заданные вопросы, что делает их полезными для решения различных задач, включая консультации, техническую поддержку, поиск информации и другие.
В заключение отметим, что нейронные сети являются мощным инструментом в обработке естественного языка и широко используются в различных приложениях. Однако их использование требует тщательного анализа и выбора архитектур в зависимости от задачи и доступных ресурсов.
Список литературы _
1. Кудаев Б. В., Шавгулидзе С. Н., Залетинский Р. В. Механизмы обработки естественного языка в вопросно-ответных системах // Проблемы информатики и моделирования. 2017. № 4 (34). С. 44-51.
2.Коренева А. В. Вопросно-ответные системы на основе семантических моделей // Молодежь и наука: новые идеи в науке и технике. 2018. Т. 2, № 2 (7). С. 6-10.
3. Ахтямов А. И., Ахтямова Н. Р. Разработка вопросно-ответной системы на основе алгоритмов машинного обучения // Труды IV Международной научной конференции «Инновационные технологии в науке и образовании». 2017. С. 62-65.
4.Грабовой А. В. Обзор методов и подходов к построению вопросно-ответных систем // Информационно-аналитический журнал. 2019. № 1. С. 74-81.
5.Палагин А. В. Вопросно-ответные системы: анализ и прогноз // Известия высших учебных заведений. Поволжский регион. Технические науки. 2016. № 2 (34). С. 33-39.
6.Платонов Е. В. Методы и алгоритмы обработки естественного языка в вопросно-ответных системах // Вестник Компьютерных и Информационных Технологий. 2018. № 2 (16). С. 84-90.
7. Сабиров Р. Р. Анализ и разработка вопросно-ответных систем на основе искусственного интеллекта // Труды III Международной научной конференции «Информационные технологии и компьютерная инженерия». 2016. С. 22-26.
References_
1. Kudaev B. V., Shavgulidze S. N., Zaletinsky R. V. Mechanisms of natural language processing in question-and-answer systems. Problems of informatics and modeling. 2017. No. 4 (34). Pp. 44-51.
2. Koreneva A.V. Question-answer systems based on semantic models. Youth and science: new ideas in science and technology. 2018. Vol. 2, No. 2 (7). Pp. 6-10.
3. Akhtyamov A. I., Akhtyamova N. R. Development of a question-and-answer system based on machine learning algorithms. Proceedings of the IV International Scientific Conference "Innovative Technologies in Science and Education". 2017. Pp. 62-65.
4. Grabovoy A.V. Review of methods and approaches to the construction of question-answer systems. Information and analytical journal. 2019. No. 1. Pp. 74-81.
5. Palagin A.V. Question-answer systems: analysis and forecast. Izvestia of higher educational institutions. Volga region. Technical sciences. 2016. No. 2 (34). Pp. 33-39.
6. Platonov E. V. Methods and algorithms of natural language processing in question-and-answer systems. Bulletin of Computer and Information Technologies. 2018. No. 2 (16). Pp. 84-90.
7. Sabirov R. R. Analysis and development of question-answer systems based on artificial intelligence. Proceedings of the III International Scientific Conference "Information technologies and computer engineering". 2016. Pp. 22-26.
