CC BY
204Роль нейронных сетей в лингвистических исследованиях
Ринат Фаритович Бурнашев rinat.burnashev@inbox.ru Азиза Сухробовна Аламова alamova_a_s@samdchti.uz Самаркандский государственный институт иностранных языков
Аннотация: В статье рассмотрены этапы развития технологий искусственного интеллекта на базе нейронных сетей. Наглядно показан процесс создания и использования нейронной сети на примере задачи оптического распознавания символов и приведены лингвистические задачи, решаемые с помощью нейронных сетей.
Ключевые слова: нейронная сеть, лингвистика, нейролингвистика, искусственный интеллект, оптическое распознавание символов, естественный язык, машинный перевод, интеллектуальные агенты, роботы
The role of neural networks in linguistic research
Rinat Faritovich Burnashev rinat.burnashev@inbox.ru Aziza Sukhrobovna Alamova alamova_a_s@samdchti.uz Samarkand State Institute of Foreign Languages
Abstract: The article discusses the stages of development of artificial intelligence technologies based on neural networks. The process of creating and using a neural network is illustrated by the example of the problem of optical character recognition and linguistic problems solved with the help of neural networks are presented.
Keywords: neural network, linguistics, neuro-linguistics, artificial intelligence, optical character recognition, natural language, machine translation, intelligent agents, robots.
История появления нейронных сетей восходит к середине XX века, когда в 1943 году американский теоретик искусственных нейронных сетей Уоррен Маккаллок и американский нейролингвист Уолтер Питтс исследовали способность нервных клеток мозга обрабатывать информацию и предложили модель искусственного нейрона, которая была основана на биологическом
принципе работы нейронов. Они описали модель искусственного нейрона (называемую также «нейробионикой») и применили ее для решения логических задач.
В 1956 году американский информатик, автор термина «искусственный интеллект» Джон Маккарти предложил идею использования нейронных сетей для решения задач искусственного интеллекта. Эта идея стала основой для развития области искусственных нейронных сетей.
В 1960-х годах американский учёный в области психологии, нейрофизиологии и искусственного интеллекта Фрэнк Розенблатт разработал персептрон, основную модель нейронной сети, состоящей из одного или нескольких слоев искусственных нейронов. Персептрон был использован для решения задач классификации и распознавания образов.
Однако в 1970-х годах исследователи обнаружили ограничения персептрона и высказали критику на его способность решать сложные задачи. Однако в 1980-х годах появилась новая модель нейронной сети - многослойный персептрон, который использовался для решения широкого круга задач, в том числе распознавания речи и обработки изображений.
С тех пор исследования в области нейронных сетей продолжаются и активно развиваются, включая использование глубоких нейронных сетей, которые позволяют обрабатывать сложные данные и решать задачи, которые ранее казались недоступными.
Нейронная сеть представляет собой совокупность нейронов -вычислительных элементов (иногда называемых персептронами), каждый из которых имеет несколько входов-синапсов и один выход-аксон.
Интеллект одиночного нейрона (рис. 1) невысок. Можно считать, что он реализует в сети простую регрессионную модель для N независимых переменных. Если же объединить множество нейронов, в сетевые структуры, то и реализуемая функция может быть сколь угодно сложной.
Хы
Рис. 1. Одиночный нейрон Изображенная на рисунке 2 сеть имеет явно выраженные слои, т. е. ряды нейронов, равноудаленные от входа (выхода). Могут создаваться и другие структуры, в том числе с обратными связями (рекуррентные).
Рис. 2. Нейронная сеть Реализация такой сети может быть аппаратной, когда каждый нейрон выполнен на отдельном микропроцессоре, или программной, если нейроны эмулируются в специальных программах, подобных электронным таблицам.
Структура отдельного нейрона может быть произвольной, но чаще всего используется следующая (рис. 3):
Рис. 3. Структура нейрона Входные сигналы (переменные) X; взвешиваются (умножаются на коэффициенты Ш, называемые синаптическими весами), затем суммируются, и полученная взвешенная сумма 5 = ШгХг + Ш2Х2 + ... + подвергается
изменению функцией /(5), называемой функцией активации. Выходной сигнал У также может повергаться взвешиванию (масштабированию).
Аналогия с мозгом не заканчивается на структуре нейрона и сети нейронов. Из природы позаимствована также идея обучения нейронных сетей. Известно, что человеческий мозг способен к самообучению, причем достигает успехов зачастую, не зная природы процессов, лежащих в основе выполняемых действий. Например, чтобы попасть мячом в баскетбольное кольцо, робот-баскетболист должен измерить расстояние до кольца и направление, рассчитать параболическую траекторию, и совершить бросок с учетом массы мяча и сопротивления воздуха. Человек же обходится без этого только через тренировки. Многократно совершая броски и наблюдая результаты, он корректирует свои действия, постепенно совершенствуя свою технику. При этом в его мозгу формируются соответствующие структуры нейронов, отвечающие за
технику бросков. Таким образом, непременным атрибутом обучения является многократное повторение и возможность немедленной оценки полученного результата.
Для нейронных сетей это процесс может быть представлен следующим алгоритмом (рис. 4).
-> -► Формирование структуры сети
г
Обучение
1
Тестирование
Использование
Рис. 4. Процесс создания и использования нейронной сети Выбор структуры нейросети представляет собой отдельную задачу и заключается в выборе топологии сети и функций активации каждого нейрона. Вначале параметры нейронов устанавливаются произвольно.
Обучение заключается в том, что на вход сети подаются специальные тренировочные данные, то есть такие входные данные, выходной результат для которых известен. На выходе формируются результирующие данные, результаты сравниваются с ожидаемыми, и вычисляется значение ошибки. После этого в определенной последовательности выполняется коррекция параметров нейросети с целью минимизации функции ошибки. Если удовлетворительной точности достигнуть не удается, следует изменить структуру сети и повторить обучение на множестве тренировочных данных.
После того, как сеть обучена, выполняется тестирование, то есть контроль точности на специальных тестовых данных. Это означает, что все данные следует разбить на два подмножества: на первом из них выполняется обучение сети, а на втором - тестирование. Это разбиение может быть случайным или регулярным, например, каждая вторая запись исходного массива данных может использоваться для тестирования. Тестирование от обучения отличается тем, что на тестовых данных только проверяется точность, а, поскольку эти данные не используются для подбора параметров сети, они могут служить критерием качества обучения. По аналогии с обучением человека тестирование можно уподобить экзамену.
В качестве примера рассмотрим задачу оптического распознавания
символов. Пусть на вход сети в качестве входных сигналов подается матрица точек выделенного фрагмента изображения, соответствующая распознаваемому
символу (рис. 5).
Рис. 5. Нейронная сеть в задаче распознавания символов
Пусть на вход сети подается матрица точек распознаваемого знака. На выходе формируются сигналы, соответствующие распознанному знаку. Обучение сети заключается в многократном «предъявлении» сети разных вариантов начертания символов вместе с готовыми «ответами».
Заметим, что сеть не пытается запомнить все возможные варианты начертания каждого символа, а лишь формирует выходной сигнал Yj = f(X1, Х2,..., XN) как функцию от входных переменных. Заметим, что такой подход к распознаванию текстов обладает существенным преимуществом перед прочими в быстродействии. Так же и человек: чтобы прочитать текст, не спрашивает названия шрифта, и не ищет в памяти все возможные начертания символов. Ассоциации в мозгу устанавливаются мгновенно.
Задача обучения сети имеет огромную размерность. Так, для обучения сети, состоящей всего из 10 нейронов, в каждом из которых по 3 синапса, необходимо подобрать значения по меньшей мере 40 параметров (30 значений Wj -синаптических весов, и 10 параметров функций активации Xi). Если каждый из параметров подбирать с дискретностью 1/100, то общее число прогонов сети на множестве тренировочных данных составит 10040. Очевидно, что такая задача не под силу даже суперкомпьютерам.
Данная задача удовлетворительно решается с помощью алгоритма обратного распространения (back propagation), который заключается в следующем.
Вначале все параметры сети устанавливаются произвольно.
1. Через сеть прогоняются тренировочные данные, и вычисляется суммарная функция ошибки Е = sum(E2), где Ei = Yi — yi, Yi - вычисленное значений выходной величины, уi - ожидаемое значение.
2. Вычисляется значение производных функции ошибки по каждому параметру, а на их основе - расчет поправок к параметрам нейронной сети.
3. Параметры сети корректируются на величину поправок, после чего шаги 2 и 3 повторяется с начала до тех пор, пока функция ошибки не снизится до заданного уровня.
Несмотря на простоту, данный алгоритм является весьма трудоемким, и его ускорение представляет собой актуальную задачу.
Если в результате обучения не был получен удовлетворительный результат, то необходимо изменить структуру сети. Это может быть сделано вручную, либо структура может выбираться из заранее созданного набора (библиотеки структур). Программные продукты, поддерживающие такие решения, существуют. Но наиболее удачным следует признать подход, при котором структура сети формируется автоматически. Примером может служить нейросеть NGO компании BioComp Systems Inc. (www.biocompsystems.com).
Данный подход заключается в применении к этой задаче генетических алгоритмов. Дело в том, что в процессе обучения сети выявляются «сильные» нейроны и связи между ними (чувствительные к изменению параметров) и «слабые» (параметры которых можно менять произвольно без существенного влияния на конечный результат). Используя эти данные, можно управлять популяцией нейронов. Слабые нейроны и синапсы должны отмирать, а для развития структуры, а также чтобы предотвратить всеобщее «вымирание», сеть подвергается «мутации»: в нее случайным образом или другим способом, например, для усиления «сильных» нейронов добавляются новые нейроны и синаптические связи. Таким образом, через множество поколений, количество которых может достигать десятков тысяч, сеть будет иметь оптимальную структуру.
В связи с этим может возникнуть вопрос: а зачем тратить такое количество времени на оптимизацию структуры сети, если обучение сети максимальной размерности с полным набором связей займет заведомо меньшее время? К тому же ранее было сказано, что быстродействие обученной нейронной сети достаточно велико.
Причины здесь две. Первая заключается в том, что зачастую обученная сеть в дальнейшем реализуется на другой платформе, в частности, на аппаратном уровне. Вторая причина - оптимизация часто приводит к существенному снижению количества входных переменных за счет исключения избыточных, не влияющих на конечный результат. Этот факт придает нейросетям качественно новое свойство: можно не заботиться о том, какие входные данные являются важными, а какие нет - в процессе обучения лишние будут отброшены. В статистике подобную функцию выполняют пошаговая линейная регрессия, дисперсионный и факторный анализ.
Нейронные сети стали неотъемлемой частью лингвистических исследований, благодаря своей способности к анализу и обработке языковых данных. Они широко используются в различных областях лингвистики, начиная от анализа и распознавания текстов, и заканчивая разработкой интеллектуальных
агентов и систем машинного перевода.
Одним из основных преимуществ нейронных сетей в лингвистических исследованиях является их способность к адаптации к сложным и нерегулярным языковым структурам. Использование нейронных сетей позволяет исследователям извлекать более точную информацию из текстов и других языковых данных, чем это было бы возможно с использованием традиционных методов анализа.
Одной из областей лингвистических исследований, где нейронные сети нашли широкое применение, является обработка естественного языка (Natural Language Processing, NLP). С помощью нейросетей исследователи могут создавать модели, которые могут «понимать» и «генерировать» текст, модели, способные классифицировать языковые элементы, определять тональность текстов и др.
Нейронные сети также применяются в машинном переводе. Они позволяют создавать модели, способные переводить тексты на различные языки, в том числе нестандартные и диалектные варианты, благодаря чему улучшается качество перевода.
Наконец, используя нейронные сети, можно создавать интеллектуальных агентов и роботов, способных общаться и взаимодействовать с людьми на естественном языке.
Таким образом, использование нейронных сетей в лингвистике позволяет решать многие задачи более эффективно и точно, и открывает новые возможности для исследований в этой области.
Использованная литература
1. Бурнашев Р.Ф., Бурнашева Ф.С., Норжигитова Ш.А. Нейролингвистическое программирование как инструмент информационно-психологического манипулирования // ЕВРОПА, НАУКА И МЫ: сборник научных публикаций международной научно-практической конференции. -Издательство «Education and Science» Чехия, Прага. - 2020. - С. 85-87.
2. Аламова А. С., Бурнашев Р. Ф. Контент-анализ как инструментарий квантитативной лингвистики при изучении художественных текстов //Science and Education. - 2022. - Т. 3. - №. 12. - С. 1188-1200.
3. Бурнашев Р.Ф., Аламова А.С. Квантитативная лингвистика и искусственный интеллект //Science and Education. - 2022. - Т. 3. - №2. 11. - С. 13901402.
4. Сайфуллаева С. О., Бурнашев Р. Ф. Роль англицизмов в современном молодежном жаргоне //Science and Education. - 2023. - Т. 4. - №. 1. - С. 12371250.
5. Бурнашев Р.Ф., Ахророва Ф.Р. Роль информационных технологий в определении частотных характеристик объектов //Science and Education. - 2022. -Т. 3. - №. 11. - С. 571-582.
6. Бурнашев Р. Ф., Фаррухова Ф. Ш. Лингвистический корпус как база для организации информационного поиска //Science and Education. - 2021. - Т. 2. - №. 3.
7. Бурнашев Р. Ф., Мирзаева А. Б. Контент-анализ как инструментарий квантитативной лингвистики //Science and Education. - 2022. - Т. 3. - №. 12. - С. 1201-1210.
8. Бурнашев Р. Ф., Мустафина А. Д. Синтаксический анализ как инструментарий квантитативной лингвистики //Science and Education. - 2022. -Т. 3. - №. 12. - С. 1211-1220.
9. Насырова Г. Н., Амонова Ш. Х., Бурнашев Р. Ф. Обзор современных сервисов и программного обеспечения квантитативной лингвистики //Science and Education. - 2022. - Т. 3. - №. 12. - С. 450-462.
10. Мансур Ж. Д. Н. З., Саттарова А. Т., Бурнашев Р. Ф. Роль лингвистических корпусов в создании и совершенствовании систем машинного перевода //Science and Education. - 2022. - Т. 3. - №. 2. - С. 1348-1358.
11. Мардиева Р. А. и др. Обучение иностранным языкам с помощью IT технологий //Science and Education. - 2022. - Т. 3. - №. 6. - С. 1173-1180.
12. Бурнашев Р. Ф., Ахадова Ш. С., Нематуллаева Н. Б. К вопросу об особенностях лингвистических корпусов второго и третьего поколений //ЕВРОПА, НАУКА И МЫ: сборник научных публикаций международной научно-практической конференции.-Издательство «Education and Science» Чехия, Прага. - 2021. - С. 77-79.
13. Бурнашев Р. Ф., Болтаева Н. С., Абилова К. М. Применение лингвистических корпусов для определения сложности текста //ЕВРОПА, НАУКА И МЫ: сборник научных публикаций международной научно-практической конференции.-Издательство «Education and Science» Чехия, Прага.
- 2021. - С. 79-82.
14. Бурнашев Р. Ф., Нематуллаева Н. Б., Худоярова П. Н. Роль лингвистических корпусов в научных исследованиях //SCIENCE AND EDUCATION: сборник научных публикаций международной научно-практической конференции. - Турция, Анталия. - 2021. - С. 126-128.
15. Бурнашев Р. Ф., Фаррухова Ф. Ш. Особенности использования облачных технологий в современных условиях //Science and Education. - 2021. - Т. 2. - №. 3.
- С. 200-205.
16. Бурнашев Р.Ф., Бурнашева Ф.С., Аббасова З.Р., Абдусалямова Т.А. Информационные технологии как фактор повышения эффективности
организации самостоятельной работы студентов высших учебных заведений // Проблемы развития высоких технологий. Том 2: сборник статей Девятнадцатой международной научно-практической конференции «Высокие технологии в индустрии и экономике». 20-22 мая 2015 года, Санкт-Петербург. Россия / научные редакторы Кудинов А.П., Кудинов И.А., Крылов Б.В. СПб.: Изд-во Политехнического ун-та, 2015. - С 14-17.
17. Бурнашев Р. Ф., Бурнашева Ф. С., Тамаева Д. Р. Роль новых информационных технологий в преобразовании социума на пороге информационного общества //Science and Education. - 2020. - Т. 1. - №2. 3. - С. 250254.
18. Бурнашев Р. Ф., Бурнашева Ф. С., Абдувохидова Ш. А. Становление и развитие теоретической инноватики на современном этапе //Science and Education. - 2020. - Т. 1. - №. 2. - С. 173-178.
19. Бурнашев Р. Ф., Бурнашева Ф. С. Разработка модели инновационного развития информационно-образовательной среды высшего учебного заведения //Технологическое образование и устойчивое развитие региона. - 2012. - Т. 1. -№. 1-1. - С. 80-87.
20. Муминова О.М., Бурнашев Р.Ф. Реализация проектно-поискового метода в организации самостоятельной работы студентов //Инновация. - 2008. -Т. 2008. - С. 59.
21. Бурнашева Ф. С., Бурнашев Р. Ф., Сеит-Энон М. А. Эффективные методы организации самостоятельной работы студентов с использованием информационно-коммуникационных технологий //Инновация. - 2007. - С. 71.
22. Бурнашев Р. Ф., Бурнашева Ф. С., Иршодова И. А. Использование электронных образовательных ресурсов для повышения эффективности самостоятельной работы студентов //Технологическое образование и устойчивое развитие региона. - 2014. - Т. 1. - №. 1-1. - С. 220-224.
23. Бурнашев Р. Ф., Убайдуллаева У.А., Сайдуллаева З.Л. Цифровая трансформация образовательного процесса и цифровая дидактика //Science and Education. - 2022. - Т. 3. - №. 1. - С. 345-350.
24. Бурнашев Р.Ф., Турсунова Ф.Ж., Оганян С.С. Роль современных педагогических и цифровых технологий в системе образования //Science and Education. - 2022. - Т. 3. - №. 1. - С. 339-344.
25. Бурнашев Р.Ф., Инкачилова А.М., Нематуллаева Н.Б. Роль цифровизации образовательного процесса в формировании цифровой образовательной среды. // Сборник научных трудов по материалам XXXVIII Международной научно-практической конференции «Наука. Образование. Инновации» (Россия, Анапа, 12 января 2022 г.). - Анапа: Изд-во «НИЦ ЭСП» в ЮФО, 2022. ISBN 978-5-95283-768-3. - С. 115-121.
26. Бурнашева Ф. С. и др. Психологические особенности общения в открытых информационных системах //Science and Education. - 2020. - Т. 1. - №.
2. - С. 364-367.
27. Бурнашев Р. Ф. и др. Информационно-коммуникационные технологии как фактор повышения эффективности организации обучения специальным дисциплинам //Непрерывное образование в современном мире: история, проблемы, перспективы. - 2016. - С. 236-239.
28. Бурнашева Ф. С., Бурнашев Р. Ф., Аллаёрова Н. А. Внедрение модульной объектно-ориентированной динамической обучающей среды для организации самостоятельной работы студентов вузов //Образование. Технология. Сервис. -2015. - Т. 1. - №. 1. - С. 57-62.
29. Бурнашев Р. Ф. и др. Применение современных систем управления контентом (CMS) в системе высшего образования при переходе на модульную систему обучения //Образование. Технология. Сервис. - 2015. - Т. 1. - №. 1. - С. 51-57.
30. Бурнашев Р.Ф., Бурнашева Ф.С. Использование электронных образовательных ресурсов в самостоятельной работе студентов //Образование. Технология. Сервис. - 2014. - Т. 1. - №. 1. - С. 113-117.
31. Бурнашев Р. Ф., Джуракулова С. Ш., Рустамова З. Р. Технология процесса обучения как процедура совместной деятельности преподавателя и студента //Science and Education. - 2022. - Т. 3. - №. 2. - С. 1384-1391.
32. Бурнашев Р. Ф., Бурнашева Ф. С., Арипова Ф. З. Информатика как предметная область инновационной деятельности в организации учебного процесса в современных условиях //Инновационное развитие науки и образования: сборник научных публикаций международной научно-практической конференции (Казахстан, Павлодар. - 2020. - С. 255-257.
33. Бурнашева Ф. С., Бурнашев Р. Ф., Абдусалямова Т.А., Нумонжонова И.Р. Роль прикладных информационных технологий в обучении высшей математике //Образование. Технология. Сервис. - 2015. - Т. 1. - №. 1. - С. 119-125.
34. Джуракулова С. Ш. и др. Методы мониторинга активности пользователя в сети Интернет в целях обеспечения безопасности в киберпространстве //Science and Education. - 2022. - Т. 3. - №. 7. - С. 76-85.
35. Бурнашев Р. Ф., Нематуллаева Н. Б. Особенности информационных образовательных технологий XXI века //Science and Education. - 2021. - Т. 2. - №.
3.
36. Каримова Ш.В. и др. Преимущества мультимедийной дидактики в обучении английскому языку //Science and Education. - 2020. - Т. 1. - №. 3. - С. 670-675.
37. Бурнашев Р.Ф., Абдусамадова Ш.Ш. Особенности организации инклюзивного образования. // Сборник научных трудов по материалам XXX Международной научно-практической конференции «Современное состояние и перспективы развития науки и образования» (Россия, Анапа, 07 января 2022 г.).
- Анапа: Изд-во «НИЦ ЭСП» в ЮФО, 2022. ISBN 978-5-95283-765-2. - С. 56-61.
38. Melikova M. N. History of philosophy: textbook //DOI: http://doi. org/10.37057/M_13. - Т. 1.
39. Melikova M. The concept of a harmonically developed personality in the spiritual heritage of Alisher Navoi //European Journal of Research. - 2020. - Т. 5. -№. 1. - С. 29-33.29.
40. Melikova M. Towards a philosophical analysis of Alisher Navoi's heritage //Journal of Advanced Research in Dynamical and Control Systems. - 2020. - Т. 12. -№. 6. - С. 1112-1116.
41. Меликова М. Н. Развитие культуры и преобразования в области туризма в городах Средней Азии //Innovative processes in economic, social and spiritual spheres of life of society. - 2018. - С. 15-17.
42. Melikova M. N. The concept of wahdad ul wujud in the spiritual heritage of Alisher Navoi //Academicia Globe: Inderscience Research. - 2022. - Т. 3. - №. 3. -С. 1-7.
43. Меликова М. Н. Философский анализ духовного наследия Алишера Навои //Философия и жизнь Международный журнал. - 2022. - №. SI-1.
44. Меликова М. Вопросы исторического познания в духовном наследии Алишера Навои //Общество и инновации. - 2021. - Т. 2. - №. 2. - С. 93-98.
45. Меликова М. К вопросу об исторических ценностях и традициях в национальном самосознании //Fuqarolik jamiyati. Гражданское общество. - 2019.
- Т. 16. - №. 1. - С. 73-76.
46. Melikova M. N. A hermeneutic approach to the study of the spiritual heritage of Alisher Navoi //Thematics Journal of Social Sciences. - 2021. - Т. 7. - №. 6.
47. Melikova M. N. Issues of social stratification of society in the writings of Alisher Navoi //International Journal of Philosophical Studies and Social Sciences. -2021. - Т. 1. - №. 2. - С. 15-20.
48. Меликова М. Н. Концепция бытия в духовном наследии Алишера Навои //Falsafa va hayot Xalqaro jurnal. - С. 111.
49. Меликова М. Н. К вопросу взаимозависимости культуры и образования // Интернаука. - 2017. - №. 11-1. - С. 96-97.
50. Меликова М.Н. Культурно-просветительская жизнь в странах Азии //Сборники конференций НИЦ Социосфера. - Vedecko vydavatelske centrum Sociosfera-CZ sro, 2017. - №. 18. - С. 39-42.
51. Меликова М. Н. К вопросу о методах и средствах развития культуры и сохранения традиций в процессе социальных преобразований в странах Азии //Философия в современном мире. - 2017. - С. 132-138.
52. Меликова М. Н. Историческое сознание в контексте патриотического воспитания молодежи //К,адимий Жиззах вохдси-марказий Осиё цивилизацияси тизимида (сиёсий, щтисодий, маданий хдёт). - С. 261.
53. Melikova M. N. The concept of wahdad ul wujud in the spiritual heritage of Alisher Navoi //Academicia Globe: Inderscience Research. - 2022. - Т. 3. - №. 03. - С. 105-111
54. Абдуазизова Д.А., Бурнашев Р.Ф. Психология личности и межличностных отношений в информационном обществе //Science and Education. - 2022. - Т. 3. - №. 11. - С. 974-982.
55. Рустамова Д. Р., Саматова Н. Т., Бурнашев Р. Ф. Классификация современных электронных средств информации //Science and Education. - 2022. - Т. 3. - №. 12. - С. 434-449.
