CC BY
24Роль экспертных систем в лингвистических
исследованиях
Ринат Фаритович Бурнашев [email protected] Мадина Умидовна Насимова [email protected] Самаркандский государственный институт иностранных языков
Аннотация: В статье рассмотрены этапы разработки экспертных систем, основные принципы их функционирования. Наглядно рассмотрены алгоритмы решения лингвистических задач с помощью экспертных систем.
Ключевые слова: экспертная система, база знаний, машина вывода, пользовательский интерфейс, человек-эксперт, инженер по знаниям, распознавание устной речи, машинный перевод
The role of expert systems in linguistic research
Rinat Faritovich Burnashev [email protected] Madina Umidovna Nasimova [email protected] Samarkand State Institute of Foreign Languages
Abstract: The article discusses the stages of development of expert systems, the basic principles of their functioning. Algorithms for solving linguistic problems with the help of expert systems are clearly considered.
Keywords: expert system, knowledge base, output machine, user interface, human expert, knowledge engineer, speech recognition, machine translation
История появления экспертных систем началась в середине XX века в США. В 1950-е годы появились первые компьютеры, и научное сообщество заинтересовалось вопросом, как можно использовать компьютеры для решения экспертных задач, которые ранее решались только специалистами определённой области.
Первой экспертной системой считается Dendral, разработанная в Стэнфордском университете в 1965 году. Dendral была предназначена для определения химической структуры молекул на основе анализа спектральных
данных. Система обрабатывала информацию о химических элементах и соединениях и создавала гипотезы о структуре молекулы, которые затем проверялись экспертами.
В 1970-е годы экспертные системы стали активно развиваться в разных областях, включая медицину, финансы, инженерию и право. Одним из наиболее известных примеров экспертной системы является MYCIN, разработанная в Стэнфордском университете в 1976 году. MYCIN была предназначена для диагностики инфекционных заболеваний и решения вопросов по лечению, используя базу знаний, полученную от врачей и экспертов в этой области.
В 1980-е годы экспертные системы стали применяться в коммерческих проектах, включая системы для решения задач в области ценообразования, маркетинга и управления производством. В 1990-х годах с появлением Интернета и распространением компьютеров экспертные системы стали доступны для широкой аудитории и стали активно использоваться в различных сферах деятельности.
Сегодня экспертные системы достигли больших успехов во многих областях, включая лингвистику, медицину, финансы, производство и науку. Они продолжают развиваться, внедряя новые методы и технологии, которые позволяют получить более точные и надежные результаты.
Экспертная система - это программа, которая в состоянии заменить собой человека-эксперта в его профессиональной деятельности. Структурно экспертная система состоит из базы знаний, машины вывода и пользовательского интерфейса.
База знаний состоит из фактов и правил. Машина вывода обращается к базе знаний и преобразует запрос пользователя в ответ, задавая ему при необходимости вопросы, используя пользовательский интерфейс. Такая структура позволяет развивать экспертные системы, добавляя в нее новые знания, и при этом не требуется переписывать программу. Пустая экспертная система (без базы знаний) называется оболочкой и может использоваться для многих предметных областей.
Создание экспертной системы заключается в формализации, т.е. преобразования знаний эксперта в форму, которая требуется для оболочки экспертной системы. Иными словами, требуется человек-эксперт, который является носителем знаний и в состоянии эти знания сформулировать для занесения в базу знаний. Этот факт является определяющим для выбора экспертной системы в качестве инструмента решения задачи. Человек-эксперт далеко не всегда в состоянии изложить свои знания в том виде, как этого требует формат базы знаний. В таких случаях вступает в действие инженер по знаниям, который является «переводчиком» между экспертом и базой знаний.
Приведём примеры:
1) Экспертная система для решения лингвистической задачи: распознавание устной речи.
Алгоритм работы экспертной системы для распознавания устной речи может быть следующим:
1. Запись аудио сигнала: система записывает аудио сигнал, содержащий речь пользователя.
2. Дискретизация: аудио сигнал преобразуется в цифровой формат и дискретизуется для дальнейшей обработки.
3. Шумоподавление: система проводит шумоподавление для удаления нежелательных шумов и улучшения качества звучания.
4. Разделение речи на отдельные фрагменты: система проводит разделение аудио сигнала на отдельные фрагменты, которые соответствуют фразам и словам, произнесенным пользователем.
5. Извлечение признаков из аудио фрагментов: система использует алгоритмы обработки сигнала и извлекает признаки из каждого фрагмента, такие как относительная длительность, частотный диапазон, форма сигнала и другие параметры.
6. Сравнение справочных данных: система сравнивает извлеченные признаки с заранее подготовленными справочными данными, которые содержат примеры речи различных пользователей и соответствующий текст.
7. Определение результата: система производит определение текста, который наиболее точно соответствует аудио фрагменту.
8. Предоставление результата: система отображает текст на экране или произносит его вслух, чтобы пользователь мог убедиться в правильности распознавания.
Таким образом, алгоритм работы экспертной системы для распознавания устной речи включает в себя несколько этапов обработки и анализа аудио сигнала, а также использование справочных данных и алгоритмов обучения машинного изучения для повышения точности распознавания речи.
2) Экспертная система для решения лингвистической задачи: определение части речи слова. Экспертная система может быть разработана на основе базы данных, содержащей информацию о каждом слове в языке и его свойствах, а также грамматических правил для определения части речи.
При работе системы пользователь вводит слово в текстовое поле. Система начинает поиск слова в базе данных и сравнивает его с другими словами, которые имеют схожие свойства, такие как окончания, приставки и корни слов. Затем система применяет грамматические правила и анализирует контекст, чтобы определить, к какой части речи этого слова лучше всего отнести.
Например, если пользователь вводит слово «быстрый», система найдет его в базе данных и определит, что это прилагательное. Если пользователь вводит слово «бежать», система найдет его и определит, что это глагол.
Такая экспертная система может быть полезна для лингвистического анализа текстов, перевода и других задач, где необходимо определить часть речи слова. Она может использоваться в различных областях, где язык - ключевой элемент, например, при анализе содержания текстов, создании машинного перевода, автоматической обработке естественного языка и других лингвистических исследованиях.
3) Экспертная система для решения лингвистической задачи: машинный перевод на основе правил.
Алгоритм работы экспертной системы для машинного перевода на основе правил может быть следующим:
1. Анализ исходного текста: система получает и анализирует исходный текст, который требуется перевести.
2. Разбиение на отдельные предложения: система разделяет исходный текст на отдельные предложения, которые будут переводиться по отдельности.
3. Разбиение на отдельные слова: в предложении система разделяет слова на отдельные лексемы.
4. Определение частей речи: система определяет части речи каждого слова, используя грамматические правила и справочные данные.
5. Создание структуры предложения на целевом языке: на основе правил грамматики и синтаксиса целевого языка, система создает структуру предложения для последующего перевода.
6. Подбор аналоговых слов: система выбирает наилучшие варианты перевода каждого слова, используя словарные данные и правила перевода.
7. Построение целого предложения на целевом языке: система объединяет перевод каждого слова, чтобы получить полное предложение на целевом языке.
8. Генерация перевода: система генерирует перевод для каждого предложения, используя правила перевода и справочные данные.
9. Исправление ошибок: система производит проверку и исправление грамматических ошибок и ошибок перевода, используя дополнительные правила и справочные данные.
10. Вывод результата: система выводит итоговый перевод, который может быть представлен либо в виде текста, либо в устной форме.
Таким образом, алгоритм работы экспертной системы для машинного перевода на основе правил включает в себя несколько этапов анализа и обработки исходного текста, а также использование справочных данных и правил грамматики и синтаксиса для повышения качества перевода.
4) Экспертная система для решения лингвистической задачи: статистический машинный перевод.
Алгоритм работы экспертной системы для статистического машинного перевода может быть следующим:
1. Кодирование исходного текста: входной текст, который нужно перевести на другой язык, кодируется в виде последовательности слов и фраз.
2. Построение модели языка: на основе большого корпуса текстов на обоих языках, строится статистическая модель языка для каждого языка. В модель включаются частоты встречаемости слов и словосочетаний, их вероятности и другие статистические параметры.
3. Построение модели перевода: на основе параллельного корпуса текстов на обоих языках, строится статистическая модель перевода, которая определяет вероятности перевода каждого слова и словосочетания с одного языка на другой.
4. Выравнивание слов и фраз: на основе модели перевода выравниваются слова и фразы в исходном и целевом текстах.
5. Машинный перевод: на основе статистических моделей языка и перевода, экспертная система составляет целевой текст, используя максимально вероятные переводы для каждого слова или словосочетания из исходного текста.
6. Проверка на ошибки: созданный перевод проверяется на наличие ошибок, как синтаксических, так и семантических.
7. Вывод результата: если перевод не содержит ошибок, то результат сохраняется и выводится пользователю экспертной системы. Если же замечены какие-либо ошибки, то экспертная система сообщает об этом пользователю и предлагает исправить перевод.
Экспертные системы являются эффективным инструментом в лингвистических исследованиях. Они могут использоваться для анализа и классификации текстов, а также для выявления особенностей языка, его семантики и грамматики. С помощью экспертных систем можно автоматизировать процессы анализа данных и обработки текстов, что позволяет значительно сократить время проведения исследований и увеличить точность результатов.
Еще одной областью применения экспертных систем в лингвистике является анализ диалектов и исследование истории языка. Экспертные системы могут использоваться для автоматической классификации диалектов, а также для выявления схожих и отличных языковых конструкций. Это позволяет лингвистам более точно определить географическое распространение языковых групп и изменения в языке на протяжении времени.
Также экспертные системы находят применение в исследовании языковой политики. Они могут использоваться для выявления языковых индикаторов и
тенденций в социальных и культурных группах, что позволяет лингвистам более точно определить языковые потребности и разработать соответствующие языковые политики.
Таким образом, экспертные системы являются полезным инструментом для лингвистов, позволяющим автоматизировать многие процессы исследований и значительно ускорить процесс получения результатов.
Использованная литература
1. Бурнашев Р.Ф., Бурнашева Ф.С., Норжигитова Ш.А. Нейролингвистическое программирование как инструмент информационно -психологического манипулирования // ЕВРОПА, НАУКА И МЫ: сборник научных публикаций международной научно-практической конференции. -Издательство «Education and Science» Чехия, Прага. - 2020. - С. 85-87.
2. Аламова А. С., Бурнашев Р. Ф. Контент-анализ как инструментарий квантитативной лингвистики при изучении художественных текстов //Science and Education. - 2022. - Т. 3. - №. 12. - С. 1188-1200.
3. Бурнашев Р.Ф., Аламова А.С. Квантитативная лингвистика и искусственный интеллект //Science and Education. - 2022. - Т. 3. - №2. 11. - С. 13901402.
4. Сайфуллаева С. О., Бурнашев Р. Ф. Роль англицизмов в современном молодежном жаргоне //Science and Education. - 2023. - Т. 4. - №. 1. - С. 12371250.
5. Бурнашев Р.Ф., Ахророва Ф.Р. Роль информационных технологий в определении частотных характеристик объектов //Science and Education. - 2022. -Т. 3. - №. 11. - С. 571-582.
6. Бурнашев Р. Ф., Фаррухова Ф. Ш. Лингвистический корпус как база для организации информационного поиска //Science and Education. - 2021. - Т. 2. - №. 3.
7. Бурнашев Р. Ф., Мирзаева А. Б. Контент-анализ как инструментарий квантитативной лингвистики //Science and Education. - 2022. - Т. 3. - №. 12. - С. 1201-1210.
8. Бурнашев Р. Ф., Мустафина А. Д. Синтаксический анализ как инструментарий квантитативной лингвистики //Science and Education. - 2022. -Т. 3. - №. 12. - С. 1211-1220.
9. Насырова Г. Н., Амонова Ш. Х., Бурнашев Р. Ф. Обзор современных сервисов и программного обеспечения квантитативной лингвистики //Science and Education. - 2022. - Т. 3. - №. 12. - С. 450-462.
10. Мансур Ж. Д. Н. З., Саттарова А. Т., Бурнашев Р. Ф. Роль лингвистических корпусов в создании и совершенствовании систем машинного перевода //Science and Education. - 2022. - Т. 3. - №. 2. - С. 1348-1358.
11. Мардиева Р. А. и др. Обучение иностранным языкам с помощью IT технологий //Science and Education. - 2022. - Т. 3. - №. 6. - С. 1173-1180.
12. Бурнашев Р. Ф., Ахадова Ш. С., Нематуллаева Н. Б. К вопросу об особенностях лингвистических корпусов второго и третьего поколений //ЕВРОПА, НАУКА И МЫ: сборник научных публикаций международной научно-практической конференции.-Издательство «Education and Science» Чехия, Прага. - 2021. - С. 77-79.
13. Бурнашев Р. Ф., Болтаева Н. С., Абилова К. М. Применение лингвистических корпусов для определения сложности текста //ЕВРОПА, НАУКА И МЫ: сборник научных публикаций международной научно-практической конференции.-Издательство «Education and Science» Чехия, Прага.
- 2021. - С. 79-82.
14. Бурнашев Р. Ф., Нематуллаева Н. Б., Худоярова П. Н. Роль лингвистических корпусов в научных исследованиях //SCIENCE AND EDUCATION: сборник научных публикаций международной научно-практической конференции. - Турция, Анталия. - 2021. - С. 126-128.
15. Бурнашев Р. Ф., Фаррухова Ф. Ш. Особенности использования облачных технологий в современных условиях //Science and Education. - 2021. - Т. 2. - №. 3.
- С. 200-205.
16. Бурнашев Р.Ф., Бурнашева Ф.С., Аббасова З.Р., Абдусалямова Т.А. Информационные технологии как фактор повышения эффективности организации самостоятельной работы студентов высших учебных заведений // Проблемы развития высоких технологий. Том 2: сборник статей Девятнадцатой международной научно-практической конференции «Высокие технологии в индустрии и экономике». 20-22 мая 2015 года, Санкт-Петербург. Россия / научные редакторы Кудинов А.П., Кудинов И.А., Крылов Б.В. СПб.: Изд-во Политехнического ун-та, 2015. - С 14-17.
17. Бурнашев Р. Ф., Бурнашева Ф. С., Тамаева Д. Р. Роль новых информационных технологий в преобразовании социума на пороге информационного общества //Science and Education. - 2020. - Т. 1. - №. 3. - С. 250254.
18. Бурнашев Р. Ф., Бурнашева Ф. С., Абдувохидова Ш. А. Становление и развитие теоретической инноватики на современном этапе //Science and Education. - 2020. - Т. 1. - №. 2. - С. 173-178.
19. Бурнашев Р. Ф., Бурнашева Ф. С. Разработка модели инновационного развития информационно-образовательной среды высшего учебного заведения
//Технологическое образование и устойчивое развитие региона. - 2012. - Т. 1. -№. 1-1. - С. 80-87.
20. Муминова О.М., Бурнашев Р.Ф. Реализация проектно-поискового метода в организации самостоятельной работы студентов //Инновация. - 2008. -Т. 2008. - С. 59.
21. Бурнашева Ф. С., Бурнашев Р. Ф., Сеит-Энон М. А. Эффективные методы организации самостоятельной работы студентов с использованием информационно-коммуникационных технологий //Инновация. - 2007. - С. 71.
22. Бурнашев Р. Ф., Бурнашева Ф. С., Иршодова И. А. Использование электронных образовательных ресурсов для повышения эффективности самостоятельной работы студентов //Технологическое образование и устойчивое развитие региона. - 2014. - Т. 1. - №. 1-1. - С. 220-224.
23. Бурнашев Р. Ф., Убайдуллаева У.А., Сайдуллаева З.Л. Цифровая трансформация образовательного процесса и цифровая дидактика //Science and Education. - 2022. - Т. 3. - №. 1. - С. 345-350.
24. Бурнашев Р.Ф., Турсунова Ф.Ж., Оганян С.С. Роль современных педагогических и цифровых технологий в системе образования //Science and Education. - 2022. - Т. 3. - №. 1. - С. 339-344.
25. Бурнашев Р.Ф., Инкачилова А.М., Нематуллаева Н.Б. Роль цифровизации образовательного процесса в формировании цифровой образовательной среды. // Сборник научных трудов по материалам XXXVIII Международной научно-практической конференции «Наука. Образование. Инновации» (Россия, Анапа, 12 января 2022 г.). - Анапа: Изд-во «НИЦ ЭСП» в ЮФО, 2022. ISBN 978-5-95283-768-3. - С. 115-121.
26. Бурнашева Ф. С. и др. Психологические особенности общения в открытых информационных системах //Science and Education. - 2020. - Т. 1. - №. 2. - С. 364-367.
27. Бурнашев Р. Ф. и др. Информационно-коммуникационные технологии как фактор повышения эффективности организации обучения специальным дисциплинам //Непрерывное образование в современном мире: история, проблемы, перспективы. - 2016. - С. 236-239.
28. Бурнашева Ф. С., Бурнашев Р. Ф., Аллаёрова Н. А. Внедрение модульной объектно-ориентированной динамической обучающей среды для организации самостоятельной работы студентов вузов //Образование. Технология. Сервис. -2015. - Т. 1. - №. 1. - С. 57-62.
29. Бурнашев Р. Ф. и др. Применение современных систем управления контентом (CMS) в системе высшего образования при переходе на модульную систему обучения //Образование. Технология. Сервис. - 2015. - Т. 1. - №. 1. - С. 51-57.
30. Бурнашев Р.Ф., Бурнашева Ф.С. Использование электронных образовательных ресурсов в самостоятельной работе студентов //Образование. Технология. Сервис. - 2014. - Т. 1. - №. 1. - С. 113-117.
31. Бурнашев Р. Ф., Джуракулова С. Ш., Рустамова З. Р. Технология процесса обучения как процедура совместной деятельности преподавателя и студента //Science and Education. - 2022. - Т. 3. - №. 2. - С. 1384-1391.
32. Бурнашев Р. Ф., Бурнашева Ф. С., Арипова Ф. З. Информатика как предметная область инновационной деятельности в организации учебного процесса в современных условиях //Инновационное развитие науки и образования: сборник научных публикаций международной научно-практической конференции (Казахстан, Павлодар. - 2020. - С. 255-257.
33. Бурнашева Ф. С., Бурнашев Р. Ф., Абдусалямова Т.А., Нумонжонова И.Р. Роль прикладных информационных технологий в обучении высшей математике //Образование. Технология. Сервис. - 2015. - Т. 1. - №. 1. - С. 119-125.
34. Джуракулова С. Ш. и др. Методы мониторинга активности пользователя в сети Интернет в целях обеспечения безопасности в киберпространстве //Science and Education. - 2022. - Т. 3. - №. 7. - С. 76-85.
35. Бурнашев Р. Ф., Нематуллаева Н. Б. Особенности информационных образовательных технологий XXI века //Science and Education. - 2021. - Т. 2. - №. 3.
36. Каримова Ш.В. и др. Преимущества мультимедийной дидактики в обучении английскому языку //Science and Education. - 2020. - Т. 1. - №. 3. - С. 670-675.
37. Бурнашев Р.Ф., Абдусамадова Ш.Ш. Особенности организации инклюзивного образования. // Сборник научных трудов по материалам XXX Международной научно-практической конференции «Современное состояние и перспективы развития науки и образования» (Россия, Анапа, 07 января 2022 г.). - Анапа: Изд-во «НИЦ ЭСП» в ЮФО, 2022. ISBN 978-5-95283-765-2. - С. 56-61.
38. Melikova M. N. History of philosophy: textbook //DOI: http://doi. org/10.37057/M_13. - Т. 1.
39. Melikova M. The concept of a harmonically developed personality in the spiritual heritage of Alisher Navoi //European Journal of Research. - 2020. - Т. 5. -№. 1. - С. 29-33.29.
40. Melikova M. Towards a philosophical analysis of Alisher Navoi's heritage //Journal of Advanced Research in Dynamical and Control Systems. - 2020. - Т. 12. -№. 6. - С. 1112-1116.
41. Меликова М. Н. Развитие культуры и преобразования в области туризма в городах Средней Азии //Innovative processes in economic, social and spiritual spheres of life of society. - 2018. - С. 15-17.
42. Melikova M. N. The concept of wahdad ul wujud in the spiritual heritage of Alisher Navoi //Academicia Globe: Inderscience Research. - 2022. - Т. 3. - №. 3. -С. 1-7.
43. Меликова М. Н. Философский анализ духовного наследия Алишера Навои //Философия и жизнь Международный журнал. - 2022. - №. SI-1.
44. Меликова М. Вопросы исторического познания в духовном наследии Алишера Навои //Общество и инновации. - 2021. - Т. 2. - №. 2. - С. 93-98.
45. Меликова М. К вопросу об исторических ценностях и традициях в национальном самосознании //Fuqarolik jamiyati. Гражданское общество. - 2019.
- Т. 16. - №. 1. - С. 73-76.
46. Melikova M. N. A hermeneutic approach to the study of the spiritual heritage of Alisher Navoi //Thematics Journal of Social Sciences. - 2021. - Т. 7. - №. 6.
47. Melikova M. N. Issues of social stratification of society in the writings of Alisher Navoi //International Journal of Philosophical Studies and Social Sciences. -2021. - Т. 1. - №. 2. - С. 15-20.
48. Меликова М. Н. Концепция бытия в духовном наследии Алишера Навои //Falsafa va hayot Xalqaro jurnal. - С. 111.
49. Меликова М. Н. К вопросу взаимозависимости культуры и образования // Интернаука. - 2017. - №. 11-1. - С. 96-97.
50. Меликова М.Н. Культурно-просветительская жизнь в странах Азии //Сборники конференций НИЦ Социосфера. - Vedecko vydavatelske centrum Sociosfera-CZ sro, 2017. - №. 18. - С. 39-42.
51. Меликова М. Н. К вопросу о методах и средствах развития культуры и сохранения традиций в процессе социальных преобразований в странах Азии //Философия в современном мире. - 2017. - С. 132-138.
52. Меликова М. Н. Историческое сознание в контексте патриотического воспитания молодежи //К,адимий Жиззах вохдси-марказий Осиё цивилизацияси тизимида (сиёсий, щтисодий, маданий хдёт). - С. 261.
53. Melikova M. N. The concept of wahdad ul wujud in the spiritual heritage of Alisher Navoi //Academicia Globe: Inderscience Research. - 2022. - Т. 3. - №. 03. - С. 105-111
54. Абдуазизова Д.А., Бурнашев Р.Ф. Психология личности и межличностных отношений в информационном обществе //Science and Education. - 2022. - Т. 3. - №. 11. - С. 974-982.
55. Рустамова Д. Р., Саматова Н. Т., Бурнашев Р. Ф. Классификация современных электронных средств информации //Science and Education. - 2022.
- Т. 3. - №. 12. - С. 434-449.
