CC BY
265
УДК 372.881.1
ПЕРСПЕКТИВЫ РАЗВИТИЯ НЕЙРОННОГО МАШИННОГО ПЕРЕВОДА В КОНТЕКСТЕ КОНЦЕПЦИИ ОТКРЫТОГО ОБРАЗОВАНИЯ
Владимир Викторович Котенко, старший преподаватель, Финансовый университет при Правительстве РФ, департамент языковой подготовки, Москва
Аннотация
Технологии машинного перевода постоянно совершенствуются, и современные инструменты для перевода основаны на технологии машинного обучения и искусственного интеллекта, что делает процесс перевода более оперативным и эффективным. В статье рассмотрены ключевые программные продукты с использованием этих технологий, рассмотрена их эффективность и потенциал применения в контексте развития открытого образования. Цель исследования состоит в том, чтобы определить направления совершенствования современных технологий перевода и их применения в современном образовании. Методика и организация исследования. В статье изучены ведущие программные продукты машинного перевода: Google Translate, ABBYY Lingvo, PROMT, а также система нейронного перевода с открытым кодом openNMT, разработанной специалистами Гарвардского университета. Выводы: применение искусственного интеллекта и машинного обучения привели к экспоненциальному росту качества перевода, при этом выделяются перспективные направления совершенствования анализируемых программных продуктов.
Ключевые слова: открытое образование, машинное обучение, нейронный перевод, искусственный интеллект, машинный перевод, компьютерная лингвистика.
DOI: 10.34835/issn.2308-1961.2020.4.p225-231
PROSPECTS FOR DEVELOPMENT OF NEURAL MACHINE TRANSLATION IN THE CONTEXT OF THE CONCEPT OF OPEN EDUCATION
Vladimir Viktorovich Kotenko, the senior teacher, Financial University under the Government of the Russian Federation, Department of Language Training, Moscow
Abstract
Machine translation technologies are constantly being improved, and modern translation tools are based on machine learning and artificial intelligence technologies, which makes the translation process more efficient and effective. The article considers key software products using these technologies, it considers their effectiveness and application potential, as well as their impact on society. The purpose of the study is to determine the direction of improvement of the modern translation technologies based on the latest developments in the field of artificial intelligence and machine learning. Methodology and organization of research. The article explores the leading machine translation software products: Google Translate, ABBYY Lingvo, PROMT, as well as the openNMT open-source neural translation system developed by Harvard University specialists. Conclusions: the use of artificial intelligence and machine learning led to the exponential increase in the quality of translation, while promising areas for improving the analyzed software products are highlighted.
Keywords: machine learning, neural translation, artificial intelligence, machine translation, computer linguistics.
Нейронный машинный перевод (NMT) является перспективным и многообещающим подходом, который способен устранить многие недостатки традиционных систем машинного перевода. Стоит отметить, что концептуальным «предком» нейронного перевода является статистический машинный перевод (SMT), который был доминирующей парадигмой перевода на протяжении нескольких десятилетий [6]. Практическая реализация SMT - это, как правило, фразеологические системы, которые переводят последовательности слов или фраз, длина которых может отличаться. Еще до появления прямого нейронного машинного перевода нейронные сети использовались в качестве компонента в системах SMT с некоторым успехом [1].
Модели нейронного машинного перевода часто оперируют словарями с фиксированными словами, даже несмотря на то, что перевод в основном осуществляется на основе открытого словаря (имена, числа, даты и т.д.). Существуют две широкие категории подходов к переводу слов из словарного запаса. Один из подходов состоит в том, чтобы просто скопировать редкие слова из источника (поскольку наиболее редкие слова - это имена или числа, где правильный перевод - просто копия), либо на основе модели внимания, с использованием модели внешнего выравнивания, или даже используя более сложную специализированную сеть. Другая широкая категория подходов заключается в использовании единиц подслов, например, символов, смешанных слов / символов.
Модели машинного перевода основаны на моделях от последовательности к последовательности, в которых у нас есть кодер, который изучает исходный язык, и декодер, который изучает целевой язык и декодирует закодированное исходное предложение.
Итак, кодер и декодер являются двумя основными компонентами системы перевода. Таким образом, они сохраняют контекст предложения, в отличие от простого перевода слова в слово без контекста.
Ключевое преимущество КМТ заключается в его способности изучать непосредственно процесс перевода исходного текста в связанный получившийся текст. Его архитектура обычно состоит из двух рекуррентных нейронных сетей (К№Ы), одна из которых используется для ввода исходной текстовой последовательности, а другая - для генерации переведенного текста [3]. С другой стороны, рекуррентные сети принимают в качестве входных данных не только текущий пример ввода, который они видят, но и историю переводов, которые были сделаны ранее.
Решение, которое рекуррентная сеть приняла на этапе 1-1 времени, влияет на решение, которое она примет на один момент позже на этапе 1. Таким образом, у таких сетей есть два источника информации: настоящее и недавнее прошлое, которые в совокупности определяют, как им следует обрабатывать новые данные.
Рекуррентные сети отличаются от сетей с прямой связью тем, что петля обратной связи связана с их прошлыми решениями. Часто отмечается, что рекуррентные сети обладают собственной памятью. Добавление памяти в нейронные сети имеет достаточно понятную цель: в самой последовательности есть информация, и рекуррентные сети используют ее для выполнения задач, которые сети с прямой связью не могут.
Эта информация сохраняется в рекуррентной сети, которой удается охватить много временных шагов, поскольку она учитывает прошлый опыт, который оказывает влияние на обработку каждого нового примера. Сеть находит корреляции между событиями, разделенными во времени, и эти корреляции называются «долговременными зависимостями», потому что событие, происходящее позднее, является функцией одного или нескольких событий, которые произошли ранее.
Подобно тому, как функционирует человеческая память, воздействуя на наше поведение, информация циркулирует в повторяющихся сетях. Тем не менее, как утверждает Т.В. Черниговская, процессы мышления у компьютерной программы и человека значительно отличаются: несмотря на возможность достижения практически одинаковой эффективности перевода, все же механизм распознавания и обработки текста различны [4]. Компьютер опирается на адресные ссылки и осуществляет поиск по содержанию, что позволяет говорить о более надежной и оперативной памяти таких программ, но в то же время необходимо отметить, что человек обладает гораздо большей свободой выбора, а также восприятием контекста, что на данный момент позволяет ему показывать более эффективные и корректные результаты, чем машина. Кроме того, компьютер распознает сигналы, опираясь на линейные маршруты, в то время как мышление человека проводит поиск по разным путям, постоянно находя для себя что-то новое.
Учитывая последовательность букв, рекуррентная сеть будет использовать первый символ, чтобы помочь определить восприятие второго символа, так что ввод первой бук-
вы может дать понять, какими будут последующие символы.
В NMT часто применяется так называемый механизм внимания, который помогает ему эффективно справляться с длинными исходными последовательностями. Преимущество нейронного машинного перевода по сравнению с «традиционным» машинным переводом заключается в том, что он осуществляет перевод на основе значительного массива внешних данных, а не только на базе заданных грамматических шаблонов и перевода отдельных слов. На практике, однако, первые системы NMT были хуже в плане точности, чем системы перевода на основе фраз, особенно при обучении на крупных наборах данных, которые используются для наиболее качественных общедоступных систем перевода.
С другой стороны, выделяются некоторые недостатки систем машинного перевода. Первый заключается в низкой скорости обучения и формирования выводов, неэффективности в работе с редкими словами и в некоторых случаях - отсутствие возможности перевести все слова в исходном предложении. Такие системы, как правило, требуют значительного объема времени и вычислительных ресурсов для обучения системы NMT в крупномасштабном наборе данных, что замедляет темпы внедрения этих инноваций [1].
Кроме того, современным системам NMT не хватает устойчивости в переводе редких слов [2]. Хотя этот недостаток возможно устранить уже на данном этапе, используя механизм внимания для копирования редких слов, этот подход ненадежен в масштабе, поскольку качество выравнивания варьируется в зависимости от языка, а скрытые выравнивания, создаваемые механизмом внимания, нестабильны. Простое копирование не всегда может стать лучшей стратегией для обработки редких слов, например, когда транслитерация представляется более подходящей.
Наконец, системы NMT иногда создают перевод, который не включает все части исходного предложения - другими словами, они не могут полностью обработать полученные данные, что может привести к низкой эффективности перевода.
Наиболее современным подходом являются сети долгой краткосрочной памяти, которые представляют собой тип рекуррентных нейронных сетей, в памяти которых сохраняется контекст от переводов. Ключевым преимуществом этого вида сетей является относительная невосприимчивость к длительности временных разрывов при совершении операций.
Далее необходимо проанализировать ключевые продукты машинного перевода, представленные на российском и международном рынке.
Google Translate - это бесплатный многоязычный сервис машинного перевода, разработанный Google. Он представлен в виде веб-сайта и мобильного приложения для Android и iOS. Его API помогает разработчикам создавать расширения для браузера и программные приложения. Google Translate поддерживает более 100 языков, как живых, так и мертвых. По состоянию на май 2017 года он ежедневно обслуживал более 500 миллионов человек. По состоянию на 2018 год он переводил более 100 миллиардов слов в день [8]. Стоит отметить, что качество переводов становится все выше. В исследовании, проведенном в 2018 году, Google попросил носителей каждого языка оценить перевод Google Translate по шкале от 0 до 6: в среднем он составил 5,43. Этот сервис функционирует на основе технологии нейронного машинного перевода Google (GNMT), которая улучшает качество перевода, применяя метод машинного перевода на основе примеров (EBMT), в котором система "обучается на миллионах примеров". Благодаря большой сквозной структуре, система со временем учится создавать более качественные и естественные переводы.
Microsoft Translator - это многоязычная облачная служба, интегрированная в несколько продуктов для пользователей, разработчиков и предприятий. Перевод устной речи через сервисы Microsoft Speech измеряется длительностью исходного аудиопотока. По состоянию на август 2019 года служба поддерживает 65 языковых систем и 11 систем перевода речи, что позволяет использовать ее функционал для решения различных задач.
Наиболее распространенный российский программный продукт машинного перевода, ABBYY Lingvo, в своей основе имеет технологию ABBYY Compreno, которая позволяет программе распознавать тексты на естественном языке, производя полный семан-тико-синтаксический анализ теста и создавая его универсальное представление. В процессе анализа текста ABBYY Compreno выявляет омонимы (разные по значению, но одинаковые по написанию слова) и решает проблему их многозначности на основе анализа контекста. Это позволяет существенно повышать релевантность результатов поисковой выдачи, а также точность выявления конкретных объектов в текстах. Перевод текста включает в себя следующие этапы:
1. Лексико-морфологический анализ (деление текста на слова, предложения и абзацы, определение морфологических признаков текста);
2. Синтаксический анализ (определение структуры и связи слов в предложении);
3. Семантический анализ (определение значения каждого слова);
4. Прагматический анализ (применение онтологии и применение правил извлечения нужных объектов).
Еще одним достаточно распространенным продуктом является переводчик от компании ПРОМТ, в котором используется технология PROMT Neural, которая представляет собой новую гибридную технологию, которая объединяет нейросетевой подход и перевод на основе правил [5].
Перспективной разработкой является OpenNMT - экосистема с открытым исходным кодом для нейронного машинного перевода и обучения нейронных последовательностей. У этого продукта есть большое сообщество разработчиков. Проект, начатый в декабре 2016 года компаниями Harvard NLP и SYSTRAN, с тех пор активно используется в нескольких исследовательских и промышленных приложениях. В настоящее время поддерживается SYSTRAN и Ubiqus. «OpenNMT - это полная библиотека для обучения и развертывания моделей нейронного машинного перевода. Система является преемницей seq2seq-attn, разработанной в Гарварде, и была полностью переписана для простоты и эффективности, удобочитаемости и обобщения. Он включает в себя перспективные модели NMT, а также поддержку внимания, подачи входного сигнала, регуляризации и многих других опций, необходимых для самых современных приложений. Основная система реализована в математической структуре Lua / Torch и может быть легко расширена с помощью внутренних стандартных компонентов нейронной сети Torch. Он также был расширен Адамом Лерером из Facebook Research для поддержки платформы Python / PyTorch с тем же API». OpenNMT обеспечивает реализацию в двух популярных глубоких основах обучения, Pytorch и Keras - OpenNMT-ру: этот проект реализован с использованием глубокого обучения Pytorch Framework. Он расширяемый и может быть быстро реализован с PyTorch .
Каждый проект экосистемы имеет свой собственный набор уникальных функций, но имеет схожие цели:
1. Настраиваемые модели архитектуры и процедуры обучения
2. Высокая эффективность настройки и обслуживания моделей для использования в реальных приложениях
3. Расширения, позволяющие выполнять другие задачи, такие как генерация текста, тегирование, суммирование, распознавание изображений в текст и речи в текст.
Инструментарий создан с учетом эффективности системы для обучения модели, поскольку модели NMT могут занимать несколько дней, поэтому неэффективная архитектура приведет к нескольким проблемам. Для этого требуется архитектура, которая обрабатывает контент наиболее корректно.
Поскольку развертывание модели NMT может занять несколько дней, неэффективная архитектура приведет к нескольким проблемам. OpenNMT-ру имеет решает эти проблемы и не требует продолжительной настройки.
Обучение памяти GPU является одним из ограничений при распределении размера пакета, что ограничивает время обучения моделей NMT. В данном случае разработчики внедрили внешнюю систему совместного использования памяти, которая использует известный поток управления временными рядами систем NMT и активно распределяет внутренние буферы между различными версиями и проектами. Также был использован механизм разделения данных для загрузки данных и начала обучения на больших наборах данных.
Разделение - это метод, по которому производится горизонтальное разбиение базы данных, которое разделяет очень большие базы данных на более мелкие, более быстрые и легко управляемые части, называемые фрагментами данных.
Система также поддерживает мульти-GPU благодаря параллелизму данных. Эта настройка с несколькими GPU приводит к ускорению обучения.
Инструментарий имеет модульную базу кода. Разработчики смогли сделать код удобочитаемым и расширяемым для легкой модификации в различных частях системы. Код представлен отдельными блоками для обучения, оптимизации, логического вывода, предварительной обработки и различными модулями для пользователей, чтобы применять различные методы для создания системы NMT. Каждый модуль в библиотеке легко настраивается и обладает множеством готовых к использованию функций.
После краткого обзора наиболее перспективных программных продуктов нейронного перевода необходимо сделать прогноз развития таких продуктов.
Одним из важных направлений является использование так называемого «глубокого обучения». Уже сейчас представляется очевидным, что глубокая нейронная сеть совершит настоящую революцию в машинном переводе. Проблемы с машинным переводом традиционно были связаны с низким качеством его результатов с точки зрения выбора слов, грамматики и структуры предложений. По сути, программное обеспечение для машинного перевода предоставляет язык, который не звучит естественным образом несмотря на то, что система может распознавать десятки тысяч (если не больше) примеров письменного языка [6].
Нейронный машинный перевод, который заменил статистический машинный перевод в 2015 году, ознаменовал значительный скачок вперед. Тем не менее, использование этой технологии все еще требует, чтобы машина получала сопоставимые предложения на каждом из языков, которые она изучает, для их перевода.
Особенно интересным на современном этапе представляется введение неконтролируемого нейронного машинного перевода. Facebook, сотрудничая с Университетом Нью-Йорка, Университетом Страны Басков и Сорбонны, разработал модель глубокого обучения искусственного интеллекта, которая использует кодирование пар байтов, языковые модели и обратный перевод, чтобы сделать следующий шаг в решении проблемы машинного перевода. Новая система означает, что компьютер может переводить с одного языка на другой без необходимости распознавать сопоставимые фразы на каждом языке.
Такие разработки значительно приближают к безупречному машинному переводу. Машина, которая учится распознавать собственные языковые ошибки и исправлять их до такой степени, что сможет точно переводить на любой язык, впоследствии станет высокоэффективным инструментом. Преимущества искусственного интеллекта в этом отношении могут быть огромными - способность точно и мгновенно переводить может открыть для пользователей общение по всему миру, а также обеспечить доступ к историческим документам, литературным произведениям, произведениям на редких языках. Такая система может также использоваться для перевода документов на большинство языков, а также на редкие и умирающие языки.
Далее необходимо охарактеризовать влияние развития машинного перевода на общество. В первую очередь, акцентируется внимание на проблемах с памятью и запоминанием, но эти аспекты характерны в целом для развития Интернет-технологий в условиях
повышения доступности информации и возможности мгновенного поиска.
В настоящей статье предлагается сосредоточиться на более перспективном направлении - влиянии машинного перевода на деятельность многоязычных сообществ, в том числе профессиональных. Эта тема представляется актуальной, так как под влиянием глобализации компании стремятся нанимать сотрудников исходя из их эффективности, давая им удаленную работу в регионе проживания. В связи с этим возникают языковые барьеры, которые необходимо преодолевать как можно оперативнее, иначе снижается эффективность профессиональной деятельности. Кроме того, ошибки при понимании заданий могут привести к убыткам для компаний.
Несмотря на то, что многоязычные сообщества, использующие машинный перевод для преодоления языковых барьеров, растут, у исследователей все еще нет полного понимания того, как машинный перевод влияет на общение. Исследовательская литература на английском языке по этой теме была сосредоточена почти исключительно на компьютерно-опосредованном сотрудничестве на английском языке. Поэтому представляется актуальным изучить, как люди общаются, используя инструменты машинного перевода [7].
В частности, инструменты машинного перевода могут во многом содействовать реализации концепции открытого образования, так как совершенствование инструментов перевода позволит избавиться от географических и языковых барьеров при обучении, что даст возможность обмениваться опытом с иностранными специалистами, а также обучаться у преподавателей со всего мира. Это позволит формировать индивидуальный заказ на обучение вне зависимости от языка учебного заведения. Кроме того, данные инструменты позволят учащемуся самому выбирать место и регион обучения, что соответствует одному из ключевых принципов открытого образования [9]. Также следует отметить, что инструменты перевода на основе нейронных сетей и машинного обучения являются следствием развития информационно-коммуникационных технологий, специальным программным обеспечением, которое позволяет решать целую совокупность образовательных задач.
ЛИТЕРАТУРА
1. Барашко, Е.Н. Современные системы машинного перевода / Е.Н. Барашко, Д. А. Храп-цов // Актуальные проблемы развития естественных и технических наук : материалы международной научно-практической конференции. - Новосибирск, 2018. - С. 5-11.
2. Жильцов, А.А. Нейронный машинный перевод редких слов с помощью подслов / А.А. Жильцов, Н.В. Ёлкина // Научно-технические и инженерные разработки - основа решения современных экологических проблем : сборник материалов Юбилейной семидесятой всероссийской научно-технической конференции студентов, магистрантов и аспирантов с международным участием : в 3 частях. - Ярославль, 2017. - Часть 3. - С. 21-24.
3. Сафина, Д.Р. Использование искусственных нейронных сетей в современном машинном переводе / Д.Р. Сафина, Р.Р. Камаев. // Информационные технологии в исследовательском пространстве разноструктурных языков : сборник трудов конференции. - Казань, 2017. - С. 70-72.
4. Черниговская, Т.В. Язык, мозг и компьютерная метафора / Т.В. Черниговская // Человек.
- 2007. - № 2. - С. 63-75.
5. Шанкин, А.А. Системы машинного перевода PROMT / А.А. Шанкин // Россия в мире: проблемы и перспективы развития международного сотрудничества в гуманитарной и социальной сфере : материалы VI Международной научно-практической конференции. - Москва ; Пенза, 2019.
- С. 267-277.
6. Янбекова, Г.Б. Эволюция машинного перевода / Г.Б. Янбекова, З.В. Галимзянова, Ф.Б. Ситдикова // Научные революции: сущность и роль в развитии науки и техники : сборник статей по итогам Международной научно-практической конференции. - Уфа, 2018. - С. 53-58.
7. Brynjolfsson, E. Does machine translation affect international trade? Evidence from a large digital platform / E. Brynjolfsson, X. Hui, M. Liu // Management Science. - 2019. - Т. 65, № 12. - С. 5449-5460.
8. Google's neural machine translation system : Bridging the gap between human and machine translation / Y. Wu, M. Schuster, Z. Chen [и др.] // arXiv. - 2016. - URL :
https://arxiv.org/abs/1609.08144 (дата обращения: 01.01.2020).
9. Xu, G. Online IS education for the 21st century / G. Xu, W. Hu, S. Kruck // Journal of Information Systems Education. - 2019. - Т. 25, № 2. - С. 101-106.
REFERENCES
1. Barashko, E.N. and Khraptsov, D.A. (2018), "Modern Machine Transfer Systems", Actual problems of the development of the natural and technical sciences: materials of the international scientific-practical conference, Novosibirsk, pp. 5-11.
2. Zhiltsov, A.A. and Yolkina, N.V. (2017), "Neural Machine Translation of Rare Words By Means Of Subwords", Scientific, technical and engineering developments as the basis for solving modern environmental problems: collection of materials of the Anniversary seventieth All-Russian scientific and technical conference of students, undergraduates and graduate students with international participation. In 3 parts, Yaroslavl, Part 3, pp. 21-24.
3. Safina D.R. and Kamaev, R. (2017), "The use of artificial neural networks in modern machine translation", Information technology in the research space of different structural languages: conference proceedings, Kazan, pp. 70-72.
4. Chernigovskaya, T.V. (2007), "Language, brain and computer metaphor", Man, No. 2, pp.
63-75.
5. Shankin, A.A. (2019), "PROMT Machine Transfer Systems", Russia in the World: Problems and Prospects for the Development of International Cooperation in the Humanitarian and Social Spheres: materials of the VI International Scientific and Practical Conference, Moscow, Penza, pp. 267-277.
6. Yanbekova, G.B., Galimzyanova, Z.V. and Sitdikova, F.B. (2018), "Evolution of Machine Translation", Scientific Revolutions: Essence And Role In The Development Of Science And Technology: collection of articles following the results of the International scientific-practical conference, Ufa, pp. 53-58.
7. Brynjolfsson, E., Hui, X. and Liu, M. (2019), "Does machine translation affect international trade? Evidence from a large digital platform", Management Science, Vol. 65 (12), pp. 5449-5460.
8. Wu, Y., Schuster, M., Chen, Z. et. Al. (2016), Google's neural machine translation system: Bridging the gap between human and machine translation, arXiv, available at: https://arxiv. org/abs/1609.08144.
9. Xu, G., He, W. and Kruck, S.E. (2019), "Online IS education for the 21st century", Journal of Information Systems Education, Vol, 25, No. 2, pp. 101-106.
Контактная информация: VVKotenko@fa.ru
Статья поступила в редакцию 20.04.2020
УДК 372.881.1
ПЕРСПЕКТИВЫ ПРИМЕНЕНИЯ ТЕХНОЛОГИЙ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА НА НАЧАЛЬНОМ ЭТАПЕ ИЗУЧЕНИЯ ИНОСТРАННОГО ЯЗЫКА В НЕЯЗЫКОВОМ ВУЗЕ
Владимир Викторович Котенко, старший преподаватель, Финансовый университет при Правительстве РФ, Москва; Никита Олегович Луценко, кандидат политических наук, старший преподаватель, Московский государственный университет имени
М.В. Ломоносова
Аннотация
Искусственный интеллект широко применяется в различных сферах человеческой жизни: финансовой, экономической, коммуникационной и т.д. Одним из наиболее перспективных направлений является внедрение решений в программы обучения иностранному языку. Цель исследования заключается в том, чтобы выявить перспективы внедрения решений на основе искусственного интеллекта в нескольких практических областях: распознавании речи, менеджменте знаний, автоматическом переводе текстов, создании электронных словарей, оптическом распознавании символов, а также использования этих технологий при разработке программ для обучения иностранным языкам на неязыковых специальностях. Методика и организация исследования: проанализированы подходы зарубежных и российских исследователей к применимости решений на основе искус-
