CC BY
97
Самохин И. С. Отдельные слабые стороны современного машинного перевода (на примере веб-службы "Google Translate") / И. С. Самохин, Н. Л. Соколова, М. Г. Сергеева // Научный диалог. — 2018. — № 10. — С. 148—157. — DOI: 10.24224/2227-1295-2018-10-148-157.
Samokhin, I. S., Sokolova, N. L., Sergeyeva, M. G. (2018). Some Weaknesses of Modern Machine Translation (by Example of Google Translate Web Service). Nauchnyy dialog, 10: 148-157. DOI: 10.24224/2227-1295-2018-10-148-157. (In Russ.).
ERIHJMP
Журнал включен в Перечень ВАК
и I к I С H ' s PfJHOCXCALS t) IRK" TORY-
УДК 81'322.4
DOI: 10.24224/2227-1295-2018-10-148-157
Отдельные слабые стороны
современного машинного перевода
(на примере веб-службы "Google Translate")
© Самохин Иван Сергеевич (2018), orcid.org/0000-0002-2356-5798, кандидат филологических наук, старший преподаватель кафедры теории и практики иностранных языков Института иностранных языков, Российский университет дружбы народов (Москва, Россия), [email protected].
© Соколова Наталия Леонидовна (2018), кандидат филологических наук, доцент, директор Института иностранных языков, Российский университет дружбы народов (Москва, Россия), [email protected].
© Сергеева Марина Георгиевна (2018), orcid.org/0000-0001-8365-6088, доктор педагогических наук, доцент, профессор кафедры социальной педагогики Института иностранных языков, Российский университет дружбы народов (Москва, Россия), [email protected].
Рассматриваются отдельные слабые стороны машинного перевода, осуществляемого посредством нейронных сетей («нейронный перевод»). Актуальность данной темы обусловлена значительной популярностью соответствующих веб-сервисов среди переводчиков, педагогов, исследователей, студентов и других лиц, заинтересованных в ознакомительном или срочном перекодировании текста с одного языка на другой. Приводятся результаты эксперимента: известной веб-службе "Google Translate" было предложено перевести на английский язык несколько десятков русскоязычных терминов и понятий, имеющих отношение к филологии и педагогике. Даются рекомендации по исправлению некоторых ошибок и неточностей, допускаемых веб-сервисом. Авторы приходят к выводу, что использование нейронного перевода привело к существенному повышению качества услуг, предоставляемых веб-службой "Google Translate". При этом отмечается, что данный сервис до сих пор допускает ошибки (смысловые и стилистические) при переводе следующих категорий лексики: составных терминов и понятий; лексических единиц и словосочетаний,
не имеющих точных эквивалентов в английском языке; двух слов с одним и тем же англоязычным эквивалентом; аббревиатур; авторских окказионализмов. Сообщается, что, по наблюдению авторов, подобные искажения допускаются и другими популярными веб-службами («Яндекс.Переводчиком», «Translate.ru» и т. д.).
Ключевые слова: машинный перевод; веб-служба; Google Translate; нейронный перевод; переводческие услуги.
1. Введение
За последние двадцать лет появилось большое количество сервисов машинного перевода, предоставляющих услуги в режиме онлайн: "Free Translation", "Google Translate", "InterTran", "SYSTRANet", "Translate.ru", "Windows Life Translator" и др. На рубеже столетий качество переводов было очень низким: часто их нельзя было использовать даже для ознакомления с общим содержанием исходного текста. Многочисленные ошибки в синтаксисе, временах, артиклях, управлении, значениях слов и словосочетаний делали перевод неудобочитаемым. Сначала подобные искажения возникали даже при перекодировании простейших высказываний, соответствующих уровню "Beginner": например, предложение Он учитель могло быть переведено как He is teacher (без артикля), He a teacher (без глагола) или даже He teacher. Качество услуг, предоставляемых веб-службами, постоянно росло, но темпы этого прогресса оставляли желать лучшего. Эволюцию машинного перевода в 1990-е — 2010-е годы можно проследить по многочисленным научным статьям и другим работам [Мюге, 2009; Исламов и др., 2013; Митренина, 2017; Anderson, 1995; Koehn, 2005; Su-tskever et al., 2014 и др.].
Два года назад машинный перевод вышел на принципиально новый уровень. У истоков этой революции стояла веб-служба "Google Translate": с ноября 2016 года она стала переходить на нейронный перевод, основанный на анализе огромного количества примеров [Schuster et al., 2016]. Новый движок был активирован для девяти языков: английского, испанского, китайского, корейского, немецкого, португальского, турецкого, французского и японского. В статье Г. Льюиса-Крауса приведены два перевода одного и того же текста с японского языка на английский [LewisKraus, 2016]. Перевод № 1 был выполнен веб-службой "Google Translate" (далее — GT) до упомянутых изменений, а перевод № 2 — после них:
№ 1
Kilimanjaro is 19,710 feet of the mountain covered with snow, and it is said that the highest mountain in Africa. Top of the west, "Ngaje Ngai" in the Maasai language, has been referred to as the house of God. The top close to the west,
there is a dry, frozen carcass of a leopard. Whether the leopard had what the demand at that altitude, there is no that nobody explained.
№ 2
Kilimanjaro is a mountain of 19,710 feet covered with snow and is said to be the highest mountain in Africa. The summit of the west is called "Ngaje Ngai" in Masai, the house of God. Near the top of the west there is a dry and frozen dead body of leopard. No one has ever explained what leopard wanted at that altitude.
Перевод № 2 несовершенен: второе предложение не очень удачно сформулировано (in Masai лучше было бы поставить в начало, а вместо The summit of the west использовать более лаконичное The western summit); в третьем и четвертом предложениях пропущены артикли перед словом leopard (неопределенный и определенный соответственно). Однако он существенно превосходит Перевод № 1, который содержит множество грамматических и лексических ошибок, затрудняющих восприятие отдельных фрагментов и текста в целом. Автор статьи подчеркивает революционность произошедших изменений, указывая на крайне малый срок, разделяющий два перевода: 24 часа.
В марте 2017 года к перечисленным девяти языкам добавились еще пять, в том числе русский. Популярность веб-сервиса в нашей стране значительно повысилась: использовать GT стало целесообразно для ознакомительного или срочного перевода, а также при перекодировании относительно простых текстов. Тем не менее качество нейронного перевода уступает тому уровню, который демонстрируют специалисты. В недавней статье [Самохин и др., 2018] мы рассмотрели недостатки GT, связанные с недостаточной эффективностью сервисного алгоритма. В данной же работе исследуются ошибки и неточности, имеющие другие причины — недостаточный объем общей и терминологической лексики в базе данных и присутствие в ней отдельных неправильных переводов слов и словосочетаний.
2. Методология исследования
Мы решили рассмотреть перевод с русского языка на английский, поскольку GT выполняет его на более высоком уровне. Это позволяет нам точнее оценить возможности веб-службы. Кроме того, англоязычный перевод научных текстов является актуальным для научно-педагогических работников (при подготовке статей для международных журналов, индексируемых в базах данных "Scopus" и "Web of Science") и студентов линг-
вистических специальностей (при написании выпускных квалификационных работ на первом иностранном языке).
Основная часть выбранных терминов и понятий имеет отношение к филологии и педагогике — в соответствии со специальностью авторов и осуществляемой ими деятельностью. Приведены рекомендации по исправлению некоторых ошибок и неточностей, допущенных веб-сервисом, в ходе «живого» (осуществляемого специалистом) редактирования. Следует отметить, что подобные искажения допускаются и конкурентами GT, поэтому данная статья может оказаться полезной и для тех читателей журнала, кто предпочитает использовать другие веб-службы («Translate.Ru», «Яндекс.Переводчик» и т. д.).
В исследовании рассматриваются варианты перевода, предложенные GT в первой половине июня 2018 года. Вероятно, на момент публикации данной работы отдельные термины и предложения будут переводиться по-другому.
3. Анализ ошибок веб-службы "Google Translate", связанных с некорректной передачей отдельных терминов и понятий
Пожалуй, чаще всего встречается неточный перевод составных терминов и понятий: языковая картина мира — language picture of the world (правильно: linguistic worldview), компьютерная лингвистика — computer linguistics (правильно: computational linguistics), возрастная психология — age-related psychology (правильно: developmental psychology), педагог-психолог — pedagogue-psychologist (правильно: educational psychologist), социальный педагог — social teacher (правильно: social pedagogue или social educator). Если подобную ошибку совершает живой переводчик, то она, скорее всего, связана с феноменом межъязыковой интерференции: человек просто калькирует привычный термин, даже не задумавшись, что английский эквивалент может чем-то отличаться (калькирование использовано во всех приведенных примерах, кроме последнего). Если же ошибается веб-служба, то дело, вероятно, в полном «незнании» термина, его отсутствии в загруженном словаре. То есть GT не содержит неверный перевод, а воспринимает составной термин как свободное словосочетание; не видит принципиальной разницы между синтаксическими единицами «возрастная психология» и, скажем, «красивая психология» или «треугольная психология».
Ошибки, приведенные в начале предыдущего абзаца, относительно безобидны, так как не мешают восприятию смысла. Вспоминается персонаж одного из фильмов П. Е. Тодоровского — иностранец, допустивший похожую оплошность, только не в термине, а в идиоме Чтоб ваш дом всег-
да была полная чашка. В кино над его неточностью добродушно посмеялись, а вот переводчику (и живому, и «онлайновому») стоит по возможности избегать подобных «помарок»: они могут подорвать доверие к тексту, к его содержанию (даже при отсутствии явных смысловых искажений). Однако следует отметить, что словосочетания вроде computer linguistics и age-related psychology смутят лишь того читателя, который разбирается в предмете и владеет английским языком на достаточно высоком уровне.
Прямые смысловые ошибки и грубые неточности при передаче однозначных терминов и понятий характерны для GT в меньшей степени — как и для других веб-служб («Яндекс.Переводчик», «Translate. Ru» и т. д.). Тем не менее пока случаются и такие досадные промахи:
* фантастическая литература — fiction (правильно: speculative fiction, поскольку существительное fiction имеет более широкое значение 'художественная литература');
* игровая деятельность — gaming (правильно: play activity, так как gaming — это то же, что gambling (не игровая деятельность, а игорная));
* доктор наук — Ph.D (правильно: Grand Ph.D или Doctor of sciences; формальным и фактическим аналогом Ph.D является другая отечественная степень — кандидат наук).
Некоторые русскоязычные термины не имеют четких эквивалентов в английском языке (или же такие эквиваленты есть, но по какой-то причине обделены вниманием специальной теории перевода). Это приводит к смысловым ошибкам иного рода — созданию конструкций, лишенных какого-либо очевидного смысла. Так, базовое организационно-педагогическое понятие «цензовое образование» GT превращает в census education ('образование, основанное на переписи, сборе сведений') — и это при наличии у русского термина очень близкого аналога: outcome-based education. А термин частное языкознание веб-сервис передает загадочным словосочетанием private linguistics. Читателю остается лишь гадать, какая лингвистика имеется в виду. Непубличная? Принадлежащая отдельному лицу? Связанная с негосударственным предпринимательством? В отечественной литературе частное языкознание иногда называют специальным [Сергиевский, 1952; Тиллоева, 2012], однако вариант special linguistics также может оказаться, мягко говоря, недопонятым. "Wikipedia" предлагает использовать термин descriptive linguistics, но и здесь есть проблема: частное языкознание бывает не только дескриптивным (описательным), но и историческим (изучающим язык в его развитии). Поэтому лучше, по-видимому, отдать предпочтение описательному переводу: a branch of linguistics which studies certain languages.
Порой два русских слова имеют один и тот же англоязычный эквивалент, что ставит GT в «тавтологический тупик»: студенты и слушатели — students and students, учителя и преподаватели — teachers and teachers, училища и колледжи — colleges and colleges, выводы и заключение — conclusions and conclusion, реферат и аннотация — abstract and abstract. (Любопытно, что при измененном порядке слов перевод может оказаться другим, даже более качественным. Например, училища и колледжи GT передает как colleges and colleges, а колледжи и училища — как colleges and schools. На наш взгляд, это почти так же странно, как перемена мест слагаемых, повлиявшая на сумму). Переводчик из плоти и крови может построить несколько громоздких предложений, а вот написать что-то вроде teachers and teachers — едва ли (особенно дважды или трижды в рамках одного текста). Поэтому мы рекомендуем коллегам избавлять свои GT-переводы, по меньшей мере, от таких ошибок. Способов достаточно много: (1) опущение одного из существительных (студенты и слушатели — students); (2) поиск более точного аналога на уровне словосочетаний (училища и колледжи — specialized schools and colleges); (3) описательный перевод (учителя и преподаватели — teachers working at schools and higher education institutions).
Есть проблемы и с пониманием аббревиатур — особенно в таких разделах, как «Сведения об авторах», «Благодарности» и «Литература», где часто указываются сокращенные названия образовательных учреждений (в последнем разделе — в названиях журналов, сборников и издательств). Некоторые аббревиатуры веб-сервис успешно распознаёт, используя закрепившиеся эквиваленты: МГУ — MSU (Moscow State University), МГЛУ — MSLU (Moscow State Linguistic University), РУДН — PFUR (Peoples'Friendship University of Russia), ВШЭ — HSE (Higher School of Economics). Однако в большинстве случаев применяется обычная транслитерация. В результате получается набор букв, не соотносимый с полным англоязычным названием российского вуза: МПГУ — MPGU, ПСТГУ — PSTGU, МАБиУ — MABiU и т. д. При передаче терминов и понятий происходит, разумеется, то же самое: ИКУ (исследовательские компетенции учителя) — IKU; СБСППС (событийная сущность профессиональной подготовки специалистов) — SB-SPPS [Дзюбенко и др., 2018, с. 305; К проблеме ..., 2018, с. 331]. На наш взгляд, переводчики должны приводить полные англоязычные названия, дополняя их корректными аббревиатурами. Например: МАБиУ—International Academy of Business and Management (IABM), СБСППС — Co-Existence Essence of Specialists'Professional Training (CEESPT).
Хуже всего GT справляется с передачей авторских окказионализмов — не зафиксированных в словарях лексических единиц, которые
иногда используются в научно-популярных статьях и докладах: обграм-мачивание — obgramchivanie (предпринята попытка транскрибирования, не раскрывающая смысл придуманного слова), лингвечер — lingu (предложен окказионализм, передающий лишь общую сему), школиоз — schoolboy (допущена полная смысловая ошибка), фурсенко-ливановский — Fur-senko-Lebanon (смешение фамилии и названия страны) и т. д. При таких результатах не приходится надеяться на успех в более сложных случаях. Например, Л. П. Шустова в своей диссертации предлагает программу межполового воспитания под названием «ГормониЯ» [Шустова, 2006, с. 94—127]. GT уверенно избавляется от творческой составляющей, устраняя и контаминацию, и словосложение. Получаем нейтральный, «идейно выдержанный» перевод: "Harmony". Даже в научных текстах авторские окказионализмы остаются «полномочными представителями» языка художественной литературы и его ближайшего родственника — ассоци -ативно-образного мышления, которым искусственный интеллект пока не обладает. Поэтому любой человек, даже не переводчик и не писатель, перекодирует такие слова лучше самой продвинутой веб-службы. Наши варианты: обграммачивание — overgrammaring, лингвечер — language party, школиоз — schooliosis, фурсенко-ливановский — of two previous ministers, ГормониЯ — Hormonl.
4. Заключение
Можно констатировать, что использование нейронного перевода привело к существенному повышению качества услуг, предоставляемых веб-службой "Google Translate". Тем не менее данный сервис до сих пор допускает ошибки (смысловые и стилистические) при переводе следующих категорий лексики: составных терминов и понятий (компьютерная лингвистика, педагог-психолог); лексических единиц и словосочетаний, не имеющих четких эквивалентов в английском языке (частное языкознание, цензовое образование); двух слов с одним и тем же англоязычным эквивалентом (учителя и преподаватели, студенты и слушатели); аббревиатур; авторских окказионализмов (которые могут использоваться, например, в текстах докладов или научно-популярных статей). Также GT, как ни странно, не всегда подбирает верный аналог для вполне однозначных и широко используемых русских понятий (например, доктор наук превращается в Ph.D, то есть понижается до кандидата наук, что может вводить в заблуждение, если речь идет о конкретном ученом).
Таким образом, машинный перевод до сих пор нуждается в редактировании — пусть и не таком значительном, как раньше, до внедрения нейрон-
ных методов, следовательно, тем, кто прибегает к помощи той или иной веб-службы, следует помнить об этом. Отметим, что некоторые ошибки и неточности являются «фирменной» чертой современного машинного перевода (злоупотребление предлогом of, сочетания вроде students and students и др.).
Что касается перспектив машинного перевода, точный прогноз едва ли возможен. Безусловно, успехи GT внушают немалый оптимизм, однако доля скепсиса не повредит. Вспомним: полет Гагарина в космос привел к разговорам о том, что в ближайшие десятилетия человечество освоит иные галактики и, возможно, войдет в контакт с представителями внеземных цивилизаций. Но спустя более полувека мы даже не побывали на Марсе.
Литература
1. Дзюбенко С. В. Совершенствование исследовательских компетенций школьного педагога в контексте модернизации отечественного образования / С. В. Дзюбенко, М. Г. Сергеева, И. С. Самохин // Научный диалог. — 2018. — № 2. — С. 303— 321. — DOI : 10.24224/2227-1295-2018-2-303-321.
2. Исламов Р. С. Анализ современных систем машинного перевода типа SMT и RBMT / Р. С. Исламов, А. Г. Фомин // Филологические науки. Вопросы теории и практики. — 2013. — № 3 (21). — Часть 1. — С. 69—73.
3. Митренина О. В. Назад, в 47-й : к 70-летию машинного перевода как научного направления / О. В. Митренина // Вестник Новосибирского государственного университета. — Серия : Лингвистика и межкультурная коммуникация. — 2017. — Т. 15. — № 3. — С. 5—12.
4. Мюге У. Три мифа о машинном переводе / У Мюге // Профессиональный перевод и управление информацией. — 2009. — № 1. — С. 3—8.
5. Самохин И. С. Современный машинный перевод в контексте российского высшего образования (исследование на материале услуг, предоставляемых веб-службой "GOOGLE TRANSLATE") / И. С. Самохин, М. Г. Сергеева, Н. Л. Соколова // Казанский педагогический журнал. — 2018. — № 5. — С. 195—201.
6. СергиевскийМ. В. Введение в романское языкознание : учебник / М. В. Сергиевский. —Москва : Издательство литературы на иностранных языках, 1952. — 278 с.
7. Тиллоева С. М. Общелингвистический взгляд на язык / С. М. Тиллоева // Профессионально-ориентированное обучение иностранным языкам : сборник материалов V Научно-практической конференции. Уральский государственный педагогический университет, Институт иностранных языков, Кафедра иностранных языков ; под ред. О. П. Казаковой. — Екатеринбург, 2012. — С. 151—160.
8. Шустова Л. П. Формирование гендерной толерантности старшеклассников в специально созданных педагогических условиях : диссертация ... кандидата педагогических наук : 13.00.01 / Л. П. Шустова. — Ульяновск, 2006. — 215 с.
9. Anderson D. D. Machine translation as a tool in second language learning / D. D. Anderson // CALICO Journal. — 1995. — V. 13, N. 1. — Рр. 68—96.
10. Koehn P. Europarl : A Parallel Corpus for Statistical Machine Translation [Electronic resource] / P. Koehn // Conference Proceedings: the tenth Machine Translation Summit. Phuket, Thailand, AAMT. — 2005. — Pp. 79-86.
11. Lewis-Kraus G. The Great A. I. Awakening [Electronic resource] / G. LewisKraus // The New York Times Magazine. — 14.12.2016. — Access mode : https://www. nytimes.com/2016/12/14/magazine/the-great-ai-awakening.html.
12. SchusterM. Zero-Shot Translation with Google's Multilingual Neural Machine Translation System [Electronic resource] / M. Schuster, M. Johnson, N. Thorat // Google AI Blog. — 22.11.2016. — Access mode : https://ai.googleblog.com/2016/11/zero-shot-translation-with-googles.html
13. SutskeverI. Sequence to Sequence Learning with Neural Networks [Electronic resource] / I. Sutskever, O. Vinyals, Q. Le // NIPS, 2014. — Access mode : https://arxiv. org/pdf/1409.3215.pdf
Some Weaknesses of Modern Machine Translation (by Example of Google Translate Web Service)
© Samokhin Ivan Sergeevich (2018), orcid.org/0000-0002-2356-5798, PhD in Philology, senior lecturer, Department of Theory and Practice of Foreign Languages, Institute of Foreign Languages, Peoples' Friendship University of Russia (Moscow, Russia), [email protected]. © Sokolova Nataliya Leonidovna (2018), PhD in Philology, associate professor, Head of Institute of Foreign Languages, Peoples' Friendship University of Russia (Moscow, Russia), [email protected].
© Sergeyeva Marina Georgiyevna (2018), orcid.org/0000-0001-8365-6088, Doctor of Education, associate professor, professor of Department of Social Pedagogy, Institute of Foreign Languages, Peoples' Friendship University of Russia (Moscow, Russia), [email protected]
Some weaknesses of machine translation carried out by means of neural networks ("neural translation") are considered. The relevance of this topic is determined by the significant popularity of the relevant web services among translators, teachers, researchers, students and others who are interested in the introductory or urgent transcoding of the text from one language to another. The results of the experiment are presented: well-known web service "Google Translate" was offered to translate into English several dozens of Russian-language terms and concepts related to philology and pedagogy. Recommendations are given to correct some errors and inaccuracies made by the web service. The authors come to the conclusion that the use of neural translation has led to a significant improvement in the quality of services provided by the web service "Google Translate." It is noted that this service still makes mistakes (semantic and stylistic) when translating the following categories of vocabulary: compound terms and concepts; lexical units and phrases that do not have clear equivalents in the English language; two words with the same English equivalent; abbreviations; author's occasionalisms. It is reported that, according to the authors, such errors are made by other popular web services ("Yandex.Translator," "Translate.ru" etc.)
Key words: machine translation; web service; Google Translate; neural translation; translation services.
References
Anderson, D. D. (1995). Machine translation as a tool in second language learning. CALICO Journal, 13 (1): 68—96.
Dzyubenko, S. V, Sergeyeva, M. G, Samokhin, I. S. (2018). Sovershenstvovaniye issle-dovatelskikh kompetentsiy shkolnogo pedagoga v kontekste modernizat-sii otechestvennogo obrazovaniya. Nauchnyy dialog, 2: 303—321. DOI: 10.24224/2227-1295-2018-2-303-321. (In Russ.).
Islamov, R. S, Fomin, A. G. (2013). Analiz sovremennykh sistem mashinnogo perevo-da tipa SMT i RBMT. Filologicheskiye nauki. Voprosy teorii i praktiki, 3: (21 / 1): 69—73. (In Russ.).
Koehn, P. (2005). Europarl : A Parallel Corpus for Statistical Machine Translation. In: Conference Proceedings: the tenth Machine Translation Summit. Phuket, Thailand, AAMT. 79—86. Available at: http://homepages.inf.ed.ac.uk/ pkoehn/publications/europarl-mtsummit05.pdf.
Lewis-Kraus, G. (14.12.2016) The Great A. I. Awakening. The New York Times Magazine. Available at: https://www.nytimes.com/2016/12/14/magazine/the-great-ai-awakening.html.
Mitrenina, O. V. (2017). Nazad, v 47-y: k 70-letiyu mashinnogo perevoda kak nauchnogo napravleniya. Vestnik Novosibirskogo gosudarstvennogo universiteta. Seri-ya: Lingvistika i mezhkulturnaya kommunikatsiya, 15 (3): 5—12. (In Russ.).
Myuge, U. (2009). Tri mifa o mashinnom perevode. Professionalnyy perevod i uprav-leniye informatsiey, 1: 3—8. (In Russ.).
Samokhin, I. S, Sergeyeva, M. G, Sokolova, N. L. (2018). Sovremennyy mashinnyy perevod v kontekste rossiyskogo vysshego obrazovaniya (issledovaniye na materiale uslug, predostavlyayemykh veb-sluzhboy "GOOGLE TRANSLATE"). Kazanskiypedagogicheskiy zhurnal, 5: 195—201. (In Russ.).
Sergiyevskiy, M. V. (1952). Vvedeniye v romanskoye yazykoznaniye: uchebnik. Moskva: Izdatelstvo literatury na inostrannykh yazykakh. (In Russ.).
Schuster, M, Johnson, M, Thorat, N. Zero-Shot Translation with Google's Multilingual Neural Machine Translation System. GoogleAI Blog. 22.11.2016. Available at: https://ai.googleblog.com/2016/11/zero-shot-translation-with-googles.html.
Shustova, L. P. (2006). Formirovaniye gendernoy tolerantnosti starsheklassnikov v spet-sialno sozdannykhpedagogicheskikh usloviyakh: dissertatsiya ... kandidata pedagogicheskikh nauk: 13.00.01. Ulyanovsk. (In Russ.).
Sutskever, I, Vinyals, O., Le, Q. (2014). Sequence to Sequence Learning with Neural Networks. NIPS. Available at: https://arxiv.org/pdf/1409.3215.pdf.
Tilloyeva, S. M. (2012). Obshchelingvisticheskiy vzglyad na yazyk. In: Kazakovoy, O. P.
(ed.) Professionalno-oriyentirovannoye obucheniye inostrannym yazykam: sbornik materialov V nauchno-prakticheskoy konferentsii. Ekaterinburg. 151—160. (In Russ.).
