CC BY
184
УДК 378.016:811.1 '322.4 ББК Ш12/18-9-8
DOI 10.26170/po19-01-08 ГРНТИ 14.35.09
Код ВАК 13.00.02
Панасенков Никита Александрович,
аспирант, кафедра иностранных языков и перевода, Уральский федеральный университет им. первого Президента России Б. Н. Ельцина; 620002, Россия, г. Екатеринбург, ул. Мира, 19; e-mail: [email protected]
ОПЫТ ОБУЧЕНИЯ СТУДЕНТОВ-ЛИНГВИСТОВ ПОСТРЕДАКТИРОВАНИЮ МАШИННОГО ПЕРЕВОДА (НА МАТЕРИАЛЕ АНГЛО-РУССКОГО ПЕРЕВОДА С ПОМОЩЬЮ СИСТЕМ «GOOGLE TRANSLATE», «ЯНДЕКС ПЕРЕВОДЧИК» И «PROMT»)
КЛЮЧЕВЫЕ СЛОВА: машинный перевод; постредактирование; студенты-лингвисты; анкетирование; электронные словари.
АННОТАЦИЯ. Настоящее исследование представляет опыт обучения будущих лингвистов-переводчиков постредактированию машинного перевода на материале англо-русского перевода. Данный эксперимент был осуществлен при участии студентов 3 года обучения кафедры иностранных языков и перевода УрФУ в рамках курса «Новые информационные технологии в лингвистике». Основная цель данного курса — познакомить будущих специалистов с электронным инструментарием переводчика, который существенно облегчает поиск необходимой информации для решения конкретных переводческих задач. Одной из базовых переводческих технологий на сегодняшний день, помимо электронных словарей, является возможность предварительного машинного перевода текста. Переводчик может выбрать ту или иную систему автоматического перевода, с которой будет работать в дальнейшем. Соответственно прежде всего необходимо определиться с наиболее подходящей для работы системой машинного перевода. В частности, нами рассматривалось качество и адекватность компьютерного перевода, некоторые типичные ошибки и искажения, а также относительная скорость и эффективность самого процесса постредактирования. За основу взят перевод специализированных текстов разной направленности такими системами, как «Google Translate», «Яндекс Переводчик» и «Promt». В исследовании использовался метод анкетирования. В статье приведены комментарии и отзывы самих студентов о работе в той или иной системе машинного перевода, сделаны выводы об адекватности результатов такого перевода, а также о важности постредактирования и использования электронных словарей.
Panasenkov Nikita Aleksandrovich,
Post-graduate Student, Department of Foreign Languages and Translation, Ural Federal University named after the first President of Russia B. N. Yeltsin, Ekaterinburg, Russia.
EXPERIENCE OF TEACHING LINGUISTICS STUDENTS HOW TO POST-EDIT MACHINE-GENERATED TRANSLATION (BASED ON ENGLISH-RUSSIAN TRANSLATIONS VIA GOOGLE TRANSLATE, YANDEX TRANSLA TE AND PROMT SYSTEMS)
KEYWORDS: machine-generated translation; post-editing; linguistics students, questionnaire; electronic dictionaries.
ABSTRACT. The present study acquaints the readers with the experience of teaching future linguists how to post-edit machine translation on the material of English-Russian translations. The experiment was carried out on a sample of third year students of Department of Foreign Languages and Translation of the Ural Federal University in the course of "New Information Technologies in Linguistics". The main goal of this course is to acquaint future specialists with electronic toolkits of a translator that significantly simplify the search for the necessary information to perform specific translation tasks. One of the basic translation technologies today, in addition to electronic dictionaries, is the possibility of preliminary machine translation of the text. The translator can choose one or another automatic translation system that they are going to work with in the future. To this end, first of all, it is necessary to choose the most suitable machine translation system to work with. Specifically, we considered the quality and adequacy of automated translation, some typical errors and distortions, as well as the relative speed and efficiency of the post-editing process. The paper is based on the translation of specialized texts of different orientation via such systems as Google Translate, Yandex Translate and Promt. The questionnaire method is used in the study. The article contains the comments and the feedback from the students about their own work experience with one or another machine translation system, the conclusions about the adequacy of the results obtained, as well as about the importance of the post-editing process and the use of electronic dictionaries.
Н
а сегодняшний день через Интернет ежедневно передаются огромные объемы информации. Разумеется, и требования к ней предъявляются высокие: актуальность, доступность, грамотное изложение. С учетом мультиязычности пользователей Всемирной сети встает вопрос быстрого и качественного перевода массивов текстов. Так, А. Н. Усачева под-
черкивает, что сеть Интернет и доступ к информационным базам данных изменили профессию переводчика практически до неузнаваемости [15]. В таких условиях на передний план выходят системы машинного перевода, которые могут обеспечить перевод в более сжатые сроки, чем переводчик.
В самом общем виде программа машинного (автоматического) перевода само-
© Панасенков Н. А., 2019
стоятельно осуществляет перевод текста с одного естественного языка на другой [8, с. 15]. Бытует мнение, что в недалеком будущем переводчики и вовсе могут остаться без работы: их вытеснят системы машинного перевода (МП). Действительно, за последние несколько лет системы машинного перевода совершили качественный скачок в своем развитии. В профессиональной среде специалисты отмечают «одно неоспоримое преимущество — значительная экономия времени» [10, с. 68] при переводе больших объемов информации. При этом МП целесообразно использовать при переводе специализированных текстов, где требуется единство стиля и терминологии, отсутствуют различные непонятные для машины культурные явления, идиомы, изобразительно-выразительные средства речи. Тем не менее такие системы имеют ряд недостатков, устранение которых требует участия человека-переводчика в процессе постредактирования [14].
Постредактирование — своего рода редактирование продукта автоматического перевода специалистом для получения перевода более высокого качества «с помощью минимальных усилий» [9, с. 66]. Как правило, постредакторами являются профессиональные лингвисты-переводчики, которые хорошо представляют себе все тонкости машинного перевода. Это позволяет им определить, что именно необходимо изменить в результате МП, усовершенствовав тем самым процесс перевода. Следовательно, для повышения конкурентоспособности лингвисту-переводчику необходимо овладеть навыками эффективной работы с большими объемами информации и умением решать профессиональные задачи при помощи современных компьютерных программ перевода. Поэтому обучение будущих специалистов правильному использованию таких программ является приоритетным направлением [11].
Исследование проводилось при участии студентов-бакалавров 3 курса кафедры иностранных языков и перевода УрФУ в рамках курса «Новые информационные технологии в лингвистике». Основная задача преподавателя — рассказать будущим специалистам об электронном инструментарии переводчика, который позволит существенно облегчить поиск необходимой информации в условиях конкретной рабочей ситуации, и продемонстрировать работу подобных программ. Одной из базовых переводческих технологий на сегодняшний день, помимо электронных словарей, является возможность предварительного машинного перевода текстов. Специалист может выбрать ту или иную систему автоматического перево-
да, с которой будет работать в дальнейшем. Соответственно прежде всего необходимо определиться с наиболее подходящей для работы системой машинного перевода.
На сегодняшний день самыми известными и наиболее используемыми являются такие, как «Яндекс Переводчик», «Promt» и «Google Translate». «Promt» относится к категории систем, работающих на основе грамматических правил (Rule-Based Machine Translation, RBMT). Данная технология базируется на сопоставлении лексических единиц и грамматических правил конкретных языков. Качество такого перевода находится в прямой зависимости от объемов лингвистических баз данных (словарей) и глубины описания естественных языков [10; 12; 14]. К преимуществам RBMT-систем можно отнести синтаксическую точность и предсказуемость результата; такие системы можно настроить на предметную область. Основным недостатком является необходимость поддержания и постоянного обновления баз данных.
«Яндекс Переводчик» и «Google Translate» относятся к статистическим системам МП (Statistical Machine Translation, SMT). Данная технология основана на поиске наиболее вероятного варианта перевода в двуязычных базах данных (корпусах). SMT имеет возможности «самообучения»: чем больше параллельных текстов и чем точнее они соответствуют друг другу, тем лучше результат перевода. В качестве преимуществ SMT-систем можно отметить гладкость перевода и переносимость технологии на любые языковые пары. Среди недостатков отмечают отсутствие корпусов у некоторых языков, неумение систем справляться с морфологией и синтаксисом, искажение информации [10; 12]. Более того, «Google Translate» находится в сильной позиции по отношению к другим системам, когда речь идет о переводе с/на английский, так как данный язык изначально лежал в основе системы и до сих пор является языком-посредником при работе с другими парами языков.
Суть эксперимента сводилась к следующему: студенты 3 курса в количестве 12 человек разделились на 3 группы по 4 человека; каждая из групп работала с одной из трех систем машинного перевода. У каждого студента была собственная статья на английском языке по теме, которую он сам выбрал для перевода (экономического, политического, технического и медицинского толка). Среднее количество знаков в статье (с пробелами) не превышало 4 тысяч (как правило, 3500—4000), а время выполнения задания ограничивалось одной парой (90 минут). Студентам предлагалось выполнить
постредактирование машинного перевода статей в соответствующей системе и ответить на вопросы. Ниже представлены наиболее интересные и полные ответы студентов по каждой из систем машинного перевода с примерами и пояснениями.
1. «Promt»
Общее впечатление от полученных результатов перевода. «Заметны черты, присущие системам машинного перевода (неправильный перевод цепочек слов, смысл некоторых предложений невозможно понять, необходимо обращаться к оригиналу)».
«В целом неплохой результат, но смысл некоторых предложений невозможно понять в принципе. Зачастую прослеживается буквализм (дословный перевод), что так или иначе затрудняет понимание и последующее постредактирование, приходится возвращаться к оригиналу, переводить с нуля. Например: "Silicon Valley may not hold onto its global superiority for much longer" — "Силиконовая долина может не держаться на ее глобальное превосходство для намного дольше"; "How does Chinese tech stack up against American tech?" — "Как приводит в порядок китайскую техническую стопку вверх против американской технологии?"; несогласование в предложениях: "China's tech leaders love visiting California, and invest there, but are no longer awed by it" — "Технические лидеры Китая любят посещать Калифорнию, и вкладывают капитал там, но больше не внушаются страх ею"; изменение смысла предложения: "China's e-commerce sales are double America's" — "Продажи Китая удваивают..."».
Позитивные примеры в работе системы машинного перевода. «Promt неплохо транскрибирует имена собственные: "Peter Beaumont" — "Питер Бомонт"; "A paper by Michael Clemens and his colleague Hannah Postel" — "Статья Майкла Клеменса и его коллеги Ханны Постель"; "for the Washington DC-based Center for Global Development" — "Статья . для находящегося в Вашингтоне, округ Колумбия Центра Глобального развития.". Также можно отметить, что перевод некоторых предложений со сравнительно более простым синтаксисом не буквальный, звучит аутентично: "The paper calls for a rethink of strategies . and argues for new policies" — "[статья] призывает к переосмыслению стратегий . и приводит доводы в пользу новой политики"; "challenging the fundamental logic of such schemes" — "бросая вызов фундаментальной логике таких схем"».
«Переводчик распознал и безошибочно перевел некоторые специальные термины: "The venture-capital (VC) industry" — "промышленность венчурного ка-
питала". Перевод некоторых предложений нуждался в минимальном постредактировании: "The plan covers a startlingly vast range of activities, including developing smart cities and autonomous cars and setting global tech standards" — "План касается поразительно обширного диапазона действий, включая развитие умных городов и автономных автомобилей и устанавливания глобальных технических норм"».
2. «Google Translate»
Общее впечатление от полученных результатов перевода. «В целом результат перевода получился довольно понятным. Следует отметить, что лимит знаков в переводчике (5000) достаточен для того, чтобы целиком перевести целую статью (хотя для более крупных объемов и этого будет мало). Иногда встречается буквальный перевод целых фраз».
«Текст получился связный, доступный для понимания основной мысли. Тем не менее многие синтаксические конструкции остались типичными для английского языка: "When would you meet false friends?" — "Когда вы встретите фальшивых друзей?". Не распознал слово "doppelganger", оставил без перевода».
«Понятный перевод, где большая часть текста нуждается только в небольшой доработке. В большинстве случаев грамматические конструкции переводятся корректно. Например: "The technique may work by strengthening nerve pathways that can damp down overactive parts of the brain." — "Данный способ может сработать, укрепляя нервные пути, которые способны заглушать сверхактивные части мозга"».
Позитивные примеры в работе системы машинного перевода. «Машина грамотно составляет предложения, может перевести целый абзац: "The idea behind such projects is that large numbers of small, cheap drones could overwhelm defences that depend on single large jets or a small group of missiles. Incidents in Iraq and Syria have shown that small drones are difficult to shoot down with machine guns." — "Идея таких проектов заключается в том, что большое количество небольших дешевых дронов может сокрушить оборону, которая зависит от одиночных крупных самолетов или небольшого ракетного комплекса. Инциденты в Ираке и Сирии показали, что маленькие дроны трудно сбивать с пулеметов". Хорошо переводит устойчивые фразы и выражения: "according to reports" — "по имеющимся данным"; имена собственные: "Russian Ministry of Defence" — "Минобороны России"; специальные термины: "anti-aircraft defences" — "противовоздушная оборона"».
«Переводчик выдал связный текст, который почти не пришлось редактировать. Большая часть предложений была переведена корректно: "Previous research has suggested that the nerve bundle joining these two regions is the main highway through which seizures spread from the temporal lobes to the rest of the brain" — "Предыдущие исследования предположили, что нервный пучок, соединяющий эти два региона мозга, является главной дорогой, через которую судороги распространяются от височных долей до остальных частей мозга". Хорошо переводит некоторые термины: "linguistic interference" — "языковая интерференция"».
3. «Яндекс Переводчик»
Общее впечатление от полученных результатов перевода. «В целом перевод оказался читаемым и понятным. Порадовало, что у Яндекса очень хорошо работает функция распознавания текста по картинке и последующий перевод. Хотя не обошлось и без явных недостатков и потери смысла: "This sounds like easily-dismissible bunkum" — "Это звучит как легко отмахнуться болтовню"; "Both lead to seemingly intractable complications" — "Оба приводят к, казалось бы, непреодолимых трудностей"».
«Результат машинного перевода в Яндекс — удовлетворительный, насколько это возможно. Смысл некоторых предложений понятен даже без постредактирования, например: "In 1998, Benjamin Hart at the University of California, Davis, argued that this feeling is an evolved strategy to help fight a bacterial or viral attack: when you need time to rest and recuperate, fatigue is your friend" — "В 1998 году Бенджамин Харт из Калифорнийского университета в Дэвисе утверждал, что это чувство является развитой стратегией, помогающей бороться с бактериальной или вирусной атакой: когда вам нужно время отдохнуть и выздороветь, усталость — ваш друг". По большей части Яндекс все же не распознает аббревиатуры, их пришлось искать и проверять в других источниках (например, в словаре multitran): "As well as resetting the SCN..." — "Помимо сброса SCN..." (SCN — супрахиазматическое ядро); "Epidemiological surveys do point to a relationship between fatigue and elevated levels of IL-6..." — "Эпидемиологические исследования указывают на связь между усталостью и повышенным уровнем IL-6." (IL-6 — ин-терлейкин-6). Также в некоторых случаях есть несогласованность в предложениях и буквализм: "When dopamine is lost, as happens in Parkinson's disease, for example, the depression and apathy that accompanies it can be crushing" — "Когда до-памин потерян, как случается в заболева-
нии Паркинсон, например, депрессия и апатия которая сопровождает ее могут за-давливать"».
Позитивные примеры в работе системы машинного перевода. «В большинстве случаев необходимости перепроверять значения терминов не было, например: "This would enable scientists to tweak genes the monkeys have that are linked to human disease, and then monitor how this alters the animals' biology, comparing it against animals that are genetically identical except for the alterations. It could accelerate the hunt for genes and processes that go wrong in these diseases, and ways to correct them" — "Это позволило бы ученым изменить гены обезьян, которые связаны с человеческими болезнями, а затем контролировать, как это изменяет биологию животных, сравнивая ее с животными, которые генетически идентичны, за исключением модификаций. Это может ускорить поиски генов и процессов, которые протекают иначе при этих заболеваниях, и способы их исправления"».
«Смысл многих предложений передан верно: "Interestingly, people who fast regularly often report feeling more energetic than when they ate frequently" — "Интересно, что люди, которые регулярно постятся, часто сообщают, что чувствуют себя более энергичными, чем когда они часто ели"; "Animal studies have shown this effect in action. In one, Harrington gave mice a drug that causes low-level inflammation" — "Исследования на животных показали этот эффект в действии. В одном из них Харрингтон дал мышам препарат, который вызывает воспаление низкого уровня"».
Интересно отметить, что студенты, работавшие в системе «Promt», не уложились в отведенное на занятии время, так как им требовалось внести большое количество редакторских правок, особенно по части синтаксиса; смысл многих предложений без обращения к оригиналу было невозможно понять. Остальные студенты отметили средний темп работы, многие предложения и целые абзацы практически не требовали никаких изменений. Все участники эксперимента периодически обращались к электронным словарям за точным переводом некоторых терминов (multitran), контекстуальным переводчикам (linguee, reverso context) и к поисковой системе «Google». В качестве основных недостатков систем указывались: буквальный перевод некоторых фраз и предложений, невозможность распознавания некоторых терминов и аббревиатур, неверно подобранные эквиваленты в русском и нарушения согласования в предложениях (синтаксические ошибки). Тем не менее абсолютное большинство сту-
дентов согласилось с мнением о том, что постредактирование намного быстрее, чем осуществление перевода с нуля, так как «позволяет сократить затраты и время на перевод больших объемов текста».
Таким образом, в результате нашего исследования мы пришли к следующим выводам:
1) современные системы МП стали незаменимыми помощниками при переводе больших объемов информации, так как позволяют экономить затраты времени и усилий;
2) несмотря на свой прогресс и прорывные технологии в области, в настоящее время машинный перевод может лишь облегчить и ускорить работу, но не заменить переводчика. Результаты машинного перевода почти всегда требуют постредактирования человеком;
3) то, насколько адекватными можно считать результаты автоматического пере-
вода, определяется не только качеством собственно редактирования, но и видом самой системы МП. Система на основе грамматических правил, как и ожидалось, отлично справилась с переводом отдельных устойчивых фраз и терминов, но не смогла «раскусить» синтаксис, тогда как статистический машинный перевод с успехом переводил целые предложения и абзацы, которые впоследствии практически не требовали редактуры. Однако иногда возникали проблемы с переводом и распознаванием отдельных слов и терминов: некоторые оставались без изменений, некоторые передавались с помощью транслитерации;
4) во многих случаях адекватный перевод специализированного текста невозможен только силами машинного перевода и усилиями человека-постредактора; необходимо дополнительно обращаться к электронным словарям и справочникам.
ЛИТЕРАТУРА
1. Андреева А. Д., Меньшиков И. Л., Мокрушин А. А. Обзор систем машинного перевода // Молодой ученый. — 2013. — № 12 (59). — С. 64—66.
2. Бабина О. И. Языковая личность переводчика и машинный перевод // Вестн. ЧелГУ. — 2011. — № 24.
3. Вопияшина С. М., Мурдускина О. В. Обучение редактированию перевода как способ повышения качества подготовки лингвистов-переводчиков // БГЖ. — 2016. — № 4 (17).
4. Зубов А. В., Зубова И. И. Информационные технологии в лингвистике. — М. : Академия, 2004. — 208 с.
5. Кочеткова Н. С., Ревина Е. В. Особенности машинного перевода // Филологические науки. Вопросы теории и практики. — 2017. — № 6-2 (72).
6. Максютина О. В. К вопросу об обучении редактированию и саморедактированию перевода // Филологические науки. Вопросы теории и практики. — 2014. — № 4-3 (34). — С. 121—124.
7. Максютина О. В. Редактирование перевода как неотъемлемая часть современного стандарта качества / / Вестн. Том. гос. пед. ун-та. — 2014. — № 4 (145). — С. 106—111.
8. Марчук Ю. Н. Проблемы машинного перевода. — М. : Наука, 1983. — 201 с.
9. Нечаева Н. В., Светова С. Ю. Постредактирование машинного перевода как актуальное направление подготовки переводчиков в вузах / / Вопросы методики преподавания в вузе. — 2018. — Т. 7. — № 25. — С. 64—72.
10. Новожилова А. А. Машинные системы перевода: качество и возможности использования // Вестн. Волгогр. гос. ун-та. Сер. 2: Языкознание. — 2014. — № 3. — С. 67—73.
11. Новожилова А. А., Шовгенина Е. А. Обучение студентов-переводчиков работе с электронными ресурсами как основа их будущей конкурентоспособности и успешности // Вестн. Волгогр. гос. ун-та. Сер. 6, Университетское образование. — 2013. — № 14. — С. 70—76.
12. Официальный сайт компании ПРОМТ [Электронный ресурс] Что такое машинный перевод? — Режим доступа: http://www.promt.ru/company/technology/machine_translation/ (дата обращения: 20.11.2018).
13. Попкова О. В. Достоинства и недостатки использования программ-переводчиков студентами неязыковых вузов в ходе изучения английского языка в сфере профессиональной коммуникации // Учен. зап. ОГУ. Сер.: Гуманитарные и социальные науки. — 2016. — № 4 (73).
14. Ртищева Н. Г. Оценка качества работы систем машинного перевода // Решетневские чтения. — 2017. — № 21-2.
15. Усачева А. Н. Перевод: от лингвистической теории к когнитивной модели // Вестн. Волгогр. гос. ун-та. Сер. 2, Языкознание. — 2011. — № 1 (13). — С. 131—137.
16. Шевчук В. Н. Информационные технологии в переводе. Электронные ресурсы переводчика. — М. : Зебра Е, 2013. — 384 с.
17. Hutchins W. J. Current commercial machine translation systems and computer-based translation tools: system types and their uses / / International J. of Translation. — 2005. — Vol. 17. — № 1-2. — P. 5—38.
REFERENCES
1. Andreeva A. D., Men'shikov I. L., Mokrushin A. A. Obzor sistem mashinnogo perevoda // Molodoy uchenyy. — 2013. — № 12 (59). — S. 64—66.
2. Babina O. I. Yazykovaya lichnost' perevodchika i mashinnyy perevod / / Vestn. ChelGU. — 2011. — № 24.
3. Vopiyashina S. M., Murduskina O. V. Obuchenie redaktirovaniyu perevoda kak sposob povysheniya kachestva podgotovki lingvistov-perevodchikov / / BGZh. — 2016. — № 4 (17).
4. Zubov A. V., Zubova I. I. Informatsionnye tekhnologii v lingvistike. — M. : Akademiya, 2004. — 208 s.
5. Kochetkova N. S., Revina E. V. Osobennosti mashinnogo perevoda // Filologicheskie nauki. Voprosy teorii i praktiki. — 2017. — № 6-2 (72).
6. Maksyutina O. V. K voprosu ob obuchenii redaktirovaniyu i samoredaktirovaniyu perevoda // Filologicheskie nauki. Voprosy teorii i praktiki. — 2014. — № 4-3 (34). — S. 121—124.
7. Maksyutina O. V. Redaktirovanie perevoda kak neot"emlemaya chast' sovremennogo standarta ka-chestva // Vestn. Tom. gos. ped. un-ta. — 2014. — № 4 (145). — S. 106—111.
8. Marchuk Yu. N. Problemy mashinnogo perevoda. — M. : Nauka, 1983. — 201 s.
9. Nechaeva N. V., Svetova S. Yu. Postredaktirovanie mashinnogo perevoda kak aktual'noe napravlenie podgotovki perevodchikov v vuzakh // Voprosy metodiki prepodavaniya v vuze. — 2018. — T. 7. — № 25. — S. 64—72.
10. Novozhilova A. A. Mashinnye sistemy perevoda: kachestvo i vozmozhnosti ispol'zovaniya // Vestn. Vol-gogr. gos. un-ta. Ser. 2: Yazykoznanie. — 2014. — № 3. — S. 67—73.
11. Novozhilova A. A., Shovgenina E. A. Obuchenie studentov-perevodchikov rabote s elektronnymi resur-sami kak osnova ikh budushchey konkurentosposobnosti i uspeshnosti // Vestn. Volgogr. gos. un-ta. Ser. 6, Uni-versitetskoe obrazovanie. — 2013. — № 14. — S. 70—76.
12. Ofitsial'nyy sayt kompanii PROMT [Elektronnyy resurs] Chto takoe mashinnyy perevod? — Rezhim dostupa: http: //www.promt.ru/company/technology/machine_translation/ (data obrashcheniya: 20.11.2018).
13. Popkova O. V. Dostoinstva i nedostatki ispol'zovaniya programm-perevodchikov studentami neyazy-kovykh vuzov v khode izucheniya angliyskogo yazyka v sfere professional'noy kommunikatsii // Uchen. zap. OGU. Ser.: Gumanitarnye i sotsial'nye nauki. — 2016. — № 4 (73).
14. Rtishcheva N. G. Otsenka kachestva raboty sistem mashinnogo perevoda // Reshetnevskie chteniya. — 2017. — № 21-2.
15. Usacheva A. N. Perevod: ot lingvisticheskoy teorii k kognitivnoy modeli // Vestn. Volgogr. gos. un-ta. Ser. 2, Yazykoznanie. — 2011. — № 1 (13). — S. 131—137.
16. Shevchuk V. N. Informatsionnye tekhnologii v perevode. Elektronnye resursy perevodchika. — M. : Zebra E, 2013. — 384 s.
17. Hutchins W. J. Current commercial machine translation systems and computer-based translation tools: system types and their uses / / International J. of Translation. — 2005. — Vol. 17. — № 1-2. — P. 5—38.
