CC BY
133
Марус М. Л., Есмурзаева Ж. Б.Разработка методики для оценки качества машинного перевода// Электронный научно-методический журнал Омского ГАУ. - 2020. - № 4 (23) октябрь- декабрь. - URL http://e-journal.omgau.ru/images/issues/2020/4/00890.pdf. - ISSN 2413-4066
УДК 82.322.4
Марус Максим Леонидович
Кандидат филологических наук, доцент ФГБОУВО Омский ГАУ, г. Омск ml.marus@omgau.org
Есмурзаева Жанбота Бауржановна
Кандидат филологических наук, доцент ФГБОУ ВО Омский ГАУ, г. Омск zhb.esmurzaeva@omgau.org
Разработка методики для оценки качества машинного перевода
Аннотация. В статье определяется набор критериев, которые могут быть использованы при оценке качества машинного перевода, выполняемого современными онлайн-переводчиками. На основе их анализа формулируется методика проведения такого оценивания, а также разрабатывается шкала для балльной оценки качества машинного перевода различных текстов.
Ключевые слова: машинный перевод, оценка качества перевода, онлайн переводчик.
Вопросы развития систем машинного перевода являются одними из наиболее актуальных в современной лингвистике и переводоведении. Интерес к данным системам обусловлен их востребованностью в современном глобализованном мире, где многим людям почти ежедневно приходится сталкиваться с текстами, написанными на незнакомых им языках. В течении долгого времени автоматические переводчики развивались довольно медленно, а выполняемые ими переводы оставляли желать много лучшего, поскольку содержали огромное количество смысловых ошибок. Однако бурное развитие высоких технологий в последние два десятка лет, появление облачных технологий и нейронных сетей способствовали не менее бурному совершенствованию и систем машинного перевода.
В связи с этим, появляется необходимость и в оценке качества машинного перевода. Если в начале нынешнего века оценивать было практически нечего, все машинные переводы были одинаково плохими и малопонятными, то в настоящее время результаты, выдаваемые некоторыми системами могут в целом передать смысл иноязычного текста, допустив лишь ограниченное количество ошибок. Анализ качества работы систем машинного перевода может помочь определить векторы дальнейшего их развития, а также сформулировать практические рекомендации для широкого круга пользователей. В данной статье мы предпринимаем попытку проанализировать наиболее общие аспекты оценки качества машинного перевода, и определить подход к созданию практических методов его оценивания.
Изучив научные работы коллег, посвященные данному вопросу, мы можем отметить, что работа в обозначенном направлении ведётся весьма плодотворно. Например, необходимо
отметить статью И.А. Кириченко и Н.А. Сигачевой, в которой формулируются критерии оценивания машинного перевода научно-технических текстов, и предпринимается попытка такой оценки с помощью балльной шкалы. [5]
При рассмотрении проблемы качества машинного перевода многие авторы отмечают, что перевод, выполненный автоматическим переводчиком, содержит стилистические ошибки и нуждается в дальнейшем редактировании человеком. С этим, конечно, можно полностью согласиться, однако вопрос о том, следует ли полностью учитывать данный аспект при оценке качества современных систем машинного перевода представляется спорным и неоднозначным. Объективно, ни одна современная система машинного перевода на данный момент не способна выполнять переводы на том же уровне, что и профессиональный переводчик. Причины этого видятся нам в следующем. В большинстве текстов можно условно выделить два типа информации: 1) более системная, регулярная, связанная с лексико-грамматической структурой языка, и 2) более ситуативная, метафорическая, связанная с экстралингвистической реальностью. Первый тип является достаточно простым для обработки автоматическим переводчиком, сюда можно отнести коллокации, фразеологизмы, клише, шаблонные фигуры речи. Сюда же можно включить и набор грамматических правил, поскольку он тоже носит упорядоченный характер, и отличается ограниченным количеством системных элементов. Здесь процесс перевода связан преимущественно с подбором лексических эквивалентов и грамматических конструкций, имеющихся в базе данных системы перевода. Второй тип гораздо более сложен для перевода, поскольку требует некоторой «дешифровки», его смысл не проистекает напрямую из смысла составляющих его элементов. Он метафоричен, причём это не типовые, шаблонные метафоры, а ситуативные, созданные автором текста в соответствии с конкретной речевой ситуацией, и поэтому отсутствующие в какой-либо базе данных. Чтобы перевести такие части текста нужно задействовать фоновые знания, житейский опыт и творческую смекалку, то есть то, чего у системы автоматического перевода нет, и, до появления искусственного интеллекта (аналогичного человеческому), по всей видимости, и не будет. То же самое касается общей стилистической оформленности текста, которая требует во многом интуитивного соотнесения слов и словосочетаний как в рамках отдельного предложения, так и в рамках целого текста. Нередко приходится наблюдать такую картину -предложение переведено верно в смысловом отношении, правильно переданы фразеологизмы, термины, даже некоторые коллокации, но в целом оно построено искусственно.
Соответственно, если ни один автоматический переводчик не удовлетворяет такому требованию, то не логичней ли вообще его исключить, хотя бы до той поры, когда это станет возможным. Таким образом, автоматический переводчик скорее следует рассматривать с точки зрения его способности передавать смысл насколько возможно полно и без существенных искажений, то есть изначально рассматривать и оценивать его как вспомогательный инструмент, а не замену переводчику-человеку.
Рассматривая систему машинного перевода просто как инструмент для получения информации из иноязычного текста, логично оценивать её преимущественно с точки зрения соответствия информативной составляющей оригинала и информативной составляющей перевода. Таким образом, при оценке качества машинного перевода, по нашему мнению, следует в первую очередь учитывать как ошибки те случаи, когда реципиент не способен восстановить смысл исходного текста на основе текста перевода. Такие отрезки текста, кстати, не поддаются постредактированию без работы с исходным текстом. Те же ошибки, что поддаются постредактированию без оригинала можно считать второстепенными, неизбежными на данном уровне развития систем машинного перевода.
Введение градации ошибок при оценке качества машинного перевода представляется, на наш взгляд, отправной точкой в построении шкалы оценивания, но для того, чтобы эта шкала более чётко отражала реальную действительность, необходимо ввести дополнительные показатели и коэффициенты, связанные с особенностями самих текстов.
В первую очередь, нужно учесть частотность ошибок, то есть их количество на стандартной протяжённости текста, исчисляемой в печатных знаках, поскольку «текст» в данном случае не может являться четкой единицей. Тексты могут быть разного объёма, и если мы вводим универсальный показатель количества ошибок, то он должен быть связан со стандартной и легко конвертируемой единицей, допустим, количество ошибок на 100 печатных знаков.
Одной из немаловажных характеристик системы машинного перевода, несомненно, является её способность качественно переводить тексты, относящиеся к различным стилям и типам. Таким образом, при оценке качества перевода необходимо вводить и показатель стилевой сложности текста. Очевидно, что качество перевода адаптированного текста из учебника иностранного языка нельзя сравнивать с качеством перевода научной статьи. Неоднозначность такой оценки, видится ещё и в том, что и тексты, принадлежащие к одному стилю, также могут быть написаны языком разной степени сложности. Последний аспект, впрочем, может нивелироваться при обработке достаточно большого количества текстов. Следовательно, здесь имеется необходимость ведения коэффициента сложности текста в зависимости от его стилевой принадлежности.
Наконец, при описании системы машинного перевода необходимо учитывать такой фактор как многоязычность. Все современные системы автоматического перевода позиционируются как многоязычные, способные, к тому же, осуществлять перевод между любыми двумя языками, заложенными в их функционал. В реальности ситуация здесь довольно неоднозначная. Наиболее проработанными направлениями являются те, которые связаны с английским языком, что вполне естественно, учитывая их востребованность. Все остальные направления гораздо менее проработаны и качество перевода, например, с английского языка на русский будет намного выше, чем с итальянского или норвежского языка на русский. Кроме того, базовым материалом для функционирования систем машинного перевода является корпус текстов на данном языке, и чем он меньше, тем ниже качество перевода. При этом работа системы машинного перевода в языковых парах, включающих английский язык, тоже неоднозначна. Например, как это описывается в работе Г.Х. Тураевой, перевод с английского языка на русский в системе Google Translate осуществляется гораздо более качественно, чем перевод с английского языка на узбекский [10], что связано всё с тем же количеством доступного языкового материала. Здесь необходимо отметить, что выработать обоснованный коэффициент для оценки перевода на разных языках не представляется возможным, однако следует уточнить, что при проведении оценки качества машинного перевода согласно нашей методике, мы будем сопоставлять результаты перевода с нескольких языков для достижения наибольшей объективности оценивания.
Вводя шкалу оценивания на таких основаниях, можно представить её следующим образом: одна ошибка, ведущая к полному искажению исходной информации, и не допускающая возможности постредактирования без использования исходного текста - 2 балла; одна ошибка, ведущая к некоторому искажению исходной информации, и допускающая возможность постредактирования без использования исходного текста - 1 балл. При этом количество баллов делится на количество знаков в тексте из расчета 1 ошибка на 100 знаков. То есть, если в тексте объёмом 2000 знаков допущена одна серьёзная ошибка, то количество баллов будет рассчитываться как 100/2000х2=0,1.
Далее, необходимо ввести коэффициент сложности текста, таким образом, чтобы ошибки в более сложных текстах давали меньшее количество баллов, чем ошибки в более простых текстах. Здесь возникает проблема подбора критериев для оценки сложности текста.
Индекс удобочитаемости Флеша, а также подобные ему методики оценки сложности текста, с одной стороны имеют сильную сторону в том, что дают оценку тексту на основе математического расчета, в результате которого получается числовое значение. Однако, с нашей точки зрения, они не очень подходят для того, чтобы характеризовать сложность переводимых текстов, поскольку они, в большей степени, связаны со сложностью восприятия
текста человеком, и не учитывает специфики перевода, а именно метафоричности текста или количество фразеологических и терминологических единиц.
Для введения коэффициента, связанного со сложностью текста мы обратимся к классификации текстов, принятой в переводоведении, в трактовке В.С. Виноградова. [1, С. 16-17] В соответствии с данной классификацией предлагаются следующие значения коэффициентов: 1) разговорные тексты - 5; 2) официально-деловые тексты - 4; 3) общественно-информативные тексты - 3; 4) научные тексты - 2; 5) художественные (и религиозные) тексты - 1. Таким образом, одна серьёзная ошибка в переводе текста объёмом 2000 знаков для разговорного текста будет иметь значение 0,1х5=0,5 балла, а для художественного текста
0.1.1=0,1 балла.
Наконец, для достижения максимальной наглядности цифрового результата предлагается умножать его на -1, чтобы подчеркнуть, что предлагаемая шкала отражает именно количество допускаемых ошибок, соответственно большее количество баллов представляет собой худший вариант. Следовательно, рассмотренные выше примеры учета количества ошибок в машинном переводе разговорного или художественного текстов соответственно дадут результаты -0,5 и -0,1.
Авторами планируется проведение практического исследования качества машинного перевода, выполняемого современными системами, такими как Google Переводчик, Яндекс Переводчик и PROMT.One с использованием предложенной методики.
Ссылки на источники:
1. Виноградов В.С. Введение в переводоведение (общие и лексические вопросы). М.: Издательство института общего среднего образования РАО, 2001, 224 с.
2. Данкова Н.С., Мусонов В.М. К вопросу об использовании систем машинного перевода текста // В сборнике: Язык как основа современного межкультурного взаимодействия. Материалы VI Международной научно-практической конференции. Отв. ред. Д.Н. Жат-кин, И.В. Куликова. 2020. С. 57-62.
3. Егоров Е.А., Курникова Н.С. Ошибки машинного перевода общественно- политических текстов с английского языка на русский (на примере сервиса Google Translate) // В сборнике: Вопросы переводоведения, межкультурной коммуникации и зарубежной литературы. сборник научных статей. Чувашский государственный педагогический университет им. И.Я. Яковлева. Чебоксары, 2020. С. 52-58.
4. Егорова А.Ю., Зацман И.М., Косарик В.В., Нуриев В.А. Нестабильность нейронного машинного перевода // Системы и средства информатики. 2020. Т. 30. № 2. С. 124-135.
5. Кириченко И.А., Сигачева Н.А. Цифровизация перевода с английского на русский язык: анализ и сравнение качества машинного сервиса // Педагогические науки. 2020. №3, том 4. С. 27-37.
6. Кочеткова Н.С., Ревина Е.В. Особенности машинного перевода // Филологические науки. Вопросы теории и практики. 2017. № 6(72): в 3-х ч. Ч. 2. C. 106-109.
7. Марус М.Л. О проблемах и перспективах развития современной электронной лексикографии // Электронный научно-методический журнал Омского ГАУ. 2019. № 2 (17). С. 25
8. Переходько И.В., Мячин Д.А. Оценка качества компьютерного перевода // Вестник Оре-бургского государственного университета. 2017 № 2 (202). С. 92-96
9. Ртищева Н.Г. Оценка качества работы систем машинного перевода // Решетневские чтения. 2017. №21-2. С. 704-705.
10. Тураева Г.Х. Проблемы машинного перевода при переводе на узбекский язык // Universum: технические науки. 2020. № 10-1 (79). С. 47-49.
11. Strakhova D.A. Investigation of machine translation applicability // Russian linguistic Bulletin. 2020. № 2 (22). С. 6-8.
Maxim Marus
Candidate of Philological Sciences, Associate Professor FSBEIHE OmskSAU, Omsk
Zhanbota Esmurzaeva
Candidate of Philological Sciences, Associate Professor FSBEI HE Omsk SAU, Omsk
Development of a methodology for assessment of quality of machine translation
Abstract. The article defines a set of criteria that can be used for assessment of quality of machine translation performed by present-day online translation systems. A methodology based on the criteria is formulated and a scale for scoring the quality of machine translation of various texts is developed.
Keywords: machine translation, translation quality assessment, online translator.
