CC BY
17
УДК 544.421.42:536.755
Ананьев А.В.. Кузнецов И.А., Доброскок В.В.
КОМБИНИРОВАННАЯ МЕТОДИКА ОПРЕДЕЛЕНИЯ КАЧЕСТВА МАШИННОГО ПЕРЕВОДА НАУЧНЫХ СТАТЕЙ
Ананьев Александр Владимирович, студент 1 курса магистратуры факультета цифровых технологий и химического инжиниринга; e-mail: 200055@muctr.ru
Кузнецов Игорь Александрович, к.э.н, доцент кафедры иностранных языков РХТУ им. Д.И. Менделеева, Доброскок Виктория Владимировна, старший преподаватель кафедры иностранных языков, Российский химико-технологический университет им. Д.И. Менделеева, Москва, Россия.
В данной статье впервые описана комбинированная методика анализа качества машинного перевода научных статей при помощи алгоритмов шинглов и Левенштейна с последующей субъективной оценкой. Ключевые слова: машинный перевод, алгоритм Левенштейна, алгоритм шинглов, оценка качества перевода, эффективность систем.
COMBINED METHODOLOGY FOR DETERMINING THE QUALITY OF MACHINE TRANSLATION OF SCIENTIFIC ARTICLES
Ananev A.V., Kuznetsov I.A., Dobroskok V.V.
D. Mendeleev University of Chemical Technology of Russia, Moscow, Russia.
This article describes for the first time a combined technique of analyzing the quality of machine translation of scientific articles using algorithms of shingles and Levenshtein with subsequent subjective evaluation
Keywords: machine translation, Levenshtein's algorithm, shingle algorithm, translation quality assessment, system efficiency.
Перевод научной, технической и бизнес литературы в современном мире является неотъемлемой частью производства, предпринимательства, корпоративной и научной деятельности. В настоящее время при реализации различных проектов часто наблюдается наличие контрагентов одновременно из нескольких языковых групп. Однако достаточно сложно найти сотрудников, свободно владеющих иностранными языками дополнительно к ключевым навыкам. В то же время, экономически неоправданно содержать большой штат переводчиков для текущего документооборота[ 1].
Поэтому вполне естественно, что использование автоматизированных переводчиков является не только хорошим подспорьем, но и насущной необходимостью как для специалистов, так и обучающихся. При этом возникает необходимость выбора наиболее подходящего для конкретной задачи сервиса перевода на основе объективных критериев качества с возможностью аргументации такого выбора[1]. В настоящее время существует целый ряд алгоритмов машинного перевода. Самые современные из них используют в своей работе нейронные сети, глубинное обучение и нечеткую логику[2]. Наиболее востребованными и популярными являются следующие сервисы машинного перевода: Google Translate API, Yandex Translate API, PROMT, Microsoft Translater Text API (Azure), DeepL translation API. Из-за специфики научно-технических текстов, их переводы легче поддаются оценке, так как им присущи однозначность и формальность. В то же время, необходимо особо учитывать наличие специальной лексики и терминологии, устойчивых словесных оборотов[3,4].
Чтобы оценить качество машинного перевода, предоставляемого различными сервисами необходимо изучить качество перевода текстов каждой нейросети через количественные характеристики с помощью существующих методик[3]. Для повышения достоверности такой оценки оправдано применение комбинации методик, отражающих как объективные, так и субъективные показатели качества текста. Для объективной оценки качества перевода используется методика определения различий между исходным текстом и конечным вариантом перевода[5] по алгоритму Левенштейна. Данный алгоритм основан на подсчете количества односимвольных операций (перестановки, удаления, вставки), необходимых для того, чтобы два текста стали идентичными. Для сравнения похожести двух текстов разной длины применяется показатель Distance ratio, который соответствует отношению расстояния Левенштейна к сумме размеров текста в символах. Естественно, что этот показатель будет снижаться в основном при взаимном уменьшении в обоих текстах однокоренных слов, отображая, таким образом, разницу в лексическом наборе текстов.
Данную методику уместно дополнить вычислением показателя по «алгоритму шинглов», определяющего процент похожести («дубликатности») текстов -исходного и конечного[6]. Этот алгоритм, в свою очередь, чувствителен к порядку и форме слов, так как сравнивает в текстах идентичность целых фраз. За счет этого с большой долей достоверности можно выявить стилистические различия текстов (например, когда поменяны местами подлежащее и сказуемое, или однокоренные слова употребляются в различных формах).
Для оценки машинного перевода по описанным алгоритмам используется модель «оригинальный текст - перевод - обратный перевод». Данная модель характеризуется способностью учитывать контекст и однозначность перевода[5]. В ней исходный текст подвергается машинному переводу на целевой язык, а затем - обратному переводу на язык оригинала. Далее происходит вычисление показателей, упомянутых выше по алгоритмам шинглов и Левенштейна при сравнении оригинального текста и текста обратного перевода.
Для анализа конкретной системы перевода целесообразно осуществлять несколько
последовательных итераций (циклов) формирования «обратного перевода», когда в качестве входного текста принимается текст обратного перевода из предыдущей итерации. В первой же итерации на вход подается исходная статья на языке оригинала. Каждый раз при этом высчитываются показатели Distance ratio и схожесть по алгоритму шинглов между входным текстом и обратным переводом. Сигналом к завершению работы служит обнаружение факта полной идентичности входного и исходящего текстов. То есть с этого момента на выходе изучаемой системы перевода всегда будет один и тот же результат, а поэтому повторения циклов бессмысленны. Так получается текст «конечного варианта перевода», который и подлежит анализу на заключительном этапе по субъективной методике оценки. Кроме того, анализу подвергаются полученные численные показатели в каждом цикле с учетом того, в какой именно по счёту итерации получен «конечный вариант перевода».
Для изучения специфики перевода химических текстов в качестве входных данных целесообразно выбирать научные статьи по химии из специализированных журналов. Благодаря такой выборке оценивается не только перевод специальных терминов как таковых, но и возможность передачи общей стилистики текста, смысловых ассоциаций, логической структуры. Для повышения достоверности полученных данных в подобных исследованиях необходимо производить оценку большого количества текстов из различных источников с последующей агрегацией результатов по методу среднего арифметического или с использованием статистической обработки данных [6]. Для проведения такого масштабного исследования нельзя обойтись без использования
специализированной компьютерной программы, которая делает процесс исследования переводов от множества сервисов автоматизированным,
осуществляя подсчет нужных характеристик. Такая программа на входе получает текст оригинальной статьи на русском языке и выполняет следующие действия: формирует запрос к API (Application programming interface) нейросети для перевода; рассчитывает Distance ratio и значения по алгоритму шинглов для каждой итерации обратного перевода; создает итоговую таблицу с результатами [5] и подготавливает выходные данные к передаче на субъективную оценку.
На заключительном этапе применения комбинированной методики для субъективной оценки качества перевода требуется участие нескольких групп респондентов с высшим образованием естественнонаучного направления распределенных территориально и по времени. Наличие высшего образования у респондентов является в данном случае обязательным, так как необходима оценка незнакомого научного текста, что является базовым навыком, предоставляемым высшими учебными заведениями[7]. Участники исследования оценивают текст на русском языке с точки зрения стиля, логичности, языкового разнообразия путем прямого анкетирования. Одной из групп предлагается оценить текст оригинальной статьи (в качестве контроля), а остальным - текст «конечного варианта перевода». Каждой группе достается какая-то одна из нейросетей. Участникам предлагается бинарный вопрос: «Является ли предложенный текст понятным, логично выстроенным, стилистически правильным?». В случае отрицательного ответа, участнику предоставляется возможность выбрать наиболее значимые недостатки текста[8]. На основании такого исследования предполагается выявить наличие деградации текста, потерю смысла и логических связей в процессе многократной обработки текста системой перевода. В результате агрегации оценок, полученных от участников эксперимента, формируется количественный показатель достаточно субъективной характеристики качества и, таким образом, оценивается эффективность работы каждой исследуемой нейросети[9]. Такие исследования проводят на платформе краудсорсинга, где есть возможность предложить участникам текст для оценки и собрать их ответы с выводом результатов в удобной форме [10]. Подобные услуги для научных изысканий предоставляют «Яндекс.Толока», Amazon Mechanical Turk (AMT) и CrowdFlower, Universal Human Relevance System (UHRS) от Microsoft или EWOK от Google. По результатам расчетов показателя схожести по алгоритму шинглов исходного текста и обратного перевода в каждой итерации формируется таблица. Полученные значения дают представление о том, какое количество слов и словосочетаний в обратном переводе имеют точно такие же положение в предложении и форму употребления, как и в исходном тексте. С помощью таблицы можно охарактеризовать внутреннюю организацию нейросети, а по получении «конечного варианта перевода» - её «предел» возможностей перевода текста[6]. При этом «конечный вариант перевода» будет являться самым «машинным», формализованным, и по нему можно судить о том, насколько близко к исходному тексту статьи по смыслу, стилистике и логическим связям приближается машинный перевод. Кроме того, при анализе текстов по алгоритму шиндлов была отмечена интересная закономерность: все упомянутые в данной статье системы перевода в первой итерации показывают минимальные значения схожести исходного текста и обратного перевода, с резким ростом показателя (более 50%) уже в
следующей итерации. То есть текст, составленный изначально человеком, показывает низкие значения, в отличие от машинного текста. Выявленная закономерность может быть применена в преподавательской и коммерческой деятельности - для обнаружения подлога выполнения заданий по переводу текстов [11,12]. Естественно, эта зависимость нуждается в более тщательном изучении, что, однако, не являлось задачей данного исследования. По оценке обратного перевода по алгоритму Левенштейна можно судить о вырождении алгоритма нейросети [5]. Значения Distance ratio уже в первых итерациях не сильно отклоняются от единицы. Это связано с тем, что в отличии от алгоритмов шинглов, алгоритм Левенштейна менее чувствителен к формам слов, однокоренным словам. Таким образом, на основании данного показателя можно сделать вывод о лексическом разнообразии («словарном запасе») исследуемой системы перевода. При этом, чем дольше нейросеть сохраняет это лексическое многообразие в итерациях, тем ближе её работа похожа на человеческую, так как человек одни и те же по смыслу фразы может перевести с использованием различных конструкций и лексики.
По результатам заключительного этапа описываемой комбинированной методики - субъективной оценки качества текстов, также составляется итоговая таблица, формализующая полученные данные по проценту положительных оценок. Эти данные позволяют проанализировать, насколько переводы, сделанные нейросетью, приближены по восприятию к переводу, сделанному человеком, насколько сохранены смысл и логической структура. При этом, так как для анализа предоставляется «конечный вариант перевода» (то есть текст после многократной обработки нейросетью), можно утверждать, что участники производят оценку качества самой системы перевода.
Таким образом, с помощью описанной комбинированной методики появилась возможность оценить качество машинного перевода на основании объективных и формализованных субъективных характеристик. Лучшая система перевода будет обладать более высокими значениями субъективной оценки, и достигать идентичности текстов в модели «оригинальный текст - перевод - обратный перевод» на более поздних итерациях. Применение данной методики позволит, в зависимости от тематики и типа исходных текстов, принимать решение по выбору наиболее оптимальной системы перевода в коммерческой, научно-исследовательской, проектной, учебной и преподавательской деятельности и аргументировать такое решение на основе конкретных численных показателей, соизмеряя его с финансовыми затратами[13].
Список литературы
1. Human versus machine translation in business // Материалы VI Международной научно-практической конференции. Уральский федеральный университет имени первого
Президента России Б. Н. Ельцина. Екатеринбург. 2017. С. 217-221.
2. Adrián Fuentes-Luque A.S.U. Machine translation systems and guidebooks an approach to the importance of the role of the human translator // Onomázein: Revista de lingüística, filología y traducción de la Pontificia Universidad Católica de Chile. Jul 2020 pp. 63-82.
3. Бабаян В.Н. К вопросу о специфике перевода текстов научно-технической тематики // Вестник ярославского высшего военного училища противовоздушной обороны, №. 1(4), 2019
4. М. В. Пителина и др. К вопросу о переводе химических текстов с английского языка на русский язык // Сборник статей X международной научно-практической конференции. Астрахань. 2017. C. 127-130.
5. Корнилов и др. Оценка качества машинного перевода текста с использованием метода анализа нечетких дубликатов // Известия ЮФУ. Технические науки. 2017 №. 7 (192). C. 102-111.
6. Корнилов и др. Определение набора условий для автоматического поиска оптимального варианта гибридного машинного перевода текста на графемном уровне // Известия ЮФУ. Технические науки. 2020 №. 2 (212). C. 29-37.
7. Апанович В.В., Мороз О.С., Безденежных Б.Н., Аналитичность-холистичность мышления у представителей разных социальных слоев российского общества // Естественно-научный подход в современной психологии. Москва, 2014. С. 617-624
8. Никитина И.Н. Некоторые аспекты оценки качества научно-технического перевода // Сборник научных статей VIII Всероссийской научно-практической конференции. Самара. 2019. С. 250253.
9. Воронин В. М., Курицин.С.В., Наседкина.З.А. Использование латентного семантического анализа как альтернативы пропозиционального анализа в исследованиях понимания текста // Гуманизация образования, №. 2, 2017 С. 11-19.
10. Краудсорсинг как метод научных исследований. Русанова А.А., Гуменников И.В., Касати Ф., Горев В.П. // Казанский социально-гуманитарный вестник. № 6(41). 2019. С. 56-61
11. Конкин А.А. Цифровизация образования: преодоление барьеров и рисков на пути к цифровому университету будущего // Вестник Омского государственного педагогического университета. Гуманитарные исследования. 2020. № 2 (27). С. 136-140.
12. Абрамов Е. Г., Кириллова О. В. Публикационная этика в научно-исследовательском процессе / Научная периодика: проблемы и решения. 2012. № 5(11). С. 4-8.
13. Бексултанов А.А. Внутренний контроль при использовании основных средств в бюджетных организациях // Наука, новые технологии и инновации. - 2016. - № 6. - С. 110-111.
