CC BY
24
УДК 004.912 DOI 10.18522/2311-3103-2020-2-29-37
В.С. Корнилов, В.М. Глушань, А.Ю. Лозовой
ОПРЕДЕЛЕНИЕ НАБОРА УСЛОВИЙ ДЛЯ АВТОМАТИЧЕСКОГО ПОИСКА ОПТИМАЛЬНОГО ВАРИАНТА ГИБРИДНОГО МАШИННОГО ПЕРЕВОДА ТЕКСТА НА ГРАФЕМНОМ УРОВНЕ*
Статья посвящена алгоритмическому поиску оптимальных решений при оценке и повышении качества гибридного машинного перевода текста. Объектом исследования являются тексты на любых алфавитных языках с различной базой (алфавитом), а также их переводы на другие алфавитные языки. В настоящее время существующие методы и средства гибридного машинного перевода отличаются большим многообразием алгоритмов оценки качества, однако, недостатком данных методов является отсутствие четких критериев, ограничений и схемы оценивания, в итоге результат перевода в большинстве случаев не соответствует уровню публикации. Целью работы является определение набора условий для автоматического поиска оптимального варианта гибридного машинного перевода текста на графемном уровне. Основными решаемыми задачами в ходе исследования являются поиск качественных и количественных условий, в том числе максимальных, минимальных и средних значений длин переводов, обратных переводов и редакционных расстояний между парами текстов, имеющими одинаковый смысл. Научная новизна заключается в использовании графического представления модели алфавитных языков на графем-ном уровне в виде декартовой системы координат с размерностью, равной единичному редакционному расстоянию (Левенштейна). При решении использованы следствия теоремы де Гуа, действующие Правила Стандартизации ПР 50.1.027-2014 «Правила оказания переводческих и особых видов лингвистических услуг», метод деканонизации и модель «оригинальный текст - перевод - обратный перевод». В результате получены действительные и практически применимые решения для рассматриваемых задач. В связи с этим данная работа может быть интересна для широкого круга специалистов, занимающихся проблемами машинного перевода и переводоведением.
Гибридный машинный перевод; качество перевода; обратный перевод; редакционные расстояния; графемный уровень; алфавитные языки.
V.S. Kornilov, V.M. Glushan, A.Yu. Lozovoy
DETERMINING A SET OF CONDITIONS FOR AUTOMATICALLY FINDING THE BEST OPTION FOR HYBRID MACHINE TRANSLATION OF TEXT AT THE LEVELOF GRAPHEMES
The article is devoted to the Algorithmic Search for Optimal Solutions for evaluating and improving the Quality of Hybrid Machine Translation of Text. The Object of the Research is Texts on any Alphabetical Languages with different Bases (Alphabets), as well as their Translations into other Alphabetical Languages.Currently, existing Methods and Means of Hybrid Machine Translation are characterized by a wide variety of Quality Assessment Algorithms, but the Disadvantage of these Methods is that most of them do not have Clear Criteria, Limitations and Schemes of Assessments, eventually, the Result of the Translation in most cases does not correspond to the Level of Publication. The Aim of the Work is to determine a Set of Conditions for automatic search for the Best Option of Hybrid Machine Translation of Text at the Level of Graphemes.The Main Tasks to be solved during the Research are the Search for Qualitative and Quantitative Conditions, including the maximum, minimum and average values of the Lengths of Translations, Reverse Translations and Editorial Distances between Pairs of Texts that have the Same Meaning. The Scientific Novelty lies in use the Graphical Representation of the Model of Alphabetic Languages at the Level of Graphemes in the Form of a Cartesian Coordinate System with a Dimension equal to a Unit Editorial Distance (by Levenstein). When solving the de Goui's Theorem, the current Rules of
*
Работа выполнена при поддержке РФФИ (проект № 18-01-00041).
Standardization PR 50.1.027-2014 "Rules for the Provision of Translation and Special Types of Linguistic Services", the Method of Decanonicalization and the Model "Original Text - Translation - Reverse Translation " were used. As a Result, Actual and Practically Applicable Solutions for the Problems under consideration are obtained. In this regard; this Work may be interest to a wide range of Specialists engaged in Machine Translation and Translation Studies.
Hybrid machine translation; translation quality; reverse translation; editorial distances; level of graphemes; alphabetical languages.
Введение. Целью современных систем машинного перевода является получение текстов высокого качества. При этом нередко решаются задачи выбора оптимального перевода из нескольких вариантов. Для отдельных фраз и словосочетаний существует единственный вариант перевода, а для предложений и абзацев, как правило, множество вариантов или нечетких дубликатов текста, имеющих смысловое сходство. В настоящее время существует ряд методов оценки машинного перевода и методов сравнения нечетких дубликатов текста [1]. Одним из таких методов является вычисление редакционного расстояния Левенштейна между двумя текстами [2].
Преимуществом данного метода является его универсальность, выражающаяся в возможности вычислять длину и редакционное расстояние для любых текстов на разных алфавитных языках (не иероглифических), а также высокая математическая точность. К недостаткам данного метода относится невозможность отслеживания ошибок в переводе при сравнении текстов на разных языках. В данной статье предлагается один из возможных подходов к повышению универсальности метода редакционных расстояний Левенштейна для определения оптимального варианта машинного перевода текста на графемном уровне и отслеживания ошибок в переводе в автоматическом режиме.
Постановка задачи. Целью статьи является установление набора условий для автоматического поиска оптимального варианта гибридного машинного перевода текста на графемном уровне передаваемой информации. Объектом исследования являются тексты на любых символьных языках с различной базой (алфавитом). Решаемыми задачами являются определение минимальных, максимальных и средних значений длин текстов при переводе, а также допустимые пределы редакционных расстояний между текстами. При переводе текстов с языка на язык возникает необходимость определения соотношения длин оригинального текста и перевода как одного из возможных критериев оценки качества. Длины текстов оригинала и перевода является одним из критериев при оценке эквивалентности текстов. Поскольку длинный текст невозможно перевести короткой фразой, данная задача является актуальной. В рамках данной статьи не рассматривается сравнение оригинального текста и перевода на логико-семантическом и морфосинтак-сическом уровнях, которое проводится параллельно в соответствии с Правилами Стандартизации ПР 50.1.027-2014 «Правила оказания переводческих и особых видов лингвистических услуг» (далее - Правила) [4] и методом деканонизации, который более подробно изложен в работе [5].
Обзор основных работ по исследуемой тематике. Рекомендация по применению обратного перевода при оценке самого перевода впервые приведена в статье [6]. Следует отметить, что обратные методы имеют широкое применение в математике [7], измерительной технике и метрологии [8]. При многократном применении прямых и обратных операций с данными методы носят итерационный характер [9, 10].
В работе [8] исследуются методы взаимных обратных преобразований для определения чувствительности обратимых преобразователей в измерительных системах. «Все методы взаимности основываются на том, что один из преобразо-
вателей является взаимным и для него отношение чувствительности в режиме приема к чувствительности в режиме передачи равно постоянной величине, называемой параметром взаимности, и этот параметр зависит от свойств среды, граничных условий, и не зависит от типа преобразователя» [8]. Учитывая наличие среднестатистического коэффициента пересчета длин текстов при переводе с произвольного языка на язык к, можно утверждать, что существует вероятность аналогичного поведения системы обратимого «черного ящика» и для машинного перевода.
Применение расстояния Левенштейна при оценке качества машинного перевода для средств стандартизации терминологии изложено в статье [11]. В данной статье использован подход, заключающийся «в прямом и обратном переводе русского термина на иностранный язык (английский) и последующем обратном переводе на русский. В случае совпадения оригинала и результата двойного перевода термина последний предполагается согласованным с международно-принятой терминологией. Расстояние Левенштейна использовалось для определения совпадения/рассогласования между исходным термином и термином, полученным в результате прямого и обратного переводов». Указанный подход является частным случаем задачи определения набора условий для автоматического поиска оптимального варианта гибридного машинного перевода текста на графемном уровне, рассматриваемой в рамках данной статьи.
В работе [12] приведена классификация параметров алгоритмов, применяемых для сравнения строковых данных. Основными параметрами являются «соотношение длин источника (SourceSize - англ.) и шаблона (PatternSize - англ.), точность совпадения строк, применяемые вычислительные ресурсы на выполнение поиска и предобработку данных, возможность изменения шаблона, поведение алгоритма при изменении допустимого числа отличий» [12]. В цитируемой статье также отмечается использование преобразующего автомата «на основе суффикс-ного дерева предложения (алгоритм Укконена) и редакционных расстояний Даме-рау-Левенштейна».
В пункте 6.1.2 Правил [4] устанавливаются пересчетные коэффициенты. «Из-за изменения объема текста в процессе перевода в зависимости от языковой пары при первичном расчете объема работ и услуг по письменному переводу используются условные коэффициенты» [4]. «Остальным языкам пересчетные коэффициенты определяются опытным путем, либо на базе накопленной статистики переводов в данной языковой паре, либо по выборочному расчету типовой для данного документа страницы путем деления числа знаков переведенной на русский язык стандартной страницы оригинала на число знаков в оригинальном тексте» [4].
Исходные данные. В связи с тем, что количество параметров, определяющих качество машинного перевода довольно велико, модель «оригинальный текст -перевод - обратный перевод» будем рассматривать как обратимый «черный ящик», имеющий определенную суммарную погрешность преобразования.
Учитывая наборы ограничений, изложенных выше (в работах [1, 4, 8, 11, 12]), зададим исходные данные к поставленной задаче. Величиной ^ будем называть значение пересчетного коэффициента [4] длин текстов, при переводе с одного языка на другой язык. Индексы I, J означают случайные алфавитные языки оригинального и целевого текста соответственно. Известно, что к1} > 0 и к1} Ф 1.
Даны три алфавитных языка M, N P, имеющие в своем составе, т, п, р неповторяющихся символов соответственно. Пересчетный коэффициент при переводе с языка N на язык М имеет минимальное значение в диапазоне от 0 до 1, среди известных значений к1}. Аналогично, пересчетный коэффициент ^р при переводе с языка P на язык М имеет максимальное значение среди известных значений к/у > 1.
Даны три текста АМ, ВИ, СР на языках М, И, Р, с длинами а, Ь, с, соответственно, имеющие одинаковый смысл. При переводе текстов ВИ и СР на целевой язык М получены тексты ВИМ и СРМ длинами Ь^кИМ и скРМ, соответственно. При переводе отсутствуют смысловые ошибки, определяемые в соответствии с требованиями Правил [4].
Определение максимальных и минимальных редакционных расстояний на одном алфавитном языке. Длину любого текста можно представить в виде редакционного расстояния на одном языке между текстом нулевой длины и его собственной длинной, поэтому размеры любых текстов могут быть выражены при помощи редакционных расстояний. «Фактически редакционное расстояние корректно и адекватно вводит понятие расстояния на элементах свободной полугруппы (моноида), порожденной множеством букв» [13]. Редакционные расстояния (Левенштейна, Дамерау-Левенштейна) имеют дискретный характер [14] и целочисленные значения [15], в связи с этим все вычисления округляются до целого. Поскольку алфавитные языки не имеют общих символов (множества М, И, Р не пересекаются) и имеют размер, который определяется через редакционные расстояния, используем следствия теоремы де Гуа (частного случая теоремы Пифагора для трехмерного пространства) [16-18]. Для удобства восприятия расположим тексты Ам, ВИ СР в декартовой системе координат Оху2, с началом в точке О и единичными отрезками, равными единичной операции редактирования. Языкам М, И, Р будут соответствовать оси Ох, Оу, О2, как показано на рис. 1,а. Длинами текстов а, Ь, с будут соответственно отрезки ОА, ОВ и ОС.
Под минимальными различиями на графемном уровне Лт¿иМ на алфавитном языке М будем понимать минимальные редакционные расстояния между текстами, имеющими одинаковый смысл, на данном языке. Очевидно, что минимальные редакционные расстояния между текстами на одном языке будут:
Л т тМ = 0 .
Под максимальными различиями на графемном уровне ЛтахМ на алфавитном языке М будем понимать максимальные редакционные расстояния между текстами, имеющими одинаковый смысл, на данном языке. В общем случае Л тахМ на языке М для произвольного набора текстов выражаются как:
Л тахМ 00 , при % , а2, . . . ап^>оо . (1)
Очевидно, что выражение (1) не имеет практического применения. При сравнении текстов на одном языке, в том числе полученных в результате перевода необходимо учитывать, что существует статистическая зависимость, ограничивающая диапазон допустимых значений , между исходными и переведенными текстами:
¿/у »к 1}.
Практически применимое значение Л тахМ, удовлетворяющее правилам [4], для алфавитного языка М, будет равно:
Л тахМ = I Л тахЛМ + Л тахРМ + 2 ММ + 2 РМ I > (2)
где - максимальные различия на графемном уровне при переводе с алфа-
витного языка I на алфавитный язык 3, между текстами на целевом языке 3, 2и - ошибки в переводе.
а б е
Рис. 1. Представление длин текстов в декартовой системе координат
На основании (2), для того, чтобы сумма ошибок + г-рМ соответствовала Правилам [4], возьмем предельный случай, когда единственная ошибка делает текст непригодным к публикации, учитывая, что редакционное расстояния может быть только целым числом, и численно выражается как: гММ + г-рМ = 0 , тогда формула (2) принимает вид:
^тахМ ~ ИтахЛГМ ^тахРМ I ■
Предположим, что существуют отрезки АА', АА " отложенные на оси Ох, как показано на рис. 1,б, и являющиеся редакционными расстояниями между текстами АМ, Бмм и СРМ соответственно. Поскольку кММ имеет минимальное значение в диапазоне от 0 до 1, среди к|J, а кМР - максимальное среди кц > 1 , получим выражение для, максимального редакционного расстояния между текстами на одном языке (с учетом дискретности редакционных расстояний):
А т ахМ = I с ' кР М ~ Ь ' кЫ М I 5 (3)
Определение максимальных и минимальных редакционных расстояний между текстами на двух алфавитных языках. Минимальные редакционные расстояния для текстов на двух алфавитных языках будут ограничены наименьшей из длин текстов, при 2=0, независимо от ки (меньший катет треугольника АОВ на рис. 1,а), поскольку множества М, N Р непересекающиеся и в процессе перевода должны быть переведены все символы наименьшего текста.
Максимальные редакционные расстояния для текстов на двух алфавитных языков ограничены наибольшей из длин текстов, при 2=0, независимо от ки (больший катет треугольника АОВ на рис. 1,а), поскольку редакционное расстояние не может быть больше чем длина переведенного текста.
Определение максимальных и минимальных редакционных расстояний между текстами на одном и двух алфавитных языках при использовании модели «оригинальный текст - перевод - обратный перевод». При использовании модели «оригинальный текст - перевод - обратный перевод» рассматриваемая система будет соответствовать рис. 1,в. Длина текста АМ на языке М будет равна а (отрезок АО). При переводе на другие алфавитные языки при отсутствии ошибок (2=0), необходимо учитывать величину ки; соответственно на целевом языке N
♦ среднее значение длины перевода Амм текста АМ будет « а ■ к м
♦ максимальное значение длины перевода АММтах (отрезок ОВ" на рис. 1,в) текста АМ будет равно:
А ММ т а х = а;
♦ минимальное значение длины перевода АММтП (отрезок ОВ' на рис. 1,в), текста АМ, учитывая выражение (3), будет равно:
•^МЛГтт = 2а/сМдг — а, при условии, что АММтах и АмМты равноудалены от среднего значения длины перевода Амм текста Ам.
Аналогично на целевом языке Р:
♦ среднее значение длины перевода АМР текста АМ будет « а ■ к мР;
♦ максимальное значение длины перевода АМРтах (отрезок ОВ" на рис. 1,в) текста АМ, учитывая выражение (3), будет равно:
А-мРтах = 2акМР — а, при условии, что АмРтахи AMPmin равноудалены от среднего значения длины перевода АМР текста АМ.
♦ минимальное значение длины перевода АМРтпп (отрезок ОВ' на рис. 1,в), текста АМ будет равно:
АMPmin ~
При обратном переводе всегда справедливо соотношение к, j = 1 /к j,, тогда среднее значение длины обратного переводов ANM и APM текста AM будет приближенно равным .
Для целевого языка N:
♦ максимальное значение длины обратного перевода АШтах (отрезок ОС" на рис. 1,в) текста АМ будет равно:
А NMmax = а к NM = а I кМ N;
♦ минимальное значение длины обратного перевода АШтп (отрезок ОС' на рис. 1,в), текста АМ будет, учитывая выражение (3), равно:
АNMmin = (2akMN — a)kNM = a(.2kMN — 1 )/kMN> при условии, что АNMmax и Anmтin равноудалены от среднего значения длины перевода АNМ текста Ам.
Аналогично для целевого языка Р:
♦ максимальное значение длины обратного перевода АРМтах (отрезок ОС" на рис. 1,в) текста АМ будет равно:
А Р Mm ах = а к Р M = а 1 кМР;
♦ минимальное значение длины обратного перевода АРМтп (отрезок ОС' на рис. 1,в), текста АМ будет, учитывая выражение (3), равно:
h-PMmin = (2акМР — а)кРМ = а(2кМР — 1 )/кМР, при условии, что АРмтах и APMmin равноудалены от среднего значения длины перевода А РМ текста АМ.
Результаты вычислительного эксперимента. Количественные сравнения производились при помощи стандартной метрики BLEU [3], анализирующей эталонные переводы человеком и машиной. В результате установлено, что точное (коэффициент схожести равен 1,0) совпадение составляет 43 % от общего числа аннотаций. Близкое совпадение (коэффициент схожести более 0,95) установлено в 32 % случаев. Частичное отклонение (коэффициент схожести более 0,8) зафиксировано в 22 % случаев. Существенное отклонение (коэффициент схожести менее 0,8) имеют 3 % результатов. Минимальный коэффициент схожести составляет 0,67.
Выводы. В общем виде решение задачи обработки текстовой информации в процессе подготовки к публикации результатов работы гибридного машинного переводчика сводится к решению следующих задач: вычисления погрешности входных данных; преобразования данных в соответствии с определенным алгоритмом; вычисления погрешности методом сравнения входных данных и повторно преобразованных в обратном направлении [19, 20].
Преимущество при использовании модели «оригинальный текст - перевод -обратный перевод» заключается в возможности точного установления границ множества вариантов перевода на графемном уровне при помощи редакционных расстояний Левенштейна по сравнению с однонаправленным переводом.
Заключение. Работа посвящена проблемам оценки и улучшения качества машинного перевода. Авторами предложен подход к реализации задачи определения набора условий для автоматического поиска оптимального варианта гибридного машинного перевода текста на графемном уровне на основе графического представление языковой модели алфавитных языков в виде декартовой системы координат с размерностью, равной единичному редакционному расстоянию (Ле-венштейна). При определении граничных условий использованы следствия теоремы де Гуа, действующие Правила Стандартизации ПР 50.1.027-2014 «Правила оказания переводческих и особых видов лингвистических услуг», метод деканони-зации и модель «оригинальный текст - перевод - обратный перевод». Предложенное решение является обобщением известных аналогов и применимо для текстов на любом не иероглифическом алфавитном языке, не содержащих в своем составе слов из других языков. В ходе решения получены практически применимые результаты для рассматриваемых задач. Поэтому данная работа может представлять интерес для широкого круга специалистов, занимающихся проблемами машинного перевода в частности и переводоведением в целом.
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Kornilov V., Glushan V., Lozovoy A. Numerical Assessment of Machine Translation Quality by Method of Near Duplicates Analysis // Proceedings of the 11th IEEE International Conference on Application of Information and Communication Technologies, AICT2017, Moscow, Russia. - Vol. 2. - P. 363-367. - DOI: 10.1109/ICAICT.2017.8686861.
2. Левенштейн В.И. Двоичные коды с исправлением выпадений, вставок и замещений символов // Доклады АН СССР. - 1965. - Т. 163, № 4. - С. 845-848.
3. BhattacharyyaP. Machine Translation // CRC Press Taylor & Francis Group. - 2015. - P. 5-6.
- ISBN 9781439897188.
4. Правила Стандартизации ПР 50.1.027-2014, Правила оказания переводческих и особых видов лингвистических услуг. - Введ. 2014-04-01. - М.: Изд-во ФГУП «Стандартин-форм», 2014. - 20 с.
5. Глушань В.М., Корнилов В.С., Лозовой А.Ю. Экспериментальное определение пригодности пристатейных аннотаций к русско-английскому гибридному машинному переводу до и после автоматического предредактирования // Вестник РГРТУ. - 2019. - № 69.
- С. 102-109. - DOI: 10.21667/1995-4565-2019-69-102-109.
6. Цвиллинг М.Я., Туровер Г.Я. О критериях оценки перевода // Тетради переводчика.
- Вып. 15. - М.: Междунар. Отношения, 1973. - С. 5. - https://wt-blog.net/perevodchiku/o-kriterijah-ocenki-perevoda-cvilling-turover.html (дата обращения: 06.11.19).
7. Маслов С.Ю. Обратный метод установления выводимости для логических исчислений. Логические и логико-математические исчисления // Тр. МИАН СССР. - 1968. - № 98.
- C. 26-87.
8. Bobber R.J. Underwater Electroacoustic Measurements // Naval Research Laboratory Underwater Sound Reference Division Orlando. - Florida, 1970. - P. 31-33.
9. Zeng J., Lau T., Lin Sh.-B., Yao Yu. Global Convergence of Block Coordinate Descent in Deep Learning // Proceedings of the 36th International Conference on Machine Learning. - Long Beach, California. - PMLR 97. - 2019. - https://arxiv.org/pdf/1803.00225.pdf (дата обращения: 06.11.19).
10. Nesterov Yu., Stich S. Efficiency of Accelerated Coordinate Descent Method on Structured Optimization Problems // CORE Discussion Paper. - 2016. - No. 03. - DOI: 10.1137/16M1060182.
11. Потемкин С.Б. Машинный перевод как средство стандартизации терминологии // Вестник Московского государственного областного университета. Серия: Лингвистика. - 2017.
- № 5. - С. 77-84. - DOI: 10.18384/2310-712X-2017-5-77-84.
12. Филиппович Ю.Н., Сиренко А.В. Программный комплекс исследований психолингвистической модели вербального сознания на основе когнитивного и ассоциативного экспериментов // Вопросы психолингвистики. - 2011. - № 13. - C. 126-139. - https://cyberleninka.ru/article/n/ programmnyy-kompleks-issledovaniy-psiholingvisticheskoy-modeli-verbalnogo-soznaniya-na-osnove-kognitivnogo-i-assotsiativnogo (дата обращения: 28.11.2019).
13. ВахрамеевМ.А. Редакционное расстояние в свободных леворегулярных связках // Вестник Омского университета. - 2018. - Т. 23, № 3. - С. 15-19. - DOI: 10.25513/1812-3996.2018.23(3).15-19.
14. Пономарева Н.С., Реброва Г.Н., Колина Е.А. Применение расстояний редактирования при биоинформационном анализе геномов для задач оценки состояния репродуктивной системы // Фундаментальные исследования. - 2015. - № 7-4. - С. 774-777. - https://www.fundamental-research.ru/ pdf2015/7-4/38819.pdf (дата обращения: 24.11.2019).
15. Черненький В.М., Гапанюк Ю.Е. Методика идентификации пассажира по установочным данным // Инженерный журнал: наука и инновации. - 2012. - Вып. 3-89. - C. 30-39. - DOI: 10.18698/2308-6033-2012-3-89.
16. Теорема де Гуа. - http://poivs.tsput.ru/Downloads/Article/ 5988/Теорема де Гуа.pdf (дата обращения: 24.11.2019).
17. Amir-Moez, A.R.; Byerly, R.E. Pythagorean theorem in unitary spaces // Univ. Beograd. Publ. Elektrotehn. Fak. Ser. Mat. - 1996. - No. 7. - P. 85-89. - http://pefmath2.etf.rs/files/116/844.pdf (дата обращения: 24.11.2019).
18. Kheyfits А. The Theorem of Cosines for Pyramids // The College Mathematics Journal. - 2004. - Vol. 35, No. 5. - P. 385-388. - DOI: 10.2307/4146849.
19. Beck A. The 2-Coordinate Descent Method for Solving Double-Sided Simplex Constrained Minimization Problems // JOptim. Theory Appl. - 2014. - Vol. 162. - P. 892-919. - DOI 10.1007/s10957-013-0491-5.
20. Николаев С.В. Алгебраические модели систем ЦОС: виды подобия и критерии близости // Известия ТРТУ. - 2002. - № 1 (24). - С. 108-109.
REFERENCES
1. Kornilov V., Glushan V., Lozovoy A. Numerical Assessment of Machine Translation Quality by Method of Near Duplicates Analysis, Proceedings of the 11th IEEE International Conference on Application of Information and Communication Technologies, AICT2017, Moscow, Russia, Vol. 2, pp. 363-367. DOI: 10.1109/ICAICT.2017.8686861.
2. Levenshteyn V.I. Dvoichnye kody s ispravleniem vypadeniy, vstavok i zameshcheniy simvolov [Binary Codes with Correction for Deletions and Insertions of the Symbols], Doklady AN SSSR [Reports of the USSR Academy of Sciences], 1965, Vol. 163, No. 4, pp. 845-848.
3. Bhattacharyya P. Machine Translation, CRC Press Taylor & Francis Group, 2015, pp. 5-6. ISBN 9781439897188.
4. Pravila Standartizatsii PR 50.1.027-2014, Pravila okazaniya perevodcheskikh i osobykh vidov lingvisticheskikh uslug [Standardization Rules PR 50.1.027-2014Rules for the Provision of Translation and special types of Linguistic Services]. Moscow: Izd-vo FGUP «Standartinform», 2014, 20 p.
5. Glushan' V.M., Kornilov V.S., Lozovoy A.Yu. Eksperimental'noe opredelenie prigodnosti pristateynykh annotatsiy k russko-angliyskomu gibridnomu mashinnomu perevodu do i posle avtomaticheskogo predredaktirovaniya [Experimental Definition of Suitability of the Abstracts of Papers to the Russian-English Hybrid Machine Translation before and after the Automatic Pre-editing], Vestnik RGRTU [Bulletin of RSTU], 2019, No. 69, pp. 102-109. DOI: 10.21667/1995-4565-2019-69-102-109.
6. TsvillingM.Ya., Turover G.Ya. O kriteriyakh otsenki perevoda [About the criteria for assessing the translation], Tetradi perevodchika [Interpreters' notebooks]. Issue 15. Moscow: Mezhdunar. Otnosheniya, 1973, pp. 5. Available at: https://wt-blog.net/perevodchiku/o-kriterijah-ocenki-perevoda-cvilling-turover.html (accessed 06 November 2019).
7. Maslov S.Yu. Obratnyy metod ustanovleniya vyvodimosti dlya logicheskikh ischisleniy. Logicheskie i logiko-matematicheskie ischisleniya [An Inverse Method of Establishing Deducibility for Logical Calculi. Logical and Logical-Mathematical Calculus], Tr. MIAN SSSR [Proceedings of the Steklov Institute of Mathematics], 1968, No. 98, pp. 26-87.
8. Bobber R.J. Underwater Electroacoustic Measurements, Naval Research Laboratory Underwater Sound Reference Division Orlando. Florida, 1970, pp. 31-33.
9. Zeng J., Lau T., Lin Sh.-B., Yao Yu. Global Convergence of Block Coordinate Descent in Deep Learning, Proceedings of the 36th International Conference on Machine Learning. Long Beach, California. PMLR 97, 2019. Available at: https://arxiv.org/pdf/1803.00225.pdf (accessed 06 November 19).
10. Yu. Nesterov, S. Stich Efficiency of Accelerated Coordinate Descent Method on Structured Optimization Problems, CORE Discussion Paper, 2016, No. 03. DOI: 10.1137/16M1060182.
11. Potemkin S.B. Mashinnyy perevod kak sredstvo standartizatsii terminologii [Terminology Database and Machine Translation], Vestnik Moskovskogo gosudarstvennogo oblastnogo universiteta. Seriya: Lingvistika [Bulletin of the Moscow state regional University. Linguistics Series], 2017, No. 5, pp. 77-84. DOI: 10.18384/2310-712X-2017-5-77-84.
12. Filippovich Yu.N., Sirenko A.V. Programmnyy kompleks issledovaniy psikholingvisticheskoy modeli verbal'nogo soznaniya na osnove kognitivnogo i assotsiativnogo eksperimentov [Software to Research Psycholinguistic Model of Verbal Consciousness based on Cognitive and Associative Experiments], Voprosy psikholingvistiki [Questions of Psycholinguistics], 2011, No. 13, pp. 126-139. Available at: https://cyberleninka.ru/article/n/programmnyy-kompleks-issledovaniy-psiholingvisticheskoy-modeli-verbalnogo-soznaniya-na-osnove-kognitivnogo-i-assotsiativnogo (accessed 28 November 19).
13. VakhrameevM.A. Redaktsionnoe rasstoyanie v svobodnykh levoregulyarnykh svyazkakh [Edit Distance in Free Left Regular Bands], Vestnik Omskogo universiteta [Bulletin of Omsk University], 2018, Vol. 23, No. 3, pp. 15-19. DOI: 10.25513/1812-3996.2018.23(3).15-19.
14. Ponomareva N.S., Rebrova G.N., Kolina E.A. Primenenie rasstoyaniy redaktirovaniya pri bioinformatsionnom analize genomov dlya zadach otsenki sostoyaniya reproduktivnoy sistemy [Application of editing distances in bioinformatic analysis of genomes for problems of evaluating the state of the reproductive system], Fundamental'nye issledovaniya [Fundamental study], 2015, No. 7-4, pp. 774-777. Available at: https://www.fundamental-research.ru/pdf/2015/7-4/38819.pdf (accessed 24 November 2019).
15. Chernen'kiy V.M., Gapanyuk Yu.E. Metodika identifikatsii passazhira po ustanovochnym dannym [Method of Passenger Identification according to Installation Data], Inzhenernyy zhurnal: nauka i innovatsii [Engineering journal: science and innovation], 2012, Issue 3-89, pp. 30-39. DOI: 10.18698/2308-6033-2012-3-89.
16. Teorema de Gua [de Goui'sTeorem]. Available at: http://poivs.tsput.ru/Downloads/Article/ 5988/Teorema de Gua.pdf (accessed 24 November 2019).
17. Amir-Moez, A.R.; Byerly, R.E. Pythagorean theorem in unitary spaces, Univ. Beograd. Publ. Elektrotehn. Fak. Ser. Mat., 1996, No. 7, pp. 85-89. Available at: http://pefmath2.etf.rs/files/ 116/844.pdf (accessed 24 November 2019).
18. Kheyfits А. The Theorem of Cosines for Pyramids, The College Mathematics Journal, 2004, Vol. 35, No. 5, pp. 385-388. DOI: 10.2307/4146849.
19. Beck A. The 2-Coordinate Descent Method for Solving Double-Sided Simplex Constrained Minimization Problems, JOptim. Theory Appl, 2014, Vol. 162, pp. 892-919. DOI10.1007/s10957-013-0491-5.
20. Nikolaev S.V. Algebraicheskie modeli sistem TSOS: vidy podobiya i kriterii blizosti [Algebraic Models of DSP Systems: Types of Similarity and Proximity Criteria], Izvestiya TRTU [Izvestiya TSURE], 2002, No. 1 (24), pp. 108-109.
Статью рекомендовал к опубликованию д.т.н., профессор Я.Е. Ромм.
Корнилов Василий Сергеевич - Южный федеральный университет; е-mail: koresh-jr@yandex.ru; 347928, г. Таганрог, пер. Некрасовский, 44; кафедра САПР; аспирант.
Глушань Валентин Михайлович - е-mail: gluval07@rambler.ru; кафедра САПР; профессор.
Лозовой Алексей Юрьевич - е-mail: lozovoy@sfedu.ru; кафедра ИЯ; доцент.
Kornilov Vasiliy Sergeevich - Southern Federal University; е-mail: koresh-jr@yandex.ru; 44, Nekrasovskiy, Taganrog, 347928, Russia; the department of computer aided design; postgraduate student.
Glushan Valentin Mihailovich - e-mail: gluval07@rambler.ru; the department of computer aided design; professor.
Lozovoy Aleksey Yurievich - е-mail: lozovoy@sfedu.ru; the department of foreign languages; associate professor.
