CC BY
53Джумаев А.Б. Методы оценивания качества синтезированной речи // Научный результат. Информационные технологии. - Т.6, №4,2021
ИНФОРМАЦИОННЫЕ СИСТЕМЫ И ТЕХНОЛОГИИ INFORMATION SYSTEM AND TECHNOLOGIES
УДК 004.934.2 DOI: 10.18413/2518-1092-2021-6-4-0-1
Д А Б 1; 2 МЕТОДЫ ОЦЕНИВАНИЯ КАЧЕСТВА
Джумаев ' СИНТЕЗИРОВАННОЙ РЕЧИ
1) ООО «ЛЕРУА МЕРЛЕН ВОСТОК», Осташковское шоссе, д.1, г. Мытищи, 141031 Россия 2) Белгородский государственный национальный исследовательский университет, ул. Победы, д.85, Белгород 308015, Россия
e-mail: art2371@yadex.ru
Аннотация
Синтезирование речи на основе заданного текста является актуальной задачей современности, так как синтезированная речь используется в различных сферах деятельности человека, к примеру, в системах голосового самообслуживания, при автоматизации процессов телефонных опросов, создании озвучки интерактивных обучающих материалов и т.д. Поэтому задача оценивания качества синтезированной речи и сравнения систем синтеза между собой является актуальной задачей. В данной области существует значительное количество исследований, но для большинства из них характерна субъективность оценок. В данной статье проведён краткий анализ существующих подходов получения объективной оценки качества речи и дана оценка возможности применения рассмотренных подходов для оценивания качества синтезированной речи. Ключевые слова: методы оценки качества речи; синтез речи; речевые технологии; формантные методы оценки; модуляционные методы оценки.
Для цитирования: Джумаев А.Б. Методы оценивания качества синтезированной речи // Научный результат. Информационные технологии. - Т.6, №4, 2021. - С. 3-12. DOI: 10.18413/2518-1092-2021 -6-4-0-1
Jumaev A.B.1' 2
METHODS FOR EVALUATING OF THE SYNTHESIZED
SPEECH QUALITY_
1) LLC «LEROY MERLIN VOSTOK», Ostashkovskoe highway, 1, Mytishchi, 141031 Russia
2) Belgorod State National Research University, 85 Pobedy St., Belgorod 308015, Russia
e-mail: art2371@yadex.ru
Abstract
Synthesizing speech based on a given text is an urgent task of our time, since synthesized speech is used in various fields of human activity, for example, in voice self-service systems, when automating telephone survey processes, creating voice-over interactive training materials, etc. Therefore, the task of evaluating the quality of synthesized speech and comparing synthesis systems with each other is an urgent task. There is a significant amount of research in this area, but most of them are characterized by subjectivity of assessments. This article provides a brief analysis of existing approaches to obtaining an objective assessment of the quality of speech and assesses the possibility of using the considered approaches to assess the quality of synthesized speech.
Keywords: methods of speech quality assessment; text-to-speech synthesis, voice technology; formant evaluation methods; modulative evaluation methods.
For citation: Jumaev A.B. Methods for evaluating of the synthesized speech quality // Research result. Information technologies. - T.6, №4, 2021. - P. 3-12. DOI: 10.18413/2518-1092-2021-64-0-1
Джумаев А.Б. Методы оценивания качества синтезированной речи // Научный результат. Информационные технологии. - Т.6, №4,2021
ВВЕДЕНИЕ
С момента появления в 90-х годах XX века синтезаторов речи 3 поколения технологии синтеза речи стали развиваться быстрыми темпами. Благодаря развитию конкатенативного синтеза появилась возможность озвучивать заранее не подготовленные тексты и получать на выходе речь близкую по качеству звучания к естественной речи человека. В реалиях современного мира технология синтезирования речи является перспективной и является частью повседневной жизни человека, в связи с этим проблема оценки качества синтезированной речи для систем синтеза речи, основанных на селективном синтезе, является актуальной.
Согласно «ГОСТ Р 50840-95. Передача речи по трактам связи. Методы оценки качества, разборчивости и узнаваемости» выделяются два критерия оценивания синтезированной речи — разборчивость речи и качество речи [1].
«Разборчивость речи — относительное количество (в процентах) правильно принятых элементов (слогов, слов, фраз) артикуляционных таблиц» [1]. В зависимости от размерности речевых отрезков, формируются основные виды оценивания речи.
«Качество речи - величина, характеризующая субъективную оценку звучания речи в испытуемом тракте» [1].:
- по сравнению со звучанием в контрольном тракте (принятом за пять баллов);
- по сравнению со звучанием речи в другом тракте (в процентах предпочтения).
Для первой половины XX века основным критерием качества синтезированной речи являлся показатель её разборчивости. Начиная с конца восьмидесятых годов произошло повышение уровня разборчивости и более актуальной проблемой стало определение показателя естественности речи. Исследования в области психоакустики подтверждают, что «роботизированность» синтезированной речи является фактором, влияющим на сложность её восприятия. По этой причине полностью разборчивая синтезированная речь не может по умолчанию определяться, как высококачественная [2].
В настоящее время известно значительное количество методов оценки и измерения разборчивости речи [3]. В рамках данной работы рассмотрены одни из наиболее распространённых методов оценки и измерения разборчивости речи, с позиций возможности их применения для оценки разборчивости синтезированной речи. Рассматриваемые в работе методы
Рис. 1. Методы оценки разборчивости речи Fig. 1. Methods of speech intelligibility assessment
Джумаев А.Б. Методы оценивания качества синтезированной речи // Научный результат. Информационные технологии. - Т.6, №4, 2021
Метод оценивания разборчивости речи при помощи эксперта
Одним из методов является эксперимент, в котором участвуют два участника - аудитор и диктор. Примером данного метода является «Тестирование радиостанции по рекомендациям Международного Консультативного Комитета по Радиосвязи (МККР)» [4].
Эксперимент состоит из взаимодействия диктора и аудитора. На одном конце передающего тракта (передающая сторона) диктором зачитывается текст, а с другой стороны передающего тракта (принимающая сторона) аудитор выставляет оценку данного тракта по шкале значений от 1 до 5.
Несмотря на то, что данный эксперимент в изначальном варианте направлен на прохождение двумя людьми, роль диктора может выполняться программой для синтезирования речи. Явным недостатком данного подхода является то, что финальный результат исследования зависит от физиологических особенностей тестирующих, чем лучше дикция диктора, тем легче аудитору разобрать текст и наоборот.
Альтернативой данному методу может являться проведение теста оценки среднего мнения (mean opinion score (MOS)) [2]. Данный вид оценки часто используется для оценки качества и разборчивости синтезированной речи. В рамках эксперимента группа аудиторов слушает заранее записанные отрывки речи, в зависимости от типа и цели тестирования могут подаваться, как целые предложения, так и несвязный набор слов или слогов [5]. MOS - оценка выражается числовым значением в промежутке значений от 1 до 5, где 1 - низкое качество (низкая оценка) и 5 - высокое качество (высокая оценка). Минусом данного подхода является то, что он основан на восприятии качества голоса людьми и из-за этого не может считаться объективным. Для устранения этого недостатка в настоящее время существует ряд программных средств, которые позволяют проводить автоматическую MOS оценку синтезированной речи, примерами данных программ являются AppareNet Voice, Brix VoIP Measurement Suite.
Тональный метод оценивания
Тональный метод является разновидностью метода артикуляции. Роль диктора в данном методе исполняет генератор чистых тонов. Основная цель генератора чистых тонов является формирования звуковых давлений на частотах (рис. 2), соответствующих спектру формант. В тональном методе аудитор оценивает наличие сигнала на заданных частотах [6].
Частоты, на которых проводятся измерения
250 500 650 800 990 1125 1300 1500 1700 1875
2050 2225 2425 2725 3100 3500 3850 4550 6150 8600
Рис. 2. Пример частот генерации сигнала в тональном методе оценивания Fig. 2. Example of signal generation frequencies in the tonal method
Для определения наличия сигнала на заданных частотах осуществляется плавное снижение его слышимости (затухание звука) до уровня исчезновения звука, затем производится усиление уровня сигнала до появления его слышимости. На основании полученных двух величин уровня слышимости сигнала вычисляется их среднее значение, которое принимается в качестве результата измерения.
На рисунке 3 приведена таблица, по которой определяется формантная разборчивость речи в зависимости от полученного уровня сигнала.
Джумаев А.Б. Методы оценивания качества синтезированной речи // Научный результат. Информационные технологии. - Т.6, №4, 2021
ДБ % ДБ % ДБ % ДБ % ДБ % ДБ %
1 D.D4 10 0.65 19 1.92 2В 3.22 37 4 28 46 4.75
2 0.09 11 0.76 20 2.07 29 3.37 38 4.37 47 4.78
3 0.14 12 0.89 21 2 2 30 3.51 39 4.46 48 4.8
4 0.19 13 1.03 22 2 36 31 3.64 40 4.52 49 4.82
5 0.24 14 1.18 23 2.5 32 3.75 41 4.57 50 4.85
6 0.3 15 1.32 24 2.65 33 3.87 42 4.62 51 4.88
7 0.37 16 1.47 25 2.79 34 3.97 43 4.66 52 4.95
В 0.46 17 1.62 26 2.93 35 4.03 44 4 69
9 0.55 18 1.77 27 3.08 36 4.18 45 4.72
дБ- - уровень ощущения тона; % - - формантная разборчивость речи
Рис. 3. Соответствие формантной разборчивости речи и уровня слышимости сигнала Fig. 3. Correspondence of the formant intelligibility of speech and the level of audibility of the signal
Общая формантная разборчивость определяется как сумма составляющих на основании следующего выражения [6]:
Лобщ = у А
п
I
£= 1
(1)
Для определения разборчивости речи прибегают к определению слоговой разборчивости (рис. 4). Она рассчитывается на основе значений форматной разборчивости, полученной для каждой частоты по таблице соответствия форматной и слоговой разборчивости:
А S А S А S А S А S
5 5 25 46.2 45 75 65 90 85 98
10 15 30 55 50 80 70 92.5 90 99
15 26 35 62.5 55 81 75 95.2 95 99.5
20 36 40 69 60 87.2 80 96.2 100 100
А— формантная разборчивость речи; S — слоговая разборчивость речи
Рис. 4. Таблица слоговой разборчивости Fig. 4. Syllabic intelligibility table
Основными достоинствами тонального метода являются: отсутствует потребность в дикторах;
высокая скорость измерения в сравнении с другими методами; для оценки не требуются артикуляционные таблицы. К недостаткам данного метода относятся:
высокий уровень требований образованности измеряющего персонала;
Джумаев А.Б. Методы оценивания качества синтезированной речи // Научный результат. Информационные технологии. - Т.6, №4,2021
невозможность автоматизации процесса.
Формантные методы оценивания разборчивости речи
Индекс артикуляции (Articulation Index (AI)) является одной из разновидностей формантных методов оценивания разборчивости речи. Впервые данный метод был предложен Г. Флетчером в 1940 году [7]. При оценивании методом AI весь частотный диапазон разделяется на некоторое количество полос, самыми распространёнными делениями являются деление речевого сигнала на 20 равноартикуляционных полос, 6 октавных полос или 15 1/3-октавных полос [8]. В пределах выбранного диапазона определяется отношения сигнала к шуму.
Рассмотрим использование данного метода. Разборчивость речи определяется на основании следующих соотношений [3]:
(2)
где К — количество частотных полос; рк — вероятность нахождения форманты в к-ой частотной полосе; Р1(/) — функция распределения вероятностей нахождения формант на указанной частоте; /б/с — минимальная частота к-ой частотной полосы; /нк — максимальная частота к-ой частотной полосы; Р(Е^) — вероятность отсутствия маскировки речи шумом в к-ой частотной полосе (коэффициент восприятия речи).
На основании метода «Индекс артикуляции» разборчивость речи пропорциональна вероятностям нахождения форманты в заданных частотных полосах и вероятностям отсутствия маскировки речи шумом в заданных частотных полосах.
Метод оценивания разборчивости речи «Индекс артикуляции» имеет отечественный аналог, разработанный Н.Б. Покровским. В отличии от метода «Индекс артикуляции» в методе Н.Б. Покровского в качестве коэффициента восприятия речи применяется следующая функция [9]:
(4)
При вычислении разборчивости для первого случая (двадцати равноартикуляционных полос) используется следующее выражение [10]:
(5)
где (Д¿¡) — разность между пиковым значением уровня речи и эффективным показателем маскирующего шума.
Таким образом, после аппроксимации коэффициентов получаем следующее выражение:
(6)
Для пересчёта индекса артикуляции в словесную и фразовую разборчивость используется график зависимостей слоговой и фразовой разборчивости от индекса артикуляции речи (рис. 5).
Джумаев А.Б. Методы оценивания качества синтезированной речи // Научный результат. Информационные технологии. - Т.6, №4,2021
100
80
60
40
20
о 0.1 0.2 0.3 0.4 0.5 0.5 0.7 0.8 0.9 1 Индекс артикуляции
Рис. 5. Зависимость слоговой и фразовой разборчивости от индекса артикуляции речи Fig. 5. Dependence of syllabic and phrasal intelligibility on the articulation index
На рисунке 6 приведены примеры получения различных оценок на основании различных значений индекса артикуляции и требований эксперимента.
Оценка разборчивости
L Неудовлете. [ Триемл. 1 : Хорошая 1 Отличная 1
( Г ] 0.1 0.2 0.3 0.4 0.5 Г 0.6 0.7 0.8 п 0.9 1 L
Речевая коммуникация
Отсутствует Норм. Хорошая Отличная
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
Секретность переговоров
а 6 Нсудовлетв. Отсутствует
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.S 0.9 : L
а - надежная; 6 - нормальная
Рис. 6. Пример оценки по индексу артикуляции Fig. 6. Example of evaluation by articulation index
Метод AI хорошо применим для расчёта и проектирования акустики помещений, однако, он не лишён недостатков, основами недостатками являются невозможность применения метода при наличии нескольких типов шума, а также при комбинировании сигнала диктора и громкоговорителя.
Схема индекса артикуляции на протяжении долгого времени видоизменялась и усовершенствовалась. Результатом проведённых исследований стало формирование стандарта названным индекс разборчивости речи (Speech Intelligibility Index - SII) [11].
Модуляционные методы
Индекс передачи речи (Speech transmission index - STI) - это показатель качества передачи речи. Данный метод направлен на измерение физических показателей канала передачи и выражает способность канала транслировать свойства речевого сигнала. STI является хорошо зарекомендовавшим себя объективным средством прогнозирования того, как характеристики
Джумаев А.Б. Методы оценивания качества синтезированной речи // Научный результат. Информационные технологии. - Т.6, №4,2021
канала передачи влияют на разборчивость речи [12]. Влияние канала передачи на разборчивость речи зависит от:
- громкость речи;
- частотная характеристика канала;
- нелинейные искажения;
- значение фонового шума;
- качество генератора звукового сигнала;
- эхо (отражения с задержкой > 100 мс);
- время реверберации;
- психоакустические эффекты (маскирующие эффекты).
Для оценки разборчивости речи используется следующее соотношение
Определение значения оценки разборчивости речи выполняется на основании заранее вычисленного значения отношения сигнал - шум в точке фиксирования сигнала. На рисунке 7 приведен график, позволяющий определить значения индекса передачи речи в зависимости от значения отношения сигнал-шум (SNR).
15 О
этношоние сигнал-шум {{JB}
Рис 7. Взаимосвязь значений отношения сигнал-шум (SNR) и индекса передачи речи Fig 7. The association between the values of the signal-to-noise ratio (SNR) and the speech transmission index
Числовая мера оценки качества канала связи варьируется согласно шкале в промежутке от 0 (полная неразборчивость) до 1 (отличная разборчивость) (таблица 1).
Таблица оценки качества тестируемого канала передачи речи Table of evaluation of the quality of the tested speech transmission channel
Таблица 1 Table 1
Значение STI, RASTI, STITEL, STIPA 0...0,3 0,3.0,45 0,45.0,6 0,6.0,75 0,75.1
Оценка разборчивости очень плохая плохая посредств. хорошая отличная
Точность метода STI зависит от дискретных значений сигнал-шум, чаще всего определяются 98 значений коэффициента. Вычисленные 98 значений индекса STI усредняют по специальной методике.
Джумаев А.Б. Методы оценивания качества синтезированной речи // Научный результат. Информационные технологии. - Т.6, №4, 2021
Методы RASTI, STIPA, STITEL [13,14]
Метод быстрого индекса передачи речи — Room Acoustics Speech transmission index (RASTI) является сокращённой версией метода STI. Метод RASTI позволяет учитывать реверберационную помеху. Отличительной чертой данного метода является исследование сигнала в двух 1/1 октавных полосах, центральные частоты которых имеют значения 500 Гц и 2 кГц соответственно. При применении данного метода полоса пропускания ограничена, что не позволяет достаточно корректно учитывать показатели нелинейных искажений, а также наличие шума, имеющего нерегулярный спектр. Несмотря на указанный недостаток, метод RASTI зачастую применяют для оценивания необходимости экранирования помещений, но не может быть использован для оценки синтезированной речи.
Для систем звукоусиления разработана модификация метода STI - метод определения индекса передачи речи в системах звукоусиления (Speech Transmission Index for Public Address Systems, STIPA. Отличительной чертой метода STIPA является то, что он позволяет анализировать разборчивость речи в помещениях, учитывая показатели реверберации и нелинейные искажения речи в них, в отличии от метода STI и RASTI. При этом в исследованиях применяется упрощенный сигнал - для его формирования применяется не более двух частот модуляции в каждой из семи используемых октавных полос. Подходы, применяемые для реализации метода STIPA, аналогичны подходам, применяемым при реализации метода STI.
Индекс передачи речи для телекоммуникационных систем — Speech transmission index Telecommunications (STITEL). Данный метод так же является сокращённой версией метода STI и направлен на отображение искажений в системах связи. В отличии от метода STI вместо 14 частот модуляции, использующихся во всех семи 1/1 полосах, применяется только 7 частот модуляции по одной в каждой из 1/1 октавных полос. Исследуемый сигнал содержит все 7 модулируемых полос, а анализ производится одновременно. Метод STITEL не позволяет учитывать реверберационную помеху и нелинейные искажения.
Использование методов для оценивания синтезированных голосов
Стоит отметить, что описанные методы, основанные на вычислительных экспериментах (форматные и модуляционные), могут использоваться, когда синтезированная речь проходит через канал связи, и не подходят для оценки синтеза речи в целом. Это связано с тем, что не существует уникального или лучшего эталона речи, а для системы синтеза речи важны не только акустические характеристики, но и реализация верхнеуровневой составляющей, которая определяет окончательное качество.
Для оценки субъективными методами прибегают к экспертной оценке, которая состоит из проведения тестирований и заполнения опросников. Все существующие опросники для оценивания уровня разборчивости речи составляются на основе рекомендации «Международного союза электросвязи (International Telecommunication Union)» [15]. Данный подход позволяет оценить синтезированную речь не только со стороны её разборчивости, но и качества речи. В рамках проводимых исследований оцениваются такие показатели, как общее впечатление, естественность, слуховое усилие, разборчивость, темп и иные характеристики речи.
Однако, данный вид исследования на основании экспертного оценивания является трудоёмкой задачей. С целью сокращения времени получения требуемых оценок разработаны инструментальные методы оценивания качества синтезированных голосов [16]. В основе данных методов используются процедуры автоматизированного сравнения результатов синтеза речи с голосом диктора, являющимся эталонным в рамках проводимого исследования. Для оценки адекватности инструментальных методов их необходимо сравнивать с результатами оценивания субъективными методами.
Таким образом, перспективным подходом оценивания качества синтезированной речи является комбинирование экспертных и математических подходов.
Джумаев А.Б. Методы оценивания качества синтезированной речи // Научный результат. Информационные технологии. - Т.6, №4, 2021
ЗАКЛЮЧЕНИЕ
В работе рассмотрены методы оценивания качества синтезированной речи. Для успешного применения рассмотренных методов и получения более достоверных результатов оценивания качества синтезированной речи, целесообразно использовать комбинирование подходов к оценке. Исследование в данном направлении является актуальной задачей.
Список литературы
1. ГОСТ Р 50840-95 Передача речи по трактам связи. Методы оценки качества, разборчивости и узнаваемости.
2. Соломенник А.И. Особенности оценки качества селективного синтеза речи. Актуальные вопросы теоретической и прикладной фонетики. Сборник статей к юбилею О. Ф. Кривновой / Под ред. А.В. Архипова, И. М. Кобозевой, Кс. П. Семёновой. — М.: ООО «Буки-Веди», 2013. — С. 336-341.
3. Рашевский Я.И., Каргашин В.Л. Обзор зарубежных методов определения разборчивости речи. -Специальная техника, №№ 3-6 за 2002 год, № 1 за 2003 год.
4. ГОСТ 16600-72 Передача речи по трактам радиотелефонной связи. Требования к разборчивости речи и методы артикуляционных измерений.
5. Method for Subjective Performance Assessment of the Quality of Speech Voice Output Devices, ITU-T Rec. Int. Telecom. Union. 1994. 85 p.
6. ГОСТ 8031-78 Аппараты телефонные. Тональный метод измерения разборчивости речи.
7. French N., Steinberg J. Factors Governing the Intelligibility of Speech Sounds // J.Acoust. Soc. Am. -1947. - Vol. 19, No 1.
8. Fletcher H., Galt F. Perception of Speech and its Relation to Telephony // J. Acoust Soc. Am. - 1950. -Vol. 22, No 2.
9. Покровский Н.Б. Расчет и измерение разборчивости речи. - М.: Связьиздат, 1962. - 390 с.
10. Kryter K.D. Methods for the calculation and use of the articulation index // J. Acoust Soc. Am. -1962. - Vol. 34. - P. 1689-1697.
11. ANSI S3.5-1997, American National Standard Methods for Calculation of the Speech Intelligibility Index - American National Standards Institute, New York. - 1997.
12. Беранек Л. Расчет речевых систем связи // Proceedings of the IRE. - 1947. - September. - P. 880890.
13. Steeneken H.J.M., Houtgast T. RASTI: A Tool for Evaluating Auditoria // Bruel &Kjaer Technical Review No 3 - 1985. - P. 13-39.
14. Steeneken H.J.M., Houtgast T. RASTI: The Modulation Transfer Function in Room Acoustics // Bruel & Kjaer Technical Review No 3 - 1985. - P.1-12..
15. P.85 ITU-T «Метод субъективной оценки качества речи устройств речевого вывода». 1994.
16. Джумаев А.Б. Методы оценки качества синтезированной речи для систем генерации голоса на основе селективного синтеза / Научно-технический задел - основа эффективного инновационного развития сборник Международной научно-практической конференции. Уфа, 15 апреля 2021 г., C. 13-15.
17. Гавриленко О.В., Дидковский В.С., Продеус А.Н. Расчет и измерение разборчивости речи при малых отношениях сигнал-шум. Часть 2. Коррекция коэффициентов восприятия // Электроника и связь, Тематический выпуск «Проблемы электроники», ч. 1. - 2007. - С. 142-147.
18. Жиляков Е.Г., Трубицына Д.И., Прохоренко Е.И., Болдышев А.В. Об использовании субполосного анализа и синтеза сигналов в области определения косинус-преобразования при решении задач сжатия речевых сигналов. Научные ведомости Белгородского государственного университета. Серия: Экономика. Информатика. - 2019. - 46(4). C. 700-709. DOI 10.18413/2411-3808-2019-46-4-700-709.
19. Савченко В.В., Соловьева Т.А. Экспериментальное исследование фонетических свойств речевого сигнала на основе его теоретико-информационной модели. Научные ведомости Белгородского государственного университета. Серия: Экономика. Информатика. - 2018. - 45(1). C. 168-176. DOI: 10.18413/2411-3808-2018-45-1-168-175.
20. Акустическая экспертиза каналов речевой коммуникации. Монография / Дидковский В. С., Дидковская М. В., Продеус А. Н. - Киев, 2008. 420 c.
Джумаев А.Б. Методы оценивания качества синтезированной речи // Научный результат. Информационные технологии. - Т.6, №4, 2021
References
1. GOST R 50840-95 Voice transmission over communication paths. Methods for assessing quality, intelligibility and recognition.
2. Solomennik A.I. Features of assessing the quality of selective speech synthesis. Topical issues of theoretical and applied phonetics. Collection of articles for the anniversary of O. F. Krivnova / Ed. A.V. Arkhipova, I. M. Kobozeva, Ks. P. Semyonova. - M.: LLC "Buki-Vedi", 2013. - P. 336-341.
3. Rashevsky Ya.I., Kargashin V.L. Review of foreign methods for determining speech intelligibility. -Special equipment, No. 3-6 for 2002, No. 1 for 2003.
4. GOST 16600-72 Voice transmission through radiotelephone communication paths. Speech intelligibility requirements and articulation measurement techniques.
5. Method for Subjective Performance Assessment of the Quality of Speech Voice Output Devices, ITU-T Rec. Int. Telecom. Union. 1994. 85 p.
6. GOST 8031-78 Telephone devices. Tonal method for measuring speech intelligibility.
7. French N., Steinberg J. Factors Governing the Intelligibility of Speech Sounds // J. Acoust. Soc. Am. -1947. - Vol. 19, No 1.
8. Fletcher H., Galt F. Perception of Speech and its Relation to Telephony // J. Acoust Soc. Am. - 1950. -Vol. 22, No 2.
9. Pokrovsky N.B. Calculation and measurement of speech intelligibility. - M.: Svyazizdat, 1962. - 390 p.
10. Kryter K.D. Methods for the calculation and use of the articulation index // J. Acoust Soc. Am. -1962. - Vol. 34. - P. 1689-1697.
11. ANSI S3.5-1997, American National Standard Methods for Calculation of the Speech Intelligibility Index - American National Standards Institute, New York. - 1997.
12. Beranek L. Calculation of speech communication systems // Proceedings of the IRE. - 1947. -September. - P. 880-890.
13. Steeneken H.J.M., Houtgast T. RASTI: A Tool for Evaluating Auditoria // Bruel & Kjaer Technical Review No 3 - 1985. - P. 13-39.
14. Steeneken H.J.M., Houtgast T. RASTI: The Modulation Transfer Function in Room Acoustics // Bruel & Kjaer Technical Review No 3 - 1985. - P. 1-12.
15. P.85 ITU-T "Method of subjective assessment of the speech quality of speech output devices". 1994.
16. Dzhumaev A.B. Methods for assessing the quality of synthesized speech for voice generation systems based on selective synthesis / Scientific and technical groundwork - the basis for effective innovative development collection of the International Scientific and Practical Conference. Ufa, April 15, 2021, pp. 13-15.
17. Gavrilenko O.V., Didkovsky V.S., Prodeus A.N. Calculation and measurement of speech intelligibility at low signal-to-noise ratios. Part 2. Correction of the coefficients of perception // Electronics and Communications, Thematic issue "Problems of Electronics", Part 1. - 2007. - P. 142-147.
18. Zhilyakov E.G., Trubitsyna D.I., Prokhorenko E.I., Boldyshev A.V. On the use of subband analysis and signal synthesis in the field of determining the cosine transform in solving problems of speech signal compression. Belgorod State University. Scientific Bulletin. Series: Economics. Information technologies. - 2019. - 46(4). P. 700-709. DOI 10.18413 / 2411-3808-2019-46-4-700-709.
19. Savchenko V.V., Solovyova T.A. Experimental study of phonetic properties of the speech signal on the basis of its information-theoretic model. Belgorod State University. Scientific Bulletin. Series: Economics. Information technologies. - 2018. - 45(1). P. 168-176. DOI: 10.18413 / 2411-3808-2018-45-1-168-175
20. Acoustic examination of speech communication channels. Monograph / Didkovsky V.S., Didkovskaya M.V., Prodeus A.N. - Kiev, 2008. 420 p.
Джумаев Артём Бахтиёрович, специалист технической поддержки отдела поддержки пользователей ООО «Леруа Мерлен Восток», аспирант кафедры информационно-телекоммуникационных систем и технологий НИУ «БелГУ»
Jumaev Artem Bakhtierovich, Technical Support Specialist of the User Support Department of Leroy Merlin Vostok LLC, post-graduate Student, Department of Information and Telecommunication Systems and Technologies, Belgorod State National Research University
