CC BY
17
УДК 519.25
Е.С. Катаева, А.Ю. Якимук
Применение метода выделения синхронности при оценке сходства вокальных исполнений
Рассматриваются результаты применения метода выделения синхронности, разработанного специально для оценки степени синхронности временных рядов. Результаты получены для рядов частот основного тона при обработке вокальных записей одной и той же мелодии разными исполнителями. В рамках исследования были рассмотрены шесть вариантов ядерных функций для осуществления задачи аппроксимации. Эмпирическим путем было определено, что при использовании ядер Валле-Пуссена и Фишера точность оценки выше, что позволяет применить данный метод в сфере обучения пению с помощью специализированных программ и при автоматизации оценки качества речи пациентов после лечения онкологических заболеваний речеобразующего тракта. Ключевые слова: вокальное исполнение, синхронность, аппроксимация временных рядов, речевые технологии. doi: 10.21293/1818-0442-2019-22-3-49-54
Важной задачей при статистической обработке сигналов, полученных из разных источников, является оценка степени их сходства, или синхронности, если говорить о представлении сигнала в виде временного ряда. Два временных ряда будем считать синхронными, если их динамика сходна. Выявление синхронности поведения временных рядов является важной задачей - ее решение позволяет выдвигать гипотезу о наличии общих факторов. Известные способы определения синхронности, такие как применение кластерного анализа в вычислительных пакетах или нахождение коэффициента корреляции, могут быть недоступны или не давать необходимой информации. Более того, среди методов кластерного анализа практически нет подходов, разработанных для временных рядов, а использование обучения с учителем зачастую неприменимо.
В данной работе при исследовании аудиозаписей с вокальным исполнением был применен метод выделения синхронности [1], разработанный для оценки степени синхронности временных рядов.
Исследование подходов к оценке сходства
При оценке степени сходства вокальных исполнений одной и той же мелодии разными певцами полагаться на слух не всегда возможно, поэтому возникает задача программного решения этой проблемы. Для ее решения удобно исследовать временной ряд, составленный из последовательности частот основного тона (ЧОТ), соответствующих исполненным нотам. Авторами был проведен анализ современной научной литературы, связанной с оценкой сходства вокальных исполнений.
В работе [2] рассматривается анализ сходства вокального исполнения одной и той же взрослой птицей (зяблика). Зяблики поют песню, состоящую из повторяющихся слогов, которые формируют мотивы, образующие бои. После подсчета спектрального подобия применялась иерерхическая кластеризация, генерировалась дендрограмма, которая показывает сходство между слогами. Для проверки сходства после кластеризации слогов для каждого кластера рассчитывался коэффициент корреляции Пирсона. В статье [3] изучается влияние шума на пение птиц путем сходства пения воробьев за городом и в
городской структуре. В целях чистоты эксперимента записи были перемешаны. Для проверки гипотезы о влиянии шума на пение птиц исследователи провели кластерный анализ с использованием метода к-средних для группировки воробьев по их средним признакам пения, в результате были выявлены 2 группы, после чего были изучены остаточные графики, выполнены корреляционный тест для диаграмм с нормальным вероятностным графиком остатков и тест на постоянство дисперсии ошибок. Сходство исполнений сравнивалось по максимальным частотам и широтой полос пропускания.
Исследование, описанное в статье [4], рассматривает методы для количественной оценки пространственно-временной синхронизации и причинности между популяциями насекомых-вредителей. Для определения взаимосвязи между временными рядами применялись статистические методы: кросс-корреляция, частичная кросскорреляция, индексы причинности Грейнджера. Синхронность оценивалась с помощью коэффициента корреляции.
В исследовании, описанном в [5], исследуется сходство вокализации у домашних мышей. Для этого рассчитывался коэффициент корреляции Пирсона, а также исследовались наклоны линии регрессии.
В статье [6] проводится оценка синхронности и асинхронности, основанная на способе сглаживания скользящего среднего (по заданному количеству точек), где искомая величина получается путем осреднения нескольких значений, непосредственно примыкающих к центральному значению текущей группы. Синхронность определяется визуально по графику. Для определения степени синхронности (асинхронности) проводится исследование параметров. Целью является оценивание зависимости между параметрами с помощью расчета «дельта», в результате которого можно заключить, что параметры изменяются по определенному критерию. Как рассчитывалась дельта, авторы не указывают.
Помимо исследований, направленных на определение закономерностей в звуках, которые издают представители фауны, существует несколько работ, в которых изучают пение человека. Так, например, в
статье [7] проводится оценка хорового пения с помощью автокорреляционной функции и вычисления нестационарных «корреляционных портретов» звучания хора и их визуального сравнения.
При проведении анализа современной научной литературы, связанной с оценкой сходства вокальных исполнений [2-7], было выявлено, что для этой цели используется в основном корреляционный анализ.
Условия, в которых осуществлялось сравнение вокальных исполнений
Для сравнения сходства вокальных исполнения был выбран эталон - исполнение мелодии человеком с музыкальным образованием и 7 вариантов исполнений другими людьми, которые прослушивали аудиозапись эталона и пытались ее воспроизвести. Все исполнители - женщины возраста от 22 до 28 лет. Всего было записано 8 локаций - 4 вида
мелодии, исполненных плавными и отрывистыми звуками.
Для определения ЧОТ вокальных исполнении была выбрана программа «Amadeus», разработанная на кафедре КИБЭВС ТУСУР [8], которая определяет частоты основного тона вокального исполнения и на основе котороИ будет разрабатываться ПО для обучения пению. Данная программа использует алгоритм идентификации частот основного тона, основанный на модели слуховой системы человека [9]. Ниже представлен пример графика распределения частот основного тона для обработанных аудиозаписей одной из анализируемых локаций (рис. 1). В данной локации необходимо было спеть стаккато без произношения названий следующие ноты первой октавы: до, ре, ми, фа, соль, фа, ми, ре, до.
Частота основного тона 220
/ /х # X л/ х\ ..'v А ч \ / \ч N N \
л,/.. /'// "V ' ¿/ Л v \Л /\ X * v'w\. X ' \ t * # V Алл \
/ч / г * .-■ / / / ' АЛ '-/■К ' /ух// \ /щу \ /V/ \ \ * \ \ \ \ \ Ч /Ч ч / V/ \
/ / / у /\ /Л ЛХу/Л/<у X/ /\Х / \/ Ч 1 \ V- /,: АХ ч-<\.'/> ч >\\у/ К\ V *
/ / > * ! V
200
180
160
140
100
Рис. 1. Распределение ЧОТ обработанных аудиозаписей для 1-й локации
Момент времени
Постановка задачи аппроксимации временного ряда
Так как в процессе применения метода выделения синхронности производилось сравнение не самих значений ЧОТ, а коэффициентов или значений аппроксимирующих их функций, необходимо было выбрать метод аппроксимации и произвести оценку. Для большей универсальности была выбрана группа методов непараметрической статистики, так как неизвестен истинный вид аппроксимирующей функции и она по каким-либо причинам не может быть параметризована. В результате из-за простоты и положительных результатов была выбрана одна из самых известных непараметрических оценок - регрессия Надарая-Ватсона.
Задача аппроксимации временного ряда была поставлена следующим образом: Пусть существует
ряд, где X - моменты времени, а У - множество значений частот основного тона, уI = у(х), f:X^Y - неизвестная зависимость. Требуется построить функцию, аппроксимирующую неизвестную зависимость /
Для вычисления было решено воспользоваться оценкой Надарая-Ватсона [10]:
n „_ V
Yjk (^)
f (x, hn ) = ^-.
nn
X к (^)
(i)
i=l
hn
где К - невозрастающая, гладкая, ограниченная функция, которая называется ядром; кп - параметр размытости.
Было использовано шесть видов ядер:
1. Треугольное:
[1-\и\, |и| < 1, [0, |и| > 1.
2. Епанечникова оптимальное: 3 (1-и2/э), \и\ < 0,5,
3. Фишера:
о, |и| >45.
1 8ш(и /2) и/2
2л
4. Валле-Пуссена:
1 (8ш(и /2) 2л I
5. Триквадратное:
35
36
6. Трикубическое:
70 81
и/2
(.-I и2 )3
е:
(■-I и3 )3
и < 1.
и < 1.
(2)
(3)
(4)
(5)
(6)
(7)
Оценка точности полученных значений будет проводиться с помощью расчета абсолютной и относительной средней ошибок аппроксимации.
Для средней абсолютной ошибки аппроксимации используется формула [11]
Еабс =2У -1=1
(8)
где у/ - /-е значение исходного временного ряда; щ -значение временного ряда, полученное после аппроксимации; п - длина временного ряда.
Для расчета средней относительной ошибки аппроксимации используется следующая формула:
Еабс
Е =■
^отн
V
(9)
2(У' - У )2
г=1
/(П -1)
где у - среднее значение исходного временного ряда. Оценка сходства вокальных исполнений В результате была выполнена программная реализация алгоритма оценки сходства вокальных исполнений (рис. 2).
Рис. 2. Алгоритм оценки сходства вокальных исполнений
Разработанный алгоритм оценки, основанный на методе выделения синхронности [12], сходства вокальных исполнений, содержит два этапа. На первом этапе эталонный и оцениваемый ряды частот аппроксимируются; второй этап заключается в сравнении каждого значения аппроксимированного оцениваемого ряда с соответствующим значением ап-
проксимированного эталонного ряда, определении количества равных пар и вычислении доли совпадений временного ряда с эталоном.
При исследовании значений ошибок при выборе различных ядер [13] выдвинуты следующие рекомендации: для треугольного, триквадратного и трикуби-ческого ядер следует выбирать ширину окна, равную 2.
Для остальных ядер - ширину окна, равную 1. Минимальные ошибки были получены при ядре Валле-Пуссена и составили менее 5%.
Как видно из полученных результатов, наиболее точно исполнены 1, 2, 7 и 8-я локации - степень сходства свыше 90%, результаты почти одинаковы для всех видов ядер. Различия при выборе ядер особенно заметны для оценки исполнения 4-й и 6-й локаций - применение ядер Валле-Пуссена и Фишера заметно увеличивает степень сходства для всех исполнителей.
При прослушивании исполнений четвертая и шестая локации действительно исполнены почти всеми певицами хуже, но их степень сходства достаточно велика - больше 50%. Учитывая, что точность оценки с ядром Валле-Пуссена больше, чем у остальных, полученные результаты показывают, что
В таблице приведены результаты оценок сходства вокальных исполнений каждой локации каждым исполнителем.
данный способ оценки степени сходства при использовании ядер Валле-Пуссена или Фишера может разрабатываться далее и использоваться при определении сходства вокальных исполнений.
Одним из вариантов использования данного способа оценки сходства может служить проверка качества выполнения задания по исполнению последовательности нот при обучении вокалу. Как указывается в [14], попадание в ноту зависит от высоты голоса, которая складывается из физиологических особенностей человека [15]. Именно из-за этих особенностей человек может не попадать в определенную октаву ноты. На первоначальных этапах обучения пению это не должно восприниматься как
Результаты ^ оценок сходства вокальных исполнений
Локация Ядро, % Исп. 1 Исп. 2 Исп. 3 Исп. 4 Исп. 5 Исп. 6 Исп. 7
1 Треугольное 99,87 100 99,74 99,74 100 100 99,61
Епанечникова 99,61 100 99,08 98,56 100 100 99,61
Фишера 100 100 100 100 100 100 100
Валле-Пуссена 100 100 100 100 100 100 100
Триквадратное 99,87 100 99,87 99,87 100 100 99,74
Трикубическое 99,87 100 99,61 99,61 100 100 99,61
2 Треугольное 99,17 96,99 96,83 96,83 97,33 97,997 98,16
Епанечникова 96,66 93,49 90,82 92,32 93,82 95,16 95,16
Фишера 100 100 100 100 100 100 100
Валле-Пуссена 100 100 100 100 100 100 100
Триквадратное 99,33 97,99 97,33 98,49 98,498 98,83 98,83
Трикубическое 98,33 95,66 95,993 96,49 95,83 97,66 97,496
3 Треугольное 76,53 82,05 70,81 73,57 74,36 81,26 79,68
Епанечникова 71,2 78,69 66,27 70,02 70,81 80,47 76,33
Фишера 91,32 93,49 88,17 92,5 91,32 95,86 91,72
Валле-Пуссена 98,42 98,03 95,46 97,24 96,06 98,62 97,44
Триквадратное 77,32 82,84 71,99 75,15 75,54 82,25 79,49
Трикубическое 77,32 82,84 71,99 75,15 75,54 82,25 79,49
4 Треугольное 44,11 45,02 35,95 24,47 45,32 51,06 32,93
Епанечникова 39,58 36,25 32,93 17,52 38,67 47,73 23,57
Фишера 73,41 72,81 71,9 68,88 74,02 80,36 74,62
Валле-Пуссена 83,99 79,15 83,69 76,13 80,97 88,52 83,99
Триквадратное 45,92 47,13 38,97 26,59 48,04 54,38 34,74
Трикубическое 46,53 41,69 35,05 23,26 45,02 51,66 29,3
5 Треугольное 79,35 79,92 81,64 73,42 87,19 85,85 77,25
Епанечникова 72,66 69,79 77,63 65,01 86,81 82,6 69,22
Фишера 98,47 97,32 97,13 97,51 99,24 99,43 98,85
Валле-Пуссена 99,23 100 98,47 99,81 100 100 100
Триквадратное 80,31 81,45 82,22 77,44 88,34 85,85 80,11
Трикубическое 78,39 77,63 80,49 72,66 86,62 85,09 76,48
6 Треугольное 29,91 21,99 29,03 13,49 30,49 32,55 20,82
Епанечникова 25,22 18,48 22,29 9,09 28,45 29,33 18,18
Фишера 62,76 60,41 63,34 43,99 73,31 68,33 63,05
Валле-Пуссена 77,71 77,13 73,31 68,04 80,35 80,35 78,59
Триквадратное 31,38 23,46 28,45 13,19 31,67 35,48 21,7
Трикубическое 29,32 20,23 28,15 12,02 32,55 34,89 20,23
7 Треугольное 99,89 100 100 99,56 99,56 99,56 99,67
Епанечникова 99,89 100 100 99,67 99,56 99,56 100
Фишера 100 100 100 99,89 100 99,89 100
Валле-Пуссена 100 100 100 99,89 100 99,89 100
Триквадратное 100 100 100 99,67 99,56 99,56 99,67
Трикубическое 99,89 100 100 99,45 99,56 99,56 99,67
8 Треугольное 99,87 99,6 99,87 100 99,87 99,87 99,87
Епанечникова 100 99,47 100 100 100 100 99,6
Фишера 99,87 100 100 100 100 100 100
Валле-Пуссена 99,87 100 100 100 100 100 100
Триквадратное 99,87 99,74 100 100 99,87 100 99,87
Трикубическое 100 99,6 99,87 100 99,74 99,74 99,87
ошибка, так как нота спета верно. Поэтому на начальных уровнях обучения необходимо оценивать динамику ЧОТ.
Данный подход может быть применен для поиска и излечения информации из временного ряда при решении задач прикладной математики [16]. Например, применительно к использованию математических методов для анализа речи можно рассмотреть метод выделения синхронности в задаче оценке сходства произношения диктором ключевых фраз до проведения операции на гортани и после нее [17-19].
Заключение
В результате проведенного исследования было определено, что метод выделения синхронности применим для решения задач определения сходства динамик в речи дикторов. С его помощью возможно определить схожесть пения нескольких дикторов для одной мелодии, а также теоретически возможно определить степень отклонения в ходе реабилитации после операции для больных онкологическими заболеваниями гортани. Эмпирически было определено, что лучшие результаты получаются при применении ядер Валле-Пуссена и Фишера. Ошибки при их использовании составили менее 5%.
Работа выполнена при финансовой поддержке Министерства образования и науки РФ в рамках базовой части государственного задания в сфере научной деятельности (проект № 8.9628.2017/8.9).
Литература
1. Катаева Е.С. Алгоритм обнаружения синхронности временных рядов // Матер. Первой Всерос. молодежной науч. конф. «Математическое и программное обеспечение информационных, технических и экономических систем». - Томск, 2013. - С. 62-67.
2. Burkett Z.D. VoICE: A semi-automated pipeline for standardizing vocal analysis across models / Z.D. Burkett, N.F. Day, O. Penagarikano, D.H. Geschwind, S.A. White // Scientific reports. - 2015. - Vol. 5. - P. 10237.
3. Job J.R. Song adjustments by an open habitat bird to anthropogenic noise, urban structure, and vegetation / J.R. Job, S.L. Kohler, S.A. Gill // Behavioral Ecology. - 2016. -Vol. 27, No. 6. - P. 1734-1744.
4. Damos P. Using multivariate cross correlations, Granger causality and graphical models to quantify spatiotemporal synchronization and causality between pest populations // BMC ecology. - 2016. - Vol. 16, No. 1. - P. 33.
5. Portfors C.V. The role of ultrasonic vocalizations in mouse communication / C.V. Portfors, D.J. Perkel // Current opinion in neurobiology. - 2014. - Vol. 28. - P. 115-120.
6. Ндженге Б.К. Параметрическая диагностика на базе синхронии и асинхронии изменения параметров газотурбинных двигателей одного самолета // Научный вестник МГТУ ГА. - 2014. - № 208. - С. 109-112.
7. Бакаев А.В. Корреляционный анализ ансамблевого пения // Инженерный вестник Дона. - 2014. - Т. 29, № 2. -С. 123-129.
8. Якимук А.Ю. Программный комплекс для автоматизации моделирования сегментации речевых сигналов и вокальных исполнений / А.Ю. Якимук, А.А. Конев, А.О. Осипов // Вестник Иркут. гос. техн. ун-та. - 2017. -Т. 21, № 10(129). - С. 53-64.
9. Конев А.А. Модель и алгоритмы анализа и сегментации речевого сигнала: автореф. дис. ... канд. техн. наук. -Томск, 2007. - 20 с.
53
10. Воронцов К.В. Лекции по алгоритмам восстановления регрессии [Электронный ресурс]. - Режим доступа: http://www.ccas.ru/voron/download/Regression.pdf (дата обращения: 20.03.2018).
11. Светуньков И.В. Новые коэффициенты оценки качества экономических моделей [Электронный ресурс]. -Режим доступа: https://www.researchgate.net/profile/Ivan_ Svetunkov/publication/241766927_New_coefficients_of_econ ometric s_models_quality_estimation/links/563a258108ae4 5b5 d284a0c5/New-coefficients-of-econometrics-models-quality-estimation.pdf (дата обращения: 22.03.2018).
12. Катаева Е.С. Применение алгоритма выделения синхронности для метеорологических временных рядов / Е.С. Катаева, Г.М. Кошкин // Изв. вузов. Физика. - 2013. -Т. 56, № 9/2. - С. 229-231.
13. Катаева Е.С. Применение выделения синхронности для оценки сходства вокальных исполнений / Е.С. Катаева, Ю.Р. Свешникова, А.Ю. Якимук // Информационно-коммуникационные технологии в педагогическом образовании. - 2019. - № 4(61). - С. 54-58.
14. Холопова, В.Н. Музыка как вид исскуства : учеб. пособие. - 4-е изд., испр. - СПб.: Планета музыки, 2014. -320 с.
15. Швецов А.Г. Анатомия, физиология и патология органов слуха, зрения и речи: учеб. пособие. - Великий Новгород, 2006. - 68 с.
16. Технология прямого поиска при решении задач прикладной математики / В.А. Архипов, С.С. Бондарчук, И.Г. Боровской, А.А. Шелупанов; под ред. Ю.И. Шокина // Вычислительные технологии: сборник научных трудов. -Новосибирск, 1995. - С. 19-25.
17. Software for an objective evaluation of the quality of syllables's pronunciation in speech rehabilitation / E. Kostyuchen-ko, R. Meshcheryakov, D. Ignatieva, A. Pyatkov, E. Choynzonov, L. Balatskaya // 2017 IEEE II International Conference on Control in Technical Systems (CTS). - IEEE, 2017. - P. 267-270.
18. Rakhmanenko I. Fusion of biLSTM and GMM-UBM systems for audio spoofing detection / I. Rakhmanenko, A. Shelupanov, E. Kostyuchenko // International Journal of Advanced Trends in Computer Science and Engineering. -Vol. 8, No. 4. - 2019. - P. 1741-1746.
19. The evaluation process automation of phrase and word intelligibility using speech recognition systems / E. Kostu-chenko, D. Novokhrestova, M. Tirskaya, A. Shelupanov, M. Nemirovich-Danchenko, E. Choynzonov, L. Balatskaya // Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bio-informatics). - 2019. - Vol. 11658 LNAI. - P. 237-246.
Катаева Елена Сергеевна
Мл. науч. сотр. лаб. медико-биологических исследований
(ЛМБИ) Томского государственного университета систем
управления и радиоэлектроники (ТУСУР)
Ленина пр-т, д. 40, г. Томск, Россия, 634050
ОЯСГО 0000-0002-2329-457Х
Тел.: +7-962-777-85-89
Эл. почта: kes@keva.tusur.ru
Якимук Алексей Юрьевич
Мл. науч. сотр. лаб. безопасных биомедицинских
технологий ЦТБ КИБЭВС ТУСУРа
Ленина пр-т, д. 40, г. Томск, Россия, 634050
ОЯСГО 0000-0001-9736-7658
Тел.: +7-983-235-24-31
Эл. почта: yay@keva.tusur.ru
Kataeva E.S., Yakimuk A.Yu.
Application of synchronous isolation for evaluating the similarity of vocal performances
This paper presents the results of applying the method of extracting synchronism, developed specifically to assess the degree of synchronism of time series. The results for the series of frequencies of the fundamental tone obtained by processing vocal recordings of the same melody by different performers. The study examined six different kernel functions for the approximation problem. Empirically identified kernel, the use of which the accuracy of the assessment above, that allows us to apply this method in the field of singing training with specialized programs and for automating the assessment of speech quality of patients after treatment of oncological diseases of the speech-forming tract.
Keywords: vocal performance, synchronicity, approximation of temporary types, speech technology. doi: 10.21293/1818-0442-2019-22-3-49-54
References
1. Kataeva E.S. Algoritm obnaruzheniya sinhronnosti vremennyh ryadov [Algorithm for detecting the synchronization of time series]. Materials of the First All-Russian Youth Scientific Conference «Mathematical and Software of Information, Technical and Economic Systems». Tomsk, 2013, pp. 62-67 (in Russ.).
2. Burkett Z.D., Day N.F., Penagarikano O., Geschwind D.H., White S.A. VolCE: A semi-automated pipeline for standardizing vocal analysis across models. Scientific Reports |5:10237|, 2015, DOI: 10.1038/srep10237.
3. Job J.R., Kohler S.L., Gill S.A. Song adjustments by an open habitat bird to anthropogenic noise, urban structure, and vegetation. Behavioral Ecology, 2016, vol. 27, issue 6, pp. 1734-1744.
4. Damos P. Using multivariate cross correlations, Granger causality and graphical models to quantify spatiotemporal synchronization and causality between pest populations. BMC Ecol, 2016, s12898-016-0087-7.
5. Portfors C.V., Perkel D.J. The role of ultrasonic vocalizations in mouse communication. Current opinion in neurobiology, 2014, vol. 28, pp. 115-20.
6. Ngenge B.K. Parametricheskaya diagnostika na baze sinhronii i asinhronii izmeneniya parametrov gazoturbinnyh dvi-gatelej odnogo samoleta [Parametric diagnostics based on synchronization and asynchrony of changing parameters of gas turbine engines of one aircraft]. Civil Aviation High Technologies (Nauchnyi Vestnik MGTU GA), 2014, no. 208, pp. 48-52 (in Russ.).
7. Bakaev A.V. Korrelyacionnyj analiz ansamblevogo peniya [Correlation analysis of ensemble singing]. Engineering Bulletin of the Don, 2014, vol. 29, no. 2, pp. 123-129 (in Russ.).
8. Yakimuk A.Yu., Konev A.A., Osipov A.O. Pro-grammnyj kompleks dlya avtomatizacii modelirovaniya seg-mentacii rechevyh signalov i vokal'nyh ispolnenij [Program complex for speech signal and vocal performance segmentation modeling automation]. Proceedings of Irkutsk State Technical University, 2017, vol. 21, no. 10 (129), pp. 53-64.
9. Konev A.A. Model' i algoritmy analiza i segmentatsii rechevogo signala. Avtoref. diss. kand. tekhn. nauk [The model and algorithms for the analysis and segmentation of the speech signal. Dissertation abstract of PhD eng. sci.], Tomsk, 2007, 20 p.
10. Vorontsov K.V. Lekcii po algoritmam vosstanovleni-ya regressii [Lectures on regression restoration algorithms]. (In Russ.). Available at: http://www.ccas.ru/voron/download/ Regression.pdf (Accessed: March 22, 2018).
11. Svetunkov I.V. Novye koefficienty ocenki kachestva ekonomicheskih modelej [New coefficients for assessing the
quality of economic models]. (In Russ.). Available at: https://www.researchgate.net/profile/Ivan_Svetunkov/publicati on/241766927_New_coefficients_of_econometrics_models_q uality_estimation/links/563a258108ae45b5d284a0c5/New-coefficients-of-econometrics-models-quality-estimation.pdf (Accessed: March 20, 2018).
12. Kataeva E.S., Koshkin G.M. Primenenie algoritma vydeleniya sinhronnosti dlya meteorologicheskih vremennyh ryadov [The application of synchronism identification algorithm to meteorological time.] Russian Physics Journal, vol. 56, no. 9/2, pp. 229-231.
13. Kataeva E.S., Sveshnikova Yu.R., Yakimuk A.Yu. Primenenie vydeleniya sinhronnosti dlya ocenki skhodstva vokal'nyh ispolnenij [Application of synchronous isolation for evaluating the simility of vocal performances.] Information and communication technologies in teacher education, 2019, no. 4(61), pp. 54-58.
14. Kholopova, V.N. Muzyka kak vid iskusstva: uchebnoe posobie [Music as a kind of art.] The fourth edition, revised. Saint Petersburg: Publishing house «The Planet of Music», 2014, 320 p.
15. Shvetsov A.G. Anatomiya, fiziologiya i patologiya organov sluha, zre-niya i rechi: uchebnoe posobie. [Anatomy, Physiology, and Pathology of Hearing, Vision, and Speech: A Training Manual.] Veliky Novgorod, 2006, 68 p.
16. Arhipov V.A., Bondarchuk S.S., Borovskoy I.G., Shelupanov A.A. Tekhnologiya pryamogo poiska pri reshenii zadach prikladnoj matematiki [Direct search technology for solving the problems of applied mathematics]: Computational technologies. Collection of scientific papers. Edited by Academician of the RAS Yu. I. Shokin. Novosibirsk, 1995, pp. 1925 (in Russ.)
17. Kostyuchenko E.Y., Mescheryakov R.V., Novo-khrestova D.I., Pyatkov A.V., Balatskaya L.N., Choynzonov E.L. Software for an objective evaluation of the quality of syllables's pronunciation in speech rehabilitation. Proceedings of 2017 IEEE 2nd International Conference on Control in Technical Systems, CTS 2017, 2, 2017, pp. 267-270.
18. Rakhmanenko I., Shelupanov A., Kostyuchenko E. Fusion of biLSTM and GMM-UBM systems for audio spoofing detection. International Journal of Advanced Trends in Computer Science and Engineering, vol. 8, no. 4, 2019, pp. 1741-1746.
19. Kostuchenko E., Novokhrestova D., Tirskaya M., Shelupanov A., Nemirovich-Danchenko M., Choynzonov E., Balatskaya L. The evaluation process automation of phrase and word intelligibility using speech recognition systems. Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bio-informatics), vol. 11658 LNAI, 2019, pp 237-246.
Elena S. Kataeva
Junior Research Officer, Laboratory of Biomedical Research,
Tomsk State University of Control Systems
and Radioelectronics (TUSUR)
40, Lenin pr., Tomsk, Russia, 634050
ORCID: 0000-0002-2329-457X
Phone: +7-962-777-85-89
Email: kes@keva.tusur.ru
Aleksey Yu. Yakimuk
Junior Research Officer, Laboratory of Safe Biomedical
Technologies, TUSUR
40, Lenin pr., Tomsk, Russia, 634050
ORCID: 0000-0001-9736-7658
Phone.: +7-983-235-24-31
Email: yay@keva.tusur.ru
