CC BY
25ТЕОРИЯ И ИСТОРИЯ ИСКУССТВА УДК 78
DOI: 10.24412/2070-075Х-2022-4-7-13
А.А. Предоляк, И.С. Курлыкин, В.В. Березенкова
АУДИОМОРФИНГ КАК ПРОЦЕСС МОДЕЛИРОВАНИЯ ЗВУКА: ИСТОРИЯ, ТЕХНОЛОГИИ, ПРАКТИКА
В статье рассматривается метод аудиоморфинга, этимология понятий «тембр», «тембральный морфинг». Анализируется взаимосвязь морфинга с тембрами музыкальных инструментов, сэмплами, VST-плагинами. Область синтеза звука позволила выявить основные позиции работы методом морфинга: интерполяция сигнала, синусоидальное моделирование, кодирование аудио, процесс преобразования вокала. Цифровая среда морфинга связана с позициями сэмплирования звука, программным обеспечением, секвенсорами. Анализ звуковой коммутации и эмуляции двух записанных сигналов позволил выявить основные его этапы - создание главной дорожки, поиск сигнала, определение модулятора, нужного алгоритма работы плагина, процесс настройки оборудования для получения нужного результата. Путем анализа модуляции двух «живых» сигналов в режиме реального времени был исследован алгоритм преобразования путем синтеза звука - подключение инструментов к свободным каналам звуковой карты, подключение к рабочей станции, создание дорожки сигналов инструментов для получения нужного результата.
Ключевые слова: морфинг, вокодер, сигнал, плагин, сэмпл, тембр, эмуляция, музыкальные инструменты, вокал, синтез звука.
Актуальность. Поиск нового звучания всегда являлся одним из самых главных и важных вопросов на протяжении всей истории музыкальной индустрии: уже привычные нам тембры инструментов, голосов и шумов быстро надоедают и с развитием технологий тяжело воспринимаются новыми поколениями.
В наше время этот вопрос постоянно обсуждается. Во-первых, это побуждает находить принципиально иные методы создания новых звуков с новыми тембральны-ми характеристиками, ранее не существовавшими. Во-вторых, позволяет получить потенциально новые тембры из уже существующих звуков. На данный момент нам известны такие методы как «timestretch» и «pitchstretch», амплитудные, частотные, фазовые, временные и формантные преобразования для изменения тембральных характеристик исходного сигнала, а также осуществить практику синтеза звука для создания нового сигнала.
Стремительно набирает популярность относительно новый метод работы со звуком - аудиоморфинг. Это технология, при которой характеристики одного сигнала накладываются на другой. С ее помощью можно получить совершенно новый, а иногда и непредсказуемый результат звучания.
Однако аудиоморфинг может быть полезен не только для создания новых звуков из уже существующих, что необходимо саунд-дизайнерам или создателям библиотек звуков и сэмплов, но также звукорежиссерам и аранжировщикам для создания плавных переходов между двумя совершенно разными инструментами, для насыщения искусственного звука натуральными оттенками акустических музыкальных инструментов и т. д.
Объектом является аудиоморфинг двух исходных сигналов путем преобразования в цифровой среде. Предметом - роль морфинга в практике музыкального звукорежиссера.
Цель статьи - выявить историко-теоретические принципы преобразования двух и более исходных сигналов методом аудиоморфинга.
Научно-исследовательскую литературу, посвященную данной проблеме, можно разделить на два основных блока. Первый включает специализированные источники, напрямую описывающие метод морфинга. Это труды И.А. Алдошиной [1; 2]. С изучением акустики музыкальных инструментов, специфики звукозаписи музыкальных инструментов и голоса. Это работы Т.Н. Александровой [3], А.А. Володина [4],
A.А. Предоляк [5], М.А. Сапожникова [6]. Второй - раскрывает художественные процессы развития музыкальной культуры, электронной музыки, технологии композиционных техник и работы музыкального звукорежиссера. К ним относятся труды
B.Г. Динова [7], Ц. Когоутека [8], Б.Я. Меерзона [9].
История морфинга берет свое начало в 1938 году. Тогда пионером электроники и акустической инженерии Гомером Дадли был изобретен вокодер, то есть кодировщик голоса. Он предназначался для применения в военных целях во время Второй мировой войны, в частности для зашифрованной высокоуровневой голосовой связи.
Данное устройство позволяло существенно экономить ресурсы радиолиний систем связи, так как вместо исходного речевого сигнала, оно передавало лишь фундаментальные значения некоторых его параметров, которые в свою очередь управляли синтезатором речи на приемной стороне. После всех преобразований изначальный голос человека становился похожим на «голос робота».
Со временем свою популярность это устройство обрело в сообществе музыкантов, которые работали в области электронной музыки. На уровне музыкального эффекта это устройство позволяло переносить характеристики одного модулирующего сигнала на другой, который называют «носителем». В качестве модулирующего сигнала может выступать не только голос, но и любой другой звук, точно так же, как и в качестве носителя. Если использовать живой звук в качестве модулятора, то «носитель» как бы «оживает», приобретая характеристики живого сигнала.
Сегодня вокодеры в практике музыкального звукорежиссера присутствуют в двух видах:
• аппаратном,
• виртуальном.
Виртуальные вокодеры более приемлемы и удобны. Они реализуются в виде VST-плагинов, так как этот его вид проще в использовании, имеет расширенные параметры настроек. Их можно применять в работе как самостоятельную программу и как программу-секвенсор.
Одним из приемов применения синусоидального моделирования является преобразование звука, то есть морфинг. Его история и технология происходит от обработки изображений, где форма или трансформация объектов может изменяться с помощью их преобразования. Этот пример можно увидеть в цепи представленных картинок.
В аудио цель состоит в том, чтобы либо плавно объединять звуки с разными тембровыми характеристиками, или создавать звуки с гибридными тембрами. Приведем несколько разъяснений, опираясь на научный труд, посвященный проблеме тембрового морфинга И.А. Алдошиной.
«Морфинг - процесс комбинирования двух или более звуков различного тембра и длительности в некоторый новый звук с промежуточной длительностью и особым тембром, включающий в себя отдельные черты исходных звуков» [1].
«Одной из важнейших субъективных характеристик звукового сигнала, позволяющих распознать его источник, является тембр. Тембр (timbre) означает "качество тона", "окраска тона" и с французского языка дословно переводится как "отличительный знак"» [1]. Тембр - атрибут слухового восприятия, который позволяет слушателю определить, что два звука, имеющие одинаковую высоту и громкость, отличаются друг от друга. Другими словами, это то свойство сигнала, которое позволяет нам определить, какой инструмент (голос или другой источник звука) производит звук.
«Тембральный морфинг - это процесс комбинирования с использованием цифровой процессорной обработки двух или более звуков различного тембра и длительности в некоторый новый звук с промежуточной длительностью и особым тембром, включающий в себя отдельные черты исходных звуков. Этот процесс отличается от простого перемешивания различных звуков, поскольку создается один звук с новыми свойствами» [1].
Особенность работы в процессах аудиофморфинга связана с приемами интерполяции звука, когда из нескольких параметров выбираются его основные позиции, чтобы создать новый звук или преобразовать уже существующий.
Преобразование звука является более сложным, чем простое перекрестное затухание двух разных звуковых фрагментов. При перекрестном затухании частотные составляющие звуков складываются так, что амплитуда одного звука будет постепенно исчезать, а амплитуда другого звука будет постепенно повышаться. При аудио-морфинге не только частотные компоненты, но также их амплитуды плавно интерполируются от одного звука к другому.
Аудиоморфинг находит применение в индустрии развлечений, в саундтреках к фильмам, рекламе для телевидения. Одним из самых известных его примеров было воссоздание голоса Фаринелли из кинофильма о жизни знаменитого кастрата XVIII века. Для этого тембры голосов колоратурного сопрано и контртенора были трансформированы, чтобы реконструировать незабываемый голос. Другим примером может служить работа в сфере звукового синтеза, точнее перевод певческого голоса от соло к хору или имитация голоса в караоке-системах.
Рассмотрим этапы работы со звуком в системе аудиоморфинга.
Интерполяция сигнала. Синусоидальное представление звуков может быть полезно для целей интерполяции и экстраполяции сигналов, особенно если часть анализируемого сигнала отсутствует. По этой причине пробел в сигнале можно заполнить, предположив, что отсутствующий сигнал, вероятно, будет вести себя аналогично сигналу, окружающему разрыв. Цель состоит в том, чтобы сопоставить треки присутствующих на границах щели и восстанавливающих их траектории над щелью посредством линейной интерполяции.
При модулировании частот дорожек во времени, например, в звуках вибрато, линейная интерполяция может стать неудобной. Вместо этого предпочтительнее подгонять авторегрессионные модели низкого порядка к трекам и экстраполировать их параметры на промежуток, учитывая параметры основной модели.
Синусоидальное моделирование также является основным компонентом схем разделения источников. Цель разделения источников заключается в идентификации и повторном синтезе всех отдельных точек звука.
Первым шагом процедуры разделения является анализ звукового поля и получение его синусоидального представления. После этого следует приступить к анализу полученных параметров, куда входят частота, амплитуда, фаза, время начала и время смещения дорожек. Например, треки, частоты которых гармонически связаны, скорее всего, принадлежат одному и тому же источнику звука. Кроме того, когерентные изменения частоты некоторых треков во времени, например, наблюдаемые в звуки инструмента, имеющие вибрато, указывают на звук, исходящий из того же источника. То же самое касается треков, которые начинаются в одно и то же время.
Основной трудностью данного процесса является выделение различных источников, когда частотные траектории треков пересекаются друг с другом или когда части разных источников имеют одни и те же частотные дорожки. Производительность систем разделения источников стремится к уменьшению с увеличением количества источников, подлежащих разделению.
Синусоидальное моделирование или Audio. De-Noising. Как видно из описания методов синтеза, синусоидальное моделирование позволяет разделить детерминированную и стохастическую составляющие сигнала. Если стохастические компоненты являются неотъемлемой частью синтезируемого звука, они должны быть включены в синтез схемы. Если стохастические компоненты нежелательны, или в сигнале искажены шипящим шумом, их можно игнорировать на этапе синтеза. В результате синтезированный сигнал становится свободным от мешающего шума.
Синусоидальное моделирование также может быть полезно для устранения периодических помех, влияющих на звуковые сигналы, например, гул и жужжание, вызванные проблемами с заземлением в источнике питания сети. В таких случаях может быть принят метод разделения источников, чтобы отделить синусоидальные составляющие, связанные с источником помех от наблюдаемой смеси. Затем выполняется шумоподавление, исключая эти компоненты из этапа синтеза.
Кодирование аудио с низким битрейтом. Синусоидальное моделирование также используется при кодировании аудио или речи с низкой скоростью передачи данных. Расчет связан с вариативностью сигнала во времени и частоте, он представляет сигнал разреженно и параметрически через синусоиды, шум и переходные компоненты процессов. Например, синусоидальные составляющие можно сгруппировать с гармониками. Следовательно, если должен быть передан гармонический тон, вместо передачи всех параметров трека достаточно отправить сигнал, содержащий параметры основной частоты и спектральной огибающей тона. Компоненты шума компактно распространяются по их амплитуде и спектральным огибающим. Кроме того, отдельные синусоидальные компоненты могут быть выделены для учета негармонических составляющих. Эта стратегия принята в стандарте MPEG-4 для низкой скорости передачи данных.
Одним из ярких являются саундтреки к компьютерным играм «Doom 4» и «Doom: Eternal», написанными австралийским композитором и саунд-дизайнером Миком Гордоном, где в основе звучания пропущенной через цепь фильтров и обработки электрогитары применен метод морфинга, в котором в качестве «носителя» был использован звук бензопилы из первой части игры в серии игр «Doom». Можно добавить, что последний студийный альбом британской металкор группы «Bring Me The Horizon» был написан с непосредственным участием Мика Гордона, где морфинг также был применен в обработке электрогитары.
Прием преобразования пения в реальном времени. В данной области аудио-морфинг является частым и широко применяемым методом. В режиме реального времени два голосовых сигнала взаимодействуют таким образом, что можно контролировать результат созданного синтетического голоса путем смешивания характеристик двух источников. Он достигается посредством модификации или перевода эталонного речевого сигнала, его отдельных параметров в другие.
Так было разработано приложение по принципу караоке, в котором пользователь может петь как его любимый певец. Система позволяет пользователю изменять свои голосовые характеристики, такие как высота тона, тембр, вибрато и артикуляции. Соотносить их с предварительно записанным тембром певца, который с этого момента рассматривается как некая достижимая цель. Для этого система в режиме реального времени:
• распознает, что поет пользователь - фонемы и ноты,
• ищет одинаковые звуки в обоих исполнениях, то есть производит синхронизацию звуков),
• интерполирует выбранные атрибуты голоса,
• синтезирует преобразованный выходной голос.
Кроме вокодера не существует аналогового оборудования, способного воспроизводить морфинг на качественно-высоком уровне с минимальной задержкой. В связи с этим широко распространены виртуальные решения, используемые в ПК и рабочих станциях.
В цифровой среде морфинг реализуется посредством использования VST-плаги-нов. Данные программы можно использовать самостоятельно, однако чаще всего их используют через хост-программы или секвенсоры.
Примеры секвенсоров: Ableton, Reaper, ProTools, FLStudio, Cubase, Adobe Audition. Примеры плагинов для применения морфинга: Zynaptiq Morph, MMorph. Эти плагины имеют встроенные алгоритмы работы морфинга, однако у каждой программы есть уникальные особенности. Такие инструменты могут включать в себя не только морфинг, но и различные побочные, вспомогательные эффекты, например дилэй, ревербераторы, сатураторы, разного рода предуселители. Разработчики предусматривают такие решения, чтобы упростить и ускорить процесс получения желаемого результата.
Существует несколько вариантов коммутации при работе с плагинами морфинга. Если надо промодулировать уже записанные сигналы либо сигналы, которые в реальном времени воспроизводятся в секвенсоре, то необходимо выдержать последующие этапы процесса.
1. Создать дорожку, на которой будет воспроизводиться сигнал, который нужно использовать в качестве модулятора.
2. Создать дорожку с сигналом, который будет использован в качестве «носителя».
3. Сделать посыл с дорожки «носителя» на дорожку модулятора (side-chain).
4. Выбрать нужный алгоритм работы плагина и настроить его до получения нужного результата.
Если же нужно промодулировать два живых инструмента в реальном времени, необходимо проделать следующее.
1. Первый инструмент подключить в свободный канал звуковой карты либо микшерного пульта со встроенной звуковой картой.
2. Второй инструмент подключить в другой свободный канал звуковой карты либо микшерного пульта со встроенной звуковой картой.
3. Подключить звуковую карту к рабочей станции (ПК).
4. Создать дорожку с сигналом первого инструмента, который будет использован в качестве «носителя».
5. Создать дорожку, на которой будет воспроизводиться сигнал второго инструмента, который мы хотим использовать в качестве модулятора.
6. Выбрать нужный алгоритм работы плагина и настроить его до получения нужного результата.
Соблюдая поочередность при работе методом морфинга, нужно всегда помнить, что от того, какой сигнал является модулятором, а какой «носителем», будет зависеть конечный итог работы.
Подведем итог
1. В статье были представлены этимология понятия «морфинг», концепции модуляторов и демодуляторов применительно к цифровым звуковым эффектам.
2. Морфинг может быть применен в различных сферах, таких как кинематограф, компьютерные игры, академическая и электронная музыка. Это позволяет определить, что данный метод может служить чрезвычайно полезным инструментом для решения как творческих, так и технических задач при создании того или иного аудиопродукта.
3. Методология работы методом морфинга представляет ряд позиций, направленных на преобразование звука как вокального, так и инструментального, выявляет одну из важных научных и творческих задач - умение работать в области синтеза звука, что применимо в творческом процессе акустической и электронной музыки. Сегодня именно эта проблема стала полем для экспериментов со звуком в работе музыканта и музыкального звукорежиссера.
Литература
1. Алдошина И.А. Тембральный морфинг звука // allprosound.ru: [сайт]. URL: https://www.allprosound.ru/teoriya/Research/Morphing_66.html (дата обращения: 20.11.2022).
2. Алдошина И.А., Приттс, Р. Музыкальная акустика. Санкт-Петербург: Композитор, 2006. 720 с.
3. Александрова Т.Н. Звукозапись дикторского голоса и вокала в производстве музыкальных программ. Краснодар, 2019. 95 с.
4. Володин А.А. Электромузыкальные инструменты. М.: Музыка, 1979. 182 с.
5. Предоляк А.А. Специфика акустики речи и пения в работе музыкального звукорежиссера. Краснодар, 2018. 79 с.
6. Сапожников М.А. Электроакустика. М.: Связь, 1978. 272 с.
7. Динов В.Г. Звуковая картина: записки о звукорежиссуре. 3-е изд., стер. Санкт-Петербург; Москва; Краснодар: Лань: Планета музыки, 2012. 487 с.
8. Когоутек Ц. Техника композиции в музыке ХХ века. М.: Музыка, 1976. 367 с.
9. Меерзон Б.Я. Акустические основы звукорежиссуры. Оборудование студий / под ред. Л.Е. Чиркова. М.: Редакция «625», 1996. 199 с.
10. Современная звукорежиссура: творчество, техника, образование / под науч. ред. С.А. Осколкова. Санкт-Петербург: СПбГУП, 2013. 136 с. (Новое в гуманитарных науках. Вып. 62).
Audiomorfing as a Sound Modeling Process: History, Technology, Practice
Kul'turnaya zhizn' Yuga Rossii - Cultural Studies of Russian South, 2022, 4 (87), 7-13. DOI: 10.24412/2070-075X-2022-4-7-13
Anna A. Predolyak, Krasnodar State Institute of Culture (Krasnodar, Russian Federation). E-mail: aapkras@mail.ru
Ilya S. Kurlykin, Krasnodar State Institute of Culture (Krasnodar, Russian Federation). E-mail: nextcreat@mail.ru
Valeria V. Berezenkova, Krasnodar State Institute of Culture (Krasnodar, Russian Federation). E-mail: leraberezenkova@gmail.com
Keywords: morphing, vocoder, signal, addition, sample, timbre, emulation, musical instruments, vocals, sound synthesis.
The article is devoted to an actual and in-demand phenomenon in the field of modern music - the method of morphing. The artistic and aesthetic processes of musical art of the second half of the twentieth century and the beginning of the twenty-first century inexorably led to the search for new technologies in the field of sound synthesis. The field of electronic music was initially considered as a form capable of replacing opera and concert halls that were supposed to be a thing of the past. However, the endless
kaleidoscope of changing directions, trends, styles, compositional techniques started the reverse process. Today we are left with concert and opera halls, various compositions of orchestras, "live" voices. Electronic music has acquired the status of applied music. The desire to compose sound has changed the ideas in working with academic forms, genres, compositional techniques. Morphing allows you to create a new sound, find noise effects, synthesize frequencies, update the acoustic space, restore and truly recreate the playing of ancient musical instruments or the singing of the castrati culture. All of the above confirms the relevance of the issue under study. The purpose of the article is to identify the specifics of the morphing method when working in the field of sound synthesis. The creator of morphing is considered to be the acoustic engineer G. Dudley, who created the vocoder. By means of this device, it became possible to change the original voice of a person, which became similar to the voice of a robot. Over time, this device gained its popularity in the community of musicians working in the field of electronic music. The specifics of the work of audio surfing are connected with the techniques of interpolation and creation of a new sound, which is used in the entertainment industry, in movie soundtracks, advertising for television. The stages of working with sound in an audio morphing system include: signal interpolation, sinusoidal modeling, encoding audio with a low bitrate, converting singing or playing a musical instrument in real time. In the digital sphere of electronic music, morphing is implemented through the use of VST plug-ins, host programs or sequencers. Thus, the features of the work by the audiomorfing method are aimed at converting sound. This allows experimenting in the field of sound synthesis, applicable in the creative process of acoustic and electronic music. This sphere has become a field for creative searches of musicians and music sound engineers, which leads to new technologies for working with sound, creating its unusual timbres.
References
1. Aldoshina, I.A. (2015) Tembral'nyy morfing zvuka [Timbral morphing of sound]. [Online] Available from: https://www.allprosound.ru/teoriya/Research/Morphing_66.html (Accessed: 20.11.2022).
2. Aldoshina, I.A., Pritts, R. (2006) Muzykalnaya akustika [Musical acoustics]. Saint Petersburg: Composer.
3. Alexandrova, T.N. (2019) Zvukozapis' diktorskogo golosa i vokala v proizvodstve muzykal'nykh programm [Sound recording of the announcer's voice and vocals in the production of musical programs]. Krasnodar.
4. Volodin, A.A. (1979) Elektromuzykal'nye instrumenty [Electro-musical instruments]. Moscow: Muzyka.
5. Predolyak, A.A. (2018) Spetsifika akustiki rechi i peniya v rabote muzykal 'nogo zvukorezhissera [Specifics of speech and singing acoustics in the work of a musical sound engineer]. Krasnodar.
6. Sapozhnikov, M.A. (1978) Elektroakustika [Electroacoustics]. Moscow: Svyaz'.
7. Dinov, V.G. (2012) Zvukovaya kartina: zapiski o zvukorezhissure [Sound picture: notes on sound engineering]. 3rd ed., erased. Saint Petersburg; Moscow; Krasnodar: Lan: Planet of Music.
8. Kogoutek, Ts. (1976) Tekhnika kompozitsii v muzyke 20 veka [The technique of composition in the music of the twentieth century]. Moscow: Muzyka.
9. Meerzon, B.Ya. (1996) Akusticheskie osnovy zvukorezhissury. Oborudovanie studiy [Acoustic fundamentals of sound engineering. Studio equipment]. Moscow: Editorial Office "625".
10. Oskolkov S.A. (ed) (2013) Sovremennaya zvukorezhissura: tvorchestvo, tekhnika, obrazovanie [Modern sound engineering: creativity, technology, education]. Saint Petersburg: SPbGUP, 2013. New in the humanities. Issue 62.
