CC BY
0УДК 004.9+7.01
СПОСОБЫ ВЗАИМОДЕЙСТВИЯ КОМПОЗИТОРА С ИСКУССТВЕННЫМ ИНТЕЛЛЕКТОМ И ПРОБЛЕМА АВТОРСТВА СГЕНЕРИРОВАННОГО НЕЙРОСЕТЬЮ ПРОИЗВЕДЕНИЯ
Григорьев В. Е.1
1 Санкт-Петербургская государственная консерватория имени Н. А. Римского-Корсакова, Театральная пл., д. 3, литер «А», Санкт-Петербург, 190000, Россия.
В статье объектом исследования является процесс создания музыки композитором с использованием нейросети. Характер этого процесса не предопределен и допускает вариации в широких пределах. Вместе с тем изучение музыкального материала позволяет сделать вывод о возможных способах взаимодействия с нейросетями, к которым обращаются композиторы. Предмет исследования — способы взаимодействия композитора и искусственного интеллекта, включая авторские права на создаваемую музыку. Цель исследования заключается в изучении различных вариантов полного цикла производства музыкального произведения, созданного композитором с помощью нейросети. Проблема исследования связана с необходимостью классификации, разработки терминологии музыкальных произведений, сгенерированных нейросетью по заданию композитора. Материалом для статьи стали произведения современных композиторов, использующих нейросети в своем творчестве, а также исследования в области музыкальной нейронауки. Предложено несколько вариантов решения проблемы авторства сгенерированного произведения. Делается вывод о том, что использование композиторами нейросе-тей при сочинении музыкальных произведений, не исключает, а дополняет традиционные подходы к созданию музыки.
Ключевые слова: новые технологии, искусственный интеллект, нейросеть, современная музыка, нейроалеаторика, компьютерная музыка, алгоритмическая композиция.
WAYS OF INTERACTION OF A COMPOSER WITH ARTIFICIAL
INTELLIGENCE AND THE PROBLEM OF AUTHORSHIP
OF A WORK GENERATED BY A NEURAL NETWORK
Grigoriev V. E.1
1 N. A. Rimsky-Korsakov St. Petersburg State Conservatory of Music, 3, Teatral'naya Sq.,
190000, St. Petersburg, Russian Federation.
In the article the object of research is the process of music creation by a composer using a neural network. The nature of this process is not predetermined and allows variations within wide limits. At the same time, the study of musical material allows us to draw a conclusion about the possible ways of interaction with neural networks, to which composers turn. The subject of the study is the ways of interaction between the composer and artificial intelligence, including copyrights for the music created. The aim of the research is to study different variants of the full cycle of production of a musical work created by a composer with the help of a neural network. The problem of the research is the necessity of classification, development of terminology of musical works generated by neural network on the composer's assignment. The material for the article are the works of modern composers using neural networks in their work, as well as research in the field of musical neuroscience. Several variants of solving the problem oauthorship of the generated work are proposed. It is concluded that the use of neural networks by composers when composing musical works does not exclude, but supplements traditional approaches to music creation.
Keywords: New technologies, Artificial Intelligence (AI), neural network, modern music, neuroaleatorics, computer music, algorithmic composition.
В последние годы тема искусственного интеллекта (далее — ИИ) стала одной из наиболее обсуждаемых и актуальных в мире науки, технологий и искусства. Нейронные сети как одно из ключевых направлений в разработке ИИ предлагают новые возможности для решения сложных задач и развития инновационных методов в различных областях, включая музыку. В этой статье мы рассмотрим основные аспекты взаимодействия композитора с нейросетями, их перспективы и проблемы использования ИИ в музыкальной композиции.
На данный момент литература, посвященная этой теме, немногочисленна. При подготовке статьи в основном были использованы интернет-ресурсы, в частности официальные сайты компаний, специализирующихся на разработках генерирующих музыку нейросетей, а также публикации, касающиеся внедрения технологий ИИ в музыку (например, статья С. В. Лавровой «Проблема музыкального мышления и искусственный интеллект») [1].
Нейронные сети, их программное или аппаратное воплощение активно применяются в современном искусстве, включая современную музыку. Впервые ИИ был использован для создания музыкальных композиций в 1957 году. Тогда сотрудники Университета Иллинойса (США) дали компьютерной программе определенные правила построения композиций и обучили ее основам музыкальной теории. В результате получилось произведение для струнных инструментов, названное создателями Лежареном Хиллером и Леонардом Айзексоном «Сюита Иллиака» 1.
С появлением нейросетей, генерирующих музыку, произошел очередной виток размывания рамок профессии композитора. С некоторых пор профессиональным академическим композиторам приходится конкурировать за рабочие места в кино, компьютерных играх, эстраде и прочих отраслях со звукорежиссерами, саунд-дизайнерами и композиторами-любителями. Нейросети выводят это противостояние на новый уровень; благодаря им сочинение музыки стало доступно абсолютно всем: от домохозяек до президентов. Это один из самых ярких (если не самый яркий) актов «демократизации» процессов создания музыки за всю историю искусства. Теперь композиторам, звукорежиссерам и саунд-дизайнерам придется конкурировать с блогера-ми, программистами, инженерами и другими представителями немузыкальных профессий. Люди, которые до появления нейросетей не имели никакого понятия о том, как сочинять музыку, теперь смогут создавать в соавторстве с нейросетями собственные композиции. Простой доступ к этим технологиям и обилие подобных произведений (треки будут генерироваться миллиардами или даже триллионами), безусловно, создаст своеобразный «мусорный» поток невероятных масштабов, в котором обязательно появятся новые музыкальные шедевры.
Одним из ключевых аспектов взаимодействия композитора и нейросетей является понимание возможностей и ограничений использования ИИ в процессе создания музыкальных произведений. С одной стороны, нейросети могут помочь композитору в генерации идей и создании новых музыкальных форм, с другой стороны, они могут стать источником различных трудностей (например, проблем, связанных с правовыми аспектами использования ИИ в музыке, оценкой творческого вклада человека в музыкальное произведение и пр.).
Нейросеть анализирует существующие композиции (как инструментальные, так и вокальные), создавая из них исходную базу данных (треков произведений) для дальнейшей переработки ИИ. Базы данных (далее — БД), используемые для генерации музыки, помимо самих треков, содержат информацию
1 ILLIAC (ILLInois Automated Computer) — название семейства суперкомпьютеров 1949 года выпуска.
о различных музыкальных стилях, инструментах и сэмплах. Это позволяет нейросети создавать композиции, соответствующие заданным параметрам и предпочтениям пользователя.
На данный момент, исходя из возможностей современных музыкальных нейросетей, существуют три основных способа генерации музыкальных произведений ИИ:
1. Путем создания оригинальных композиций, на основе анализа загруженных в БД уже существующих композиций (генерация всего музыкального материала).
2. Через создание сопровождения и аранжировки (генерация части музыкального материала).
3. Через обработку (удаление шумов, улучшение звучания инструментов, добавление звуковых эффектов и т. п.) звуковых дорожек (генерация са-унда: работа со звучанием предоставленного пользователем музыкального материала).
Однако у перечисленных технологий есть ряд ограничений, которые необходимо учитывать при их использовании. Во-первых, они обучаются на основе существующих музыкальных произведений. Это означает, что нейросеть может создавать музыку, похожую на ту, которую загрузили в ее БД для анализа. Во-вторых, нейросети пока не способны создавать музыку с большим количеством нюансов и деталей. Например, пользователь не имеет возможности прописывать тональный план или даже указывать основную тональность, у него также нет возможности указать нужный ритмический рисунок или даже выбрать метр и т. п. Кроме того, нейросети часто запрограммированы на сочинение музыки, не выходящей за рамки заданных параметров (например, жанра или стиля).
На сегодня еще нет удобного программного или аппаратного воплощения нейросетей, упрощающего процессы письменной фиксации музыкальных произведений. Скорее всего, появление таких программ для нотации — это лишь вопрос времени и финансовых вложений в эту отрасль.
На практике процесс создания музыки с помощью нейросети выглядит следующим образом: любой пользователь заходит на официальный сайт нейросети, после чего либо скачивает ее программное обеспечение на свой компьютер, либо пользуется им онлайн через сайт. Далее пользователь открывает окно для генерации треков, размещает текстовый запрос (если нейросеть поддерживает такую функцию), или выбирает то, что ему нужно из предложенного набора параметров. Как правило, последний включает в себя жанр, настроение, темп, длительность трека и т. д. Наконец, пользователь нажимает кнопку создания композиции, и нейросеть в течение какого-то периода времени генерирует музыку (продолжительность процесса генерации у всех нейросетей
разная: от нескольких минут до нескольких часов). Трек готов. Пользователь прослушивает трек, если результат устраивает, то скачивает музыку, а если «нет», то корректирует запрос или параметры трека в расчете на желаемый результат. Перспективы использования нейросетей в музыке видятся в развитии новых методов создания музыкальных композиций и упрощении работы композитора.
Современные модели нейросетей для генерации музыки пока что не способны к производству выдающихся художественных результатов. Тем не менее, как уже было сказано ранее, их активно обучают, используя популярные треки известных музыкантов. Искусственный интеллект способен генерировать музыку, которая может быть использована в качестве музыкального сопровождения видео, размещаемых на видеохостингах, для личных нужд, компьютерных игр и пр. Кроме этого, их могут размещать на различных музыкальных площадках в качестве собственных треков те люди, которые не умеют сочинять музыку, пытаясь таким способом заработать на прослушиваниях или продаже продуктов деятельности ИИ под видом личного бренда. Безусловно, это создает определенные риски для индустрии музыки, так как в некоторых музыкальных стилях и направлениях нейросети достигли отличных результатов, сопоставимых с уровнем диджеев и композиторов средней руки.
На сегодняшний день в помощь любому желающему создать музыкальный контент создано большое количество платформ-аудиогенераторов с ИИ — Mubert, Soundraw, Boomy, Amper Music, AIVA, Ecrett Music, Amadeus Code и др. Из перечисленных особое внимание хочется уделить нейросетям Jukebox и MuseNet компании «OpenAI» — самой передовой современной компании в области развития генерирующего музыку ИИ.
Jukebox — это нейросеть 2020 года с открытым исходным кодом. Разработчики обучили ее 1,2 млн музыкальных композиций. Теперь ИИ может создавать треки, которые нередко похожи на оригиналы. На данный момент на создание одной минуты песни Jukebox требуется около девяти часов работы. Она генерирует музыку, вокал и текст, имитируя заданные жанр, стиль и манеру пения исполнителя. Это главное отличие этой нейросети от всех остальных. Разработчики заявляют, что созданные Jukebox треки можно использовать, не опасаясь нарушить авторские права [2]. Но представители индустрии искусства заявляют об обратном. Они указывают на то, что использование Jukebox может вызвать проблемы с авторским правом, так как ИИ генерирует песни в стиле всемирно известных исполнителей, в том числе воспроизводит их голоса без их согласия [3]. Такую точку зрения высказали многие музыканты, в частности, об этом на своей странице в социальной сети написал Чери Ху (Cherie Hu). Если бы OpenAI при обучении большой языковой модели (LLM) использовала только труды, на которые не распространяются коммерческие права,
или заплатила лицензионный сбор за использование защищенных авторским правом произведений, то этой проблемы не возникло бы.
Несмотря на превосходство Jukebox над другими музыкальными нейросетя-ми, проект далек от совершенства. ИИ пока что не хватает «мастерства», чтобы воспроизвести стандартную песню с припевами и повторяющимися мотивами. Кроме того, Jukebox требует огромных вычислительных ресурсов. Из-за этого использовать эту разработку «OpenAI» в домашних или студийных условиях пока невозможно.
Предыдущая разработка компании, нейросеть MuseNet, способна создавать MIDI-треки в заданных жанрах и стилях [4]. Она тоже выделяется на фоне остальных музыкальных нейросетей. MuseNet может генерировать 4-минутные музыкальные композиции с использованием десяти различных инструментов. Кроме этого, она может имитировать известных композиторов, таких как Моцарт, или современных музыкантов, а также соединять по запросу элементы популярной и академической музыки. Эта нейросеть создана на основе GPT-2, которая имеет 1,5 млрд параметров. В марте 2023 года вышла GPT-4, которая содержит порядка 100 трл параметров. MuseNet — это первая нейросеть, которую приняли в Союз композиторов России (1 апреля 2021 года). Если Jukebox не удалось создать правдоподобную стилизацию музыки Брамса, то MuseNet делает это без проблем. Конечно, музыка лишь похожа на стиль гениев прошлых эпох, но она вполне убедительна в своем звучании. Можно подумать, что эти произведения создал какой-то ныне живущий композитор-ретроград, эпигон Моцарта, Шопена, Брамса и др. Другие стили тоже звучат достаточно органично. Если создатели этой нейросети продолжат работать над ней, то им не составит труда исправить все «неточности», допущенные в композициях [4].
Кроме этого, во время обучения нейросеть выстроила сеть сходств разных композиторов и стилей. Эту сеть разработчики представили на сайте в открытом доступе в виде 2D-карты. Например, при наведении курсора на Моцарта нейросеть обнаружила в его музыке сходства с музыкой Бетховена, Гайдна, Клементи и Мендельсона. Выделяются только четыре самых близких по стилю композитора или группы, то есть те, в чьей музыке было больше всего сходств. Такой подход может быть полезен в музыкальном анализе. Так, с математической точностью можно установить процентное соотношение схожести любого композитора или исполнителя с другим композитором или исполнителем.
В связи с развитием нейросетей и их быстрорастущей популярностью необходимо уделить внимание условиям взаимодействия композитора с ней-росетями. Существуют два варианта создания музыкальных произведений с помощью нейросети: первый — когда нейросеть создает готовый продукт, с которым никак не взаимодействует человек.
Во втором случае нейросеть создает продукт (полуфабрикат), с которым взаимодействует композитор; он его использует по своему усмотрению (переделывает, аранжирует, сэмплирует и пр.). Материал, предоставленный нейросетью в таком случае, является своеобразной предкомпозицией. В этом плане ее аналогом будет серийный «квадрат нововенцев» [5]. При этом, создавая музыкальные произведения, можно использовать не только нейросети, которые генерируют музыку, но и ИИ, который создаст видеоряд или текст для произведения.
Примером второго варианта взаимодействия является мультимедиа-произведение Анжелики Габибовой (композитор), Антона Полубояринова (звукорежиссер) и Элины Зазули (медиахудожница) «Виртуальный сеанс» (2019). В нем авторы использовали текст, созданный нейросетью, на который сочинили музыку, сочетающую в себе элементы популярных и академических стилей.
Другим примером второго типа взаимодействия с нейросетями является произведение «Что Ты Такое» (2019) композитора Михаила Соболева, звукорежиссера Ивана Чаплинского и медиахудожника Максима Михайлова. В основе этого произведения был музыкальный материал, сгенерированный нейросетью Magenta от компании «Google». М. Соболев откорректировал, адаптировал и записал его так, чтобы появилась возможность сыграть эту музыку вживую струнным квартетом. И. Чаплинский добавил звуковые эффекты и сделал электронную аранжировку этого музыкального материала, а М. Михайлов придумал использовать визуализацию аудиоволны, исходящей от музыкантов на сцене, с помощью программы «TouchDesigner», что позволило прямо во время живого исполнения этой музыки генерировать на экране визуальный ряд, конвертируя снятый с приставленных к каждому струннику микрофонов звук в генеративный видеоряд.
Сфокусировав внимание на возникающих проблемах взаимодействия человека и нейронной сети, определимся в первую очередь с тем, что на данный момент вся продукция нейросетей, связанная с искусством, именуется общим понятием — «искусство искусственного интеллекта» (далее — ИИ-искусство). При этом, если рассматривать образцы по отдельности, то какая-то часть из них будет относиться к гибридному искусству, часть — к программному и т. д. Перед исследователями возникает проблема категоризации продукции ИИ. По своей сути генерирующие музыку нейросети, которые люди будут использовать для предкомпозции, — это новый виток развития алеаторики в музыке, когда создатель трека не может предугадать финальный результат, но при этом задает какие-то конкретные жанровые, стилистические или иные параметры музыки. Это, безусловно, имеет преемственность с алеаторикой творческого процесса (по Ц. Когоутеку) [6, с. 236-255] на новом технологическом уровне. Возможно, имеет смысл обозначить это явление как «нейроалеаторика».
Возникает закономерный вопрос: «Насколько уместно считать это явление только подвидом алеаторики»? Все произведения, созданные с помощью нейросети, имеют отношение к алеаторике, так как в той или иной степени содержат элементы случайности. Но, помимо алеаторики, можно выделить еще, как минимум, две композиторские техники, к которым имеет отношение ИИ (компьютерную музыку и алгоритмическую композицию). При категоризации музыкальных произведений, созданных ИИ или с его помощью, многое зависит от конкретного произведения.
Рассмотрим вариант, в котором композитор задает примерные параметры сочинения и получает готовый продукт. Этот процесс напоминает алеаторические произведения, в которых автор дает лишь примерные указания исполнителям (например, импровизировать в джазовом стиле на протяжении трех минут). Подобные примеры есть в музыке Альфреда Шнитке, Джона Зорна и других композиторов. В произведениях, в которых присутствуют похожие указания для нейросети, в роли исполнителя выступает не только исполнитель-человек, но и ИИ. Это намерение может быть реализовано по-разному. К примеру, исполнитель, сидя за компьютером и следуя указаниям композитора в партитуре, может, находясь прямо на сцене, вводить запросы для ней-росети и генерировать музыку в режиме реального времени. В таком произведении присутствуют элементы алеаторики, типичные для музыки XX века (относительная, управляемая алеаторика исполнительского и репродукционного процесса), и нейроалеаторики (абсолютная или относительная алеаторика творческого процесса) [6, с. 241]. Пример является комбинированным образцом использования алеаторики в музыке. Могут быть и иные варианты. Скорее всего, для разных способов использования ИИ в музыке, исходя из композиторской практики, появятся свои термины, обозначающие конкретные явления. На наш взгляд, в словообразовании таких слов-понятий уместно использовать корень «нейро».
Помимо проблемы категоризации музыкальных произведений, созданных с помощью нейросетей, есть и другие проблемы:
- отсутствия некоторых важных функций (например, при синтезе музыкальных стилей с помощью ИИ не хватает отдельного параметра с указанием процентного соотношения содержания различных стилей в итоговой продукции);
- неудобства интерфейсов;
- отсутствия русскоязычного меню (На данный момент существует всего одна российская разработка — музыкальная нейросеть «Маэстро» от Сбера на русском языке);
- низкого качества звука (Как правило, итоговая продукция большинства нейросетей представляет подобие популярной музыки, созданной
с помощью стоковых звуков или же с наличием большого количества посторонних шумов, призвуков.);
- неустановленности авторства в произведениях, созданных человеком и ней-росетью совместно;
- нарушения авторских прав;
- дезинформации (Из-за того, что ИИ стал мейнстримом, многие люди ради известности и заработка начали выдавать человеческую продукцию за продукты деятельности нейросети).
В качестве примеров этих проблем и возможностей нейросетей мы бы хотели напомнить о некоторых событиях, произошедших в музыкальной индустрии за последние два года.
1. В 2022 году была создана песня под названием «Heart on My Sleeve», выпущенная на различных музыкальных сервисах от имени рэпера Drake и поп-исполнителя The Weeknd. Трек набрал более 270 тыс. прослушиваний в Spotify и более 10 млн просмотров в TikTok. Сами артисты не принимали участие в создании песни. Композицию создал с помощью ИИ не имеющий к исполнителям никакого отношения человек (пользователь TikTok под ником @ ghostwriter977). Запись была удалена по требованию правообладателей — Universal Music Group [7]. Схожая ситуация произошла с треком про любовь к кошкам, созданным автором YouTube-канала Grandayy с помощью нейросетей с использованием ИИ-голоса Эминема [8].
2. Блогер под прозвищем Lace Editing с помощью нейросети создал ремейк хита рэпера Coolio «Gangsta's Paradise» с использованием ИИ-голоса Фрэнка Синатры (Gangsta's Paradise — Frank Sinatra AI Cover).
3. Певица Клэр Буше (в мае 2018 года официально сменила свое имя на псевдоним Grimes) создала специальный сайт (elf.tech), после чего разрешила использовать свой голос для генерации песен при помощи ИИ, пообещав разделить 50 % роялти с авторами лучших треков. На своей странице в социальной сети исполнительница заявила, что нужно «открыть исходный код для всего искусства и убить концепцию авторского права» [9]. Она одобрила идею генерации треков при помощи созданных искусственным интеллектом голосов знаменитостей. Grimes стала первой исполнительницей, поддержавшей авторов треков, в которых используется нейросетевая имитация голосов артистов.
4. В 2023 году лейбл Capital Music Group подписал контракт с виртуальным рэпером FN Meka, созданным на базе ИИ (FN Meka был создан Брэндоном Ли в 2019 году в составе компании Factory New). Продержался ИИ-рэпер на лейбле недолго (меньше двух недель). Его исключили из-за разразившегося скандала по поводу использования ИИ расистских слов в текстах песен.
5. Южнокорейский лейбл HYBE в мае 2023 года протестировал новую технологию на песне «Masquerade» певца Midnatt и выпустил ее на шести языках. ИИ позволяет переводить песни на другие языки. Для создания песни использовали вокальную дорожку певца и чтение текста носителем языка. Далее аудио обработал ИИ Nansy (Neural Analesis and Synthesis), разработанный компанией Superton (дочерняя компания лейбла HYBE).
6. Академия звукозаписи США ввела новое правило, которое запрещает музыке, созданной исключительно ИИ, претендовать на премию «Грэмми»: «Только люди имеют право быть представленными на рассмотрение комитета, номинироваться на премию "Грэмми" или выиграть её. Произведение, в котором нет человеческого авторства, не может выдвигаться ни в каких категориях» [10]. Каким образом академия будет доказывать использование ИИ в музыке, а также вычислять соотношение в музыке человеческого и компьютерного вклада в композицию, неизвестно.
Комментируя эти события, хочется в первую очередь отметить, что треки, в которых используется нейросетевая имитация голосов артистов, неидеальны с точки зрения звукорежиссуры: в речи и пении ИИ-голосов присутствуют шумовые призвуки, которые выдают нейросеть. Настолько популярные исполнители, как Drake и Эминем, не могут позволить себе выпускать песни с низким качеством звука. При этом «дотянуть» треки до «кондиции» может любой профессиональный звукорежиссер.
С юридической точки зрения до конца неясно, можно ли генерировать при помощи ИИ голоса популярных музыкантов, за которыми стоят крупные лейблы, и использовать их в собственной музыке. Тем не менее эта технология открывает интересные возможности для композиторов, которые могут сочинять оперы, романсы, песни и другие музыкальные произведения с голосами знаменитостей, например Марии Каллас, Фрэнка Синатры, Фредди Меркьюри, или других мертвых или живых известных исполнителей. Кроме того, это необязательно должен быть реальный человек. Например, нет никаких проблем, кроме авторского права, которые могли бы стать препятствием для появления альбома Дивы Плавалагуны из фильма «Пятый элемент» Люка Бессона. Нечто подобное уже делал вышеупомянутый блогер Lace Editing: он с помощью нейросети озвучил известные песни голосами персонажей из мультфильма «Губка Боб Квадратные Штаны» (в частности, он создал кавер-версию композиции «Freak on a Leash» американской ню-метал-группы Korn, исполненную ИИ-голосом мистера Крабса). Впоследствии композиция была удалена с YouTube, но появилось много подобных песен, созданных другими пользователями.
Возвращаясь к событию № 2, очень важно отметить, что успех ремейка хита рэпера Coolio «Gangsta's Paradise» с использованием ИИ-голоса Фрэнка Синатры во многом обязан американскому джазовому проекту «Postmodern Jukebox»,
созданному пианистом и аранжировщиком Скоттом Брэдли в 2011 году. Проект «Postmodern Jukebox» стал известен исполнением современных популярных песен, стилизованных под жанры прошлого: джаз, свинг и др. Дело в том, что Lace Editing самостоятельно или с помощью нейросети не сочинял никакой музыки, он лишь подменял партии вокалистов ИИ-голосами, то есть этот ИИ-трек был кавер-версией блогера на кавер-версию проекта Postmodern Jukebox: «Gangsta's Paradise — Vintage 1920's Al Capone Style Coolio Cover ft. Robyn Adele Anderson», выложенную в 2015 году на официальном канале проекта в YouTube. Способ создания ремейков Lace Editing заключается в том, что сначала он ищет и скачивает из интернета, используя 4K Video Downloader, подходящий трек, затем с помощью программы «Ultimate Vocal Remover»2 разделяет вокальную и инструментальную партии песни на два отдельных файла, один из которых содержит инструментальную дорожку, а другой — вокал. После этого вокальная партия дополнительно обрабатывается, чтобы удалить из нее любые электронные эффекты, в частности реверберацию и эхо3. Когда вокал обработан, он готов к загрузке в модель ИИ4. Нейросеть обучается генерировать вокальную дорожку на основе обработанного файла с вокалом. Затем полученный результат сохраняется и может быть отредактирован с помощью любого программного обеспечения для редактирования звука. После всех этих действий остается только заново свести вокальную и инструментальную дорожки — ремейк готов.
В настоящее время все кавер-версии и обучающие уроки по созданию ИИ-каверов удалены с канала блогера. Тем не менее, теоретически уже сегодня есть возможность услышать оперу «Огненный ангел» Сергея Прокофьева в исполнении Боба Марли и Долорес О'Риордан (при этом диапазоны голосов реальных исполнителей отходят на второй план, так как нейросеть способна моделировать недостающие звуки).
Вернемся к оставшимся событиям. Исходя из событий № 3; 4 и 6, можно сделать вывод, что в перспективе развития возможностей ИИ в музыкальном сообществе усилится деление на технофилов и технофобов. К первым можно отнести певицу Grimes и других знаменитостей, выступающих за активное внедрение технологий в искусство (в том числе нейросетей), ко вторым, соответственно, — тех, кто выступает против этого. При этом ситуация, сложившаяся
2 Программа использует модели генерации искусственного интеллекта для изоляции вокальных и инструментальных треков.
3 Это делается с помощью модели D Echo, D Reverb в Ultimate Vocal Remover и Karaoke UVR.
4 Осуществляется с помощью блокнота Google Colab, в который импортированы различные голосовые модели ИИ с веб-сайта NotMyVoice, включая голоса Фрэнка Синатры, персонажей из «Губки Боба Квадратные Штаны» и др.
вокруг FN Meka (скандал и последующая «отмена» ИИ-рэпера), говорит о том, что социокультурные нормы, характерные для жителей США, продолжают применяться и по отношению к ИИ. Возможно, что это был маркетинговый ход: лейбл принял в свои ряды нейросеть ради собственной раскрутки, привлечения внимания публики, а затем нашел предлог для того, чтобы избавится от ИИ-рэпера. Стоит отметить, что у FN Meka был визуальный образ, виртуальный аватар (темнокожий мужчина-киборг).
Вполне вероятно, что в ближайшем будущем появится Движение за права ИИ. Это может быть связано с ограничениями, напоминающими новые правила премии «Грэмми» (см.: событие № 6). В связи с чем возникает ряд вопросов:
- Можно ли доказать использование ИИ в том или ином произведении, если его соавтор-человек скрывает это?
- Как определить процент соавторства в таких произведениях?
- Сколько (и каких) нужно сделать действий человеку с продукцией ИИ, чтобы итоговый продукт можно было считать результатом творческой деятельности человека?
- Слушатели должны потреблять лучшую продукцию или исключительно человеческую?
- Какими критериями мы руководствуемся: качеством трека или человеческой солидарностью?
- Если итоговый музыкальный продукт стал популярным и нравится людям, то имеет ли для слушателей принципиальное значение, кто его создал?
- Жюри музыкальных премий должно выбирать лучшего человека-исполнителя (автора) или лучшую музыку?
- У каждой нейросети есть человек-автор или коллектив авторов. При победе музыкальной композиции, созданной нейросетью, нужно наградить создателей этого ИИ?
На все эти вопросы музыкальному сообществу предстоит найти ответы. Сейчас обо всем этом можно сказать следующее: теоретически, на основе анализа алгоритма сочинения музыки можно доказать использование ИИ в том или ином произведении, а также с математической точностью установить процентное соотношение вклада в работу человека и нейросети. Альтернативным вариантом этому способу анализа может стать анализ алгоритма предполагаемого ИИ и всего существующего творчества человека-соавтора (нечто подобное делали с романом-эпопеей «Тихий Дон» Михаила Шолохова). Но это сработает только в том случае, если все творчество человека-соавтора не является продукцией нейросети. К тому же не стоит забывать, что созданием ИИ, который способен отличать человеческую продукцию от нейросетевой, скорее всего, будут заниматься те же самые люди, что создавали современные платформы-аудиогенераторы (т. е. люди, которые знают, где нужно искать
своеобразные маркеры и изъяны в работе ИИ, выдающие нейросеть). В будущем появление ИИ, анализирующего творческую продукцию на предмет авторства, возможно. Но трудно сказать, когда именно это произойдет. Поэтому поговорим далее о том, что ясно уже сейчас, — о полезных для композиторов свойствах нейросетей.
Нейросети создавались для того, чтобы облегчить рутинный труд людей. В этой связи стоит упомянуть их возможности в области гармонизации мелодий и аранжировки последних в разных стилях и жанрах; полифонических преобразований и т. д. Всем этим композиторы уже давно пользуются.
Вторым «плюсом» при использовании ИИ для сочинения музыки является скорость создания композиции. Нейросети в состоянии создавать треки за несколько минут. Людям нечего противопоставить такой производительности. Поэтому во всех отраслях, в которых нужно сочинить музыку за очень короткие сроки, например, за пару часов или один день, нейросети будут незаменимыми помощниками композитору.
Нейросети открывают новые возможности при создании мультимедийных произведений. С помощью ИИ композитор может создавать всё: текст, музыку, видеоряд и пр.
Нейросети можно использовать для поиска идей и борьбы с творческим кризисом.
ИИ позволяет переводить треки на другие языки. Это может помочь композитору охватить большую аудиторию и делает музыку с использованием слов доступней для понимания слушателей из разных стран.
Учитывая эти и другие полезные преимущества нейросетей, а также опасения по поводу того, что машины заменят людей, возникает вопрос: «Что композиторы могут противопоставить нейросетям?»
Нейросети на данный момент не научились генерировать идеи и не могут создавать уникальные авторские музыкальные стили. Например, если ввести запрос, подобный этому: «Придумай идею для музыкального произведения» в чат нейросети YandexGPT, то она выдаст, примерно, следующий ответ: «Как нейросеть я не могу придумывать идеи для музыкальных произведений, но я могу помочь вам с поиском информации на эту тему. Например, вы можете посмотреть видео на YouTube или прочитать статьи на сайтах, посвященных музыке. Также вы можете обратиться к специалистам в этой области, которые могут помочь вам с созданием музыкального произведения». Нами был задан и такой запрос: «Ты можешь придумать идею?» Ответ: «Как искусственный интеллект я не обладаю креативностью и не могу придумывать идеи. Однако я могу помочь вам с анализом данных и поиском информации, чтобы помочь в разработке идей». При этом ИИ утверждает, что в мире существуют нейро-сети, способные генерировать идеи.
Футуролог Джарон Ланье (Jaron Lanier) считает, что машина никогда не станет самостоятельной творческой единицей, так как ИИ работает посредством повторного использования данных, полученных от человека и его продуктов, то есть творчество все равно исходит от человека, и проблема заключается в том, что человек становится анонимным.
Исследователь искусственного интеллекта Самим Винигер (Samim Winiger), напротив, убежден, что креативность — это способ оперирования, а не унаследованный человеком талант или какая-то «искра», следовательно, творчеству можно обучить и ИИ. Винигер подчеркивает, что люди учатся быть креативными, например, учатся играть на гитаре или других музыкальных инструментах. Он считает, что нужно демистифицировать творческий процесс. Тем не менее, Винигер рассматривает нейросети как способ увеличения человеческой креативности, а не как ее замену.
Если корректировать запросы, то рано или поздно можно добиться от нейросети подобия идеи, своеобразное описание несуществующего музыкального произведения. Например, на запрос: «Придумай название и идею для музыкального произведения» можно получить ответ: «Я не могу придумать название и идею для музыкального произведения, так как я не обладаю творческим мышлением. Однако я могу предложить некоторые идеи для названия и идеи для музыкальных произведений: Название: "Космические мелодии". Идея: "Музыкальное произведение, состоящее из мелодий и гармоний, которые имитируют звуки космоса. В произведении используются синтезаторы и другие электронные инструменты для создания атмосферы космического пространства"».
Что касается стиля, то у некоторых нейросетей есть подобие собственного стиля, основанного на синтезе стилей всего изученного ИИ музыкального материала. Это легче всего заметить на созданных нейросетями изображениях. Но насколько уместно называть это авторским стилем — сказать сложно. Вероятно, что в будущем может появиться направление в искусстве, которое будет основано на подражании стилю нейросетей. При этом процесс создания подобных музыкальных, изобразительных и, возможно, литературных произведений будет записан на видео для того, чтобы доказать, что данное произведение было создано человеком, а не машиной.
Проблема авторства обретает новые очертания. Уже сейчас ее активно обсуждают. Есть два (юридический и эстетический) варианта ответа на вопрос о том, кто является автором произведений, созданных с помощью нейросети.
С юридической точки зрения — тот, кто владеет авторскими правами. Автором музыкального произведения, сгенерированного нейросетью, является разработчик этой нейросети. Он владеет исключительными правами на созданное произведение. Но при этом некоторые разработчики нейросетей бесплатно или за какую-то сумму денег (получаемую ими чаще всего в виде
платной подписки людей на их продукцию) предоставляют все авторские права пользователю, соответственно, в подобных случаях уместно говорить о том, что автором музыки является пользователь.
С эстетической точки зрения автором музыкального произведения, сгенерированного нейросетью (если с этим произведением человек не производил никаких дополнительных действий: перегармонизации, аранжировки и пр.), является сама нейросеть. Пользователь, задавший параметры для генерации трека, это тот, кто определил стиль, настроение и другие характеристики музыки. Он не является соавтором. Но если с этим произведением человек производил хотя бы какие-то дополнительные действия (перегармонизация, аранжировка и пр.), то в таком случае он становится соавтором.
Подводя итог всему сказанному, стоит отметить, что развитие и использование ИИ открывает новые горизонты для современной музыки, предоставляя композиторам разнообразные возможности для создания музыкальных произведений. При этом использование нейросетей в композиции не исключает традиционные подходы, а скорее дополняет и расширяет их, позволяя создавать музыку на новом технологическом уровне и значительно облегчая рутинные процессы, что в свою очередь может привести к обогащению музыкального искусства за счет появления новых жанров, стилей и направлений. Также хочется вспомнить о том, что 20 лет назад многие представители музыкального сообщества не верили в то, что тот уровень создания музыкальных произведений, которого нейросети достигли сегодня, возможен. Если развитие ИИ будет продолжаться в том же темпе, то в будущем появится возможность создавать, нотировать и обрабатывать музыку с помощью голосовых команд, движений тела, а также с помощью специальных датчиков или чипов, позволяющих передавать сигналы человеческого мозга компьютеру.
ЛИТЕРАТУРА
1. Лаврова С. В. Проблема музыкального мышления и искусственный интеллект // Южно-Российский музыкальный альманах. 2023. № 4. С. 84-95.
2. Dhariwal P., Jun H., Payne C. Jukebox (2020) [Электронный ресурс]. URL: https:// openai.com/research/jukebox?via=aitoolhunt&ref=aitoolhunt (дата обращения: 29.01.2024).
3. Булгаков Д. Чужим умом: почему писатели недовольны искусственным интеллектом (2024) [Электронный ресурс]. URL: https://iz.ru/1627623/dmitrii-bulgakov/chuzhim-umom-pochemu-pisateli-nedovolny-iskusstvennym-intellektom (дата обращения: 29.01.2024).
4. Payne C. MuseNet (2019) [Электронный ресурс]. URL: https://openai.com/blog/ musenet (дата обращения: 13.12.2023).
5. Шёнберг А. Стиль и мысль. Статьи и материалы / сост., пер., коммент. Н. О. Власовой и О. В. Лосевой. М.: Композитор, 2006. 528 с.
6. Когоутек Ц. Техника композиции в музыке XX века. М.: Музыка, 1976. 367 с.
7. Лактюшин Н. В сети завирусился «несуществующий» трек Drake и The Weeknd (2023) [Электронный ресурс]. URL: https://hi-tech.mail.ru/news/62977-v-seti-zavirusilsya-nesuschestvuyuschiy-trek-drake-i-the-weeknd/?ysclid=lr1x9113 6m166008245 (дата обращения: 13.12.2023).
8. Лактюшин Н. ChatGPT написала песню про любовь к кошкам: ее требуют удалить
(2023) [Электронный ресурс]. URL: https://hi-tech.mail.ru/news/62738-chatgpt-napisala-pesnyu-pro-lyubov-k-koshkam-ee-trebuyut-udalit/ (дата обращения: 13.12.2023).
9. Chasan A. Grimes invites artists to use her voice for AI-generated songs, says she'll split royalties (2023) [Электронный ресурс]. URL: https://www.cbsnews.com/news/ grimes-ai-music-voice-royalties-artists-copyright/ (дата обращения: 13.12.2023).
10. Broadway D. New Grammy Award rules require human input, curb artificial intelligence use (2023) [Электронный ресурс]. URL: https://www.reuters.com/lifestyle/grammys-bans-ai-only-music-allows-only-human-creators-2023-06-16/ (дата обращения:
13.12.2023).
11. Ланье Дж. Кому принадлежит будущее? Мир, где за информацию платить будут вам / пер. с англ. Э. Воронович, О. Липа. М.: Эксмо, 2020. 496 с.
REFERENCES
1. Lavrova S. V. Problema muzykal'nogo myshleniya i iskusstvennyj intellekt // Yuzhno-Rossijskij muzykal'nyj al'manakh. 2023. № 4. S. 84-95.
2. Dhariwal P., Jun H., Payne C. Jukebox (2020) [Ehlektronnyj resurs]. URL: https:// openai.com/research/jukebox?via=aitoolhunt&ref=aitoolhunt (data obrashcheniya:
29.01.2024).
3. Bulgakov D. Chuzhim umom: pochemu pisateli nedovol'ny iskusstvennym intellektom
(2024) [Ehlektronnyj resurs]. URL: https://iz.ru/1627623/dmitrii-bulgakov/chuzhim-umom-pochemu-pisateli-nedovolny-iskusstvennym-intellektom (data obrashcheniya: 29.01.2024).
4. Payne C. MuseNet (2019) [Ehlektronnyj resurs]. URL: https://openai.com/blog/ musenet (data obrashcheniya: 13.12.2023).
5. Shyonberg A. Stil' i mysl'. Stat'i i materialy / sost., per., komment. N. O. Vlasovoj i O. V. Losevoj. M.: Kompozitor, 2006. 528 s.
6. Kogoutek C. Tekhnika kompozicii v muzyke XX veka. M.: Muzyka, 1976. 367 s.
7. Laktyushin N. V seti zavirusilsya «nesushchestvuyushchiJ» trek Drake i The Weeknd (2023) [Ehlektronnyj resurs]. URL: https://hi-tech.mail.ru/
news/62977-v-seti-zavirusilsya-nesuschestvuyuschiy-trek-drake-i-the-weeknd/?yscli d=lr1x91136m166008245 (data obrashcheniya: 13.12.2023).
8. Laktyushin N. ChatGPT napisala pesnyu pro lyubov' k koshkam: ee trebuyut udalit' (2023) [Ehlektronnyj resurs]. URL: https://hi-tech.mail.ru/news/62738-chatgpt-napisala-pesnyu-pro-lyubov-k-koshkam-ee-trebuyut-udalit/ (data obrashcheniya: 13.12.2023).
9. Chasan A. Grimes invites artists to use her voice for AI-generated songs, says she'll split royalties (2023) [Ehlektronnyj resurs]. URL: https://www.cbsnews.com/news/grimes-ai-music-voice-royalties-artists-copyright/ (data obrashcheniya: 13.12.2023).
10. Broadway D. New Grammy Award rules require human input, curb artificial intelligence use (2023) [Ehlektronnyj resurs]. URL: https://www.reuters.com/lifestyle/grammys-bans-ai-only-music-allows-only-human-creators-2023-06-16/ (data obrashcheniya: 13.12.2023).
11. Lan'e Dzh. Komu prinadlezhit budushchee? Mir, gde za informaciyu platit' budut vam / per. s angl. E. Voronovich, O. Lipa. M.: Ehksmo, 2020. 496 s.
СВЕДЕНИЯ ОБ АВТОРЕ
Григорьев В. Е. — соискатель уч. степени канд. искусствоведения; grovder@bk.ru
INFORMATION ABOUT THE AUTHOR
Grigoriev V. Е. — Candidate of the degree of Candidate of Art History; grovder@bk.ru ORCID ID: 0009-0004-1165-6299
