CC BY
7
УДК 004; 303.732
DOI: 10.24412/2071-6168-2023-9-184-185
ПЕРСПЕКТИВЫ РАЗВИТИЯ И ПРОБЛЕМЫ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА В СФЕРАХ ГЕНЕРАЦИИ КОНТЕНТА, ВЗАИМОДЕЙСТВИИ С ЧЕЛОВЕКОМ И АВТОРСКИМ ПРАВОМ
Б.С. Яковлев, М.Ю. Шамрин, Хасан Хунар Амеен
Проанализированы нейронные сети, создающие различные типы контента, выявлены основные направления и тенденции в их развитии, а также проблемные зоны в реализации технологий и взаимоотношениях с человеческой деятельностью. На примерах показаны сферы применения нейронных сетей и их результаты работы. Даны общие выводы по результатам исследований.
Ключевые слова: искусственный интеллект, генерационные системы, «текст в речь», генерация данных, TTS, image AI, sound AI.
В современных условиях, когда цифровые технологии стали неотъемлемой частью нашей повседневной жизни, синтез любого типа контента с использованием нейронных сетей стал явлением, которое меняет способы, которыми мы воспринимаем и создаем информацию. Эта технология открывает перед нами бесконечные возможности в сферах компьютерного зрения [1], обработки текста и синтеза речи [2]. Нейронные сети стали не просто инструментом для обработки данных, но и мощным средством для творческого синтеза различных типов контента, обогащая наше восприятие и взаимодействие с миром.
В данной статье мы сосредотачиваем внимание на двух ключевых аспектах этой фундаментальной проблемы: синтезе разнообразного контента нейронными сетями и его применении в области синтеза речи.
Синтез контента с использованием нейронных сетей представляет собой сложный процесс, который включает в себя анализ больших объемов данных, изучение структуры и стиля контента, и последующее создание нового, несуществующего контента на основе полученных знаний, то есть обученности модели нейронной сети.
Нейронные сети, на сегодняшний день имеют применение практически во всех отраслях человеческой деятельности. До 2022 года нейронные сети не могли похвастаться какими-либо значимыми достижениями. По сути люди воспринимали их творчество или деятельность, как некую игру, которая никогда не достигнет уровня творчества человека.
И это действительно было оправдано, так как ни в одном из видов контента или задаче нейронная сеть по сути не умела делать ничего вразумительного.
Нейронные сети, обрабатывающие текстовую информацию могли лишь реагировать на ключевые слова в предложениях, а значит они не понимали полностью речь и естественно из-за этого они не могли развёрнуто ответить на вопрос. Это были примитивные программы, которые могли на выбор дать ряд заранее заготовленных ответов, но сами при этом не могли строить сложные фразы, мысли. Они также могли повторить текст, похожий на тот на котором они обучались, но текст при этом не имел никакого смысла и не был читаемым, осмысленным.
Компьютерные программы, которые работали с графикой, также не имели больших успехов в создании контента по описанию. Адекватные модели стали появляться лишь в 2015 году, когда появилось ряд программ, имитирующих тип изображения - фотографию, акварельную живопись, абстракцию. Чаще всего же подобные программы могли объединять два изображения в одно, при этом первое давало форму, а второе текстуру и насыщение.
Несколько лучше результат был в генерации музыки и человеческой речи. Однако, оговоримся сразу, что технология преобразования текста в речь в реализации воспроизведения голоса всегда обладала проблемной зоной -интонацией, а также неправильным ударением в словах, несогласованности слов. Несмотря на это проекты типа «Digalo 2000 Russian» для русского сегмента разработчиков и пользователей сделали очень много и повлияли на всё, включая юмор и общество. Фактически каждый в данный момент времени слышал озвучку текста при помощи данного синтезатора речи диктором «Николай» (рис. 1).
¿ir. Govorilka
Правка Управление Инструменты Справка
Гл.
|Digalo R
f JJ f |И Идспсян...* Щ f Ф pt
Скорость: [~)_
Высота: | |_
Громкость: _
J 70
J "I
□ IGOpJ
Govorilka
Spaafciin ScJtMiie © Ryszarov A,; 2
¡7 Подсветка Слежение
Рис. 1. Интерфейс программы «ОохопШа»
Музыка, особенно электронная, генерировалась в целом неплохо. Были работы, написанные на совсем ранних аппаратных устройствах - заставка, преобразованная в 70-х годах к сериалу «Доктор кто». Она была написана задолго до этого года композиторами, людьми, но дошла она до нас именно в аранжировке, полученных синтезаторами, в частности при помощи модельных синтезаторов (рис. 2).
184
Рис. 2. Ранние модульные синтезатора звука
б
Рис. 3. Современные варианты модульных синтезаторов: а - наборы модульных синтезаторов;
б - Arturia RackBrute 6U & 3U Bundle
185
Модельные синтезаторы обычно состоят из трёх важнейших элементов: модуль получения первичного сигнала (может быть любой сигнал - синусоида, хаотичность); различные модули, влияющие на полученный первыми молями сигнал (растягивающие длину волны, сжимающие, увеличивающие амплитуду сигналов и т.д.);
микшер (фактически пульт, объединяющий линии связи модулей в один сигнал).
Данных подход в написании музыки не только не заменился на современный, но и перешел в чисто цифровой вариант - в виде программ, получающих музыку и звуки в стиле эмуляции этих модулей (рис. 4). Даже внешне модули и подход их соединения, расстановки похожи на реальные звуковые стойки и приборы в них.
Рис. 4. Одна из наиболее популярных программ по синтезу звука VCVRack
В течение 2-х последних лет всё сильно изменилось. Ранее описанные технологии были примитивны и фактически базировались на переработке уже написанных текстов и музыки человеком. Сейчас же нейронные сети стали значительно лучше и это повлияло на создание контента. Особенно в тех областях, в которых нейронные сети получили возможность запускаться и работать на оборудовании пользователей.
Фактически в статье мы не можем продемонстрировать музыку, фильмы или большие тексты, и диалоги, созданные при помощи нейронных сетей, но один тип контента показать возможно - это графика. Легче всего продемонстрировать результат, которого достигли нейронные сети генерирующие картинки (рис. 5, 6).
Рис. 5. Работы Midjourney
Рис. 6. Работы нейронной сети Kandinsky 2.2
Обе описанные выше нейронные сети работают исключительно на серверах и программном коде разработчиков. Однако, появились и аналоги, которые устанавливаются на персональных компьютерах пользователей, самая знаменитая из которых - Stable Diffusion. Она отстает по качеству работ от представленных выше (рис. 7), но меж тем годится для задач в оформлении своих проектов.
Картинки, созданные при помощи нейронных сетей, стали очень разнообразны, с их помощью можно производить оформление любых своих проектов. В частности, как пример можно привести нашу работу - кадр из видео, созданный в 3D редакторе. Декор - верхняя часть вагона, а именно «неоновая реклама» с изображениями машин и абстрактный фон слева, а также картинка над книгой получены при помощи нейронной сети Stable Diffusion.
STABLE DIFFUSION АКТ Quick Sun ♦ Tutorial! Workflow Tools Member Q
Tutorials
Ml 8*ginnw(23) ControlNet (6) Extension (9) Video (Б) TrannmgGJ Install (В) SDXL (3J Img2img{15) Txt2»mg {25} Inpainting (9) Model (8) Fundamentals(6)
Рис. 7. Stable Diffusion (пример работ и запросов)
Рис. 8. Пример оформления декоративных элементов в собственных проектах при помощи нейронной сети (Stable Diffusion)
Надо пояснить, что здесь генерированный контент - это не вся сцена, а только её элементы. Пользователям и разработчикам это дает большую свободу в творчестве, так как теперь им ненужно тратить много времени на реализацию своих проектов, на поиск специалистов художников с необходимыми для их задач навыками, а также, что не маловажно, теперь им ненужно не платить за контент, так как пользователи не нарушают авторское право, ведь картинка создана «из неоткуда», её не было и не существовало ни у кого и никогда.
Но у данного подхода есть и негативная сторона. В начале, когда большие нейронные сети только начали свою работу, художники были обескуражены, они практически посчитали себя обворованными, лишились своих наработок, особенно те, которые создали свой стиль рисования, уникальный стиль. Дело в том, что любая нейронная сеть не может просто так научиться рисовать, ей нужны образцы работ, на которых она первично обучается. За долгое время Интернет сохранил в себе огромные наборы данных, и они считались и считаются свободными ресурсами. Попав в сеть, в свободный доступ, работы художников стали основой для обучения нейронных сетей [3]. Научившись стилю данных художников нейронная сеть рисует так же как они.
Художники были возмущены этим, они проводили забастовки и подавали в суды, но законодательство не было готово к этому и как правило, авторы проигрывали свои обращения. Нейронная сеть не копирует части картинок изначальных авторов, она не делает из них коллажи, нейронная сеть рисует картинки с нуля.
Она делает это специфическим образом - из шума. Ей нужен первичный сигнал, как правило шум (случайный мелкодисперсный черно-белый шум), после чего алгоритмическим способом проходят несколько фаз преобразования:
1. Создание шума. Это первый этап всегда. Он необходим для всех последующих операций. Шум создается любыми возможными алгоритмами, цель этого этапа - создать мелкодисперсную хаотичную картину, чаще всего бинарную (чёрно-белую).
2. Препроцессинг. Фактически это изменение, полученного ранее шума. Алгоритмы не столь важно указывать или пояснять. Обычно это изменение контрастности, яркости, насыщенности или масштабирование и т.п.
3. Инициализация. Нейронная сеть начинает «угадывание» в остатках шума образы, получая силуэты объектов, структуру композиции, предметов, людей, черт лиц и т.п.
4. Детализация. После инициализации нейронная сеть должна перейти к более детальной генерации изображений, добавляя более мелкие детали и уточняя формы объектов.
5. Закрашивание. На этом этапе нейронная сеть может добавлять цвет, текстуры и другие детали, чтобы сделать изображение более реалистичным.
6. Окончательное сведение. В этот момент изображение считается завершенным и может быть
сохранено.
Естественно, что это примерный вид работы алгоритма, так как производитель нейронной сети сам закладывает все этапы, способы обработки сигналов и т.д. Мы можем лишь отметить, что получение музыки синтезаторами, как и получение графики сейчас происходит из первичного сигнала и как правило - это шумы, которые далее преобразовываются в более понятное нам представление.
Из-за этого подхода возникают проблемы с авторским правом [4]. Художник может доказать, что он создатель той или иной картинки, работы, например, своими черновиками и наработками, но как правило художники не способны регистрировать свой собственный стиль, патентовать его. Есть художники, которые работают в стиле аниме, гравюры и т.д., они в принципе свой стиль не могут выделить, так как они внутри уже находятся существующего стиля, их задача не в создании уникального стиля, а в том, чтобы следовать канонам текущего.
По сути проблемы с художниками и нейронными сетями - сравнима с ситуацией, когда заказчик просит любого человека, умеющего рисовать повторить стиль великого художника, например, Шишкина И.И., но в совершенно новой картине с другим сюжетом. Шишкин И.И. не смог бы возразить ничего на это, так как он её не рисовал, картина ему не принадлежит, сюжет и идея не его, наработок нет.
Хуже проблемы с речевыми технологиями, и не только у дикторов, голос которых - это их единственный инструмент заработка, но и у всех нас, так как голос - один из параметров биометрии человека. В некоторых приложениях по нему происходит авторизация. Также нельзя забывать о том, что голос звучащий в компрометирующем контенте, может повредить репутации диктора и обычного человека.
В этой связи можно отметить два события:
ситуация с российским диктором и актрисой дубляжа Алёной Андроновой [5];
любительские переводы продолжений серий игр и сериалов, в случае, когда официальной озвучки не предусматривалось.
В первом случае законодательно доказать неправомерность применения технологий не удалось. Второй пример нужно пояснить. Игры по-прежнему переводятся в домашних студиях голосами актеров, которые больше не озвучивают их [6]. Связано это с тем, что нейронные сети, генерирующие голос, существуют в двух вариантах: модель «текст в речь», изменение голоса, а также с тем, что программы подобного сегмента доступны обычным пользователям.
Первая модель - это генерация фраз, предложений по введенному тексту. На этой основе работали все генерации фраз ранних версий, и результат был не очень качественный, он явно угадывался и отличался от живых исполнителей. Сейчас известны фирмы типа «ЛитРес», которые применяют технологии TTS для озвучки новых или популярных книг. При этом на основе их заявлений, книги имеют большой успех.
Второй же способ - это вариант программ, которые обучаются на 3.. .5 минутных звуковых файлах и преобразуют речь диктора в ту, которой модель обучалась. На наш взгляд этому пока нет названия - в Интернете это называется «пародией». Это полная попытка имитации голоса, но не актера дубляжа, а оригинального актера, звучащего на родном языке тебе языке. Этот пример появился после того как вышла игра Baldur's Gate 3, одна из сцен которой была переозвучена этим методом и получилось субъективно хорошо. Даже актеры дубляжа не сразу поняли, что эта работа выполнена не их друзьями, а нейронной сетью.
Также есть вопросы о честности самого искусственного интеллекта, и о том с какими целями его используют. На рис. 9 представлен диалог с ИИ Chat GPT 3.5. В котором мы задали вопрос о возможном инциденте с крупной компанией в области озвучивания аудио книг голосами дикторов, которые не давали согласия на использование их голоса.
Ffl Ты же обучи л си нл Олзе но 72 года нерчо?
^^ ■ ■'< 9ТО :■■ [,-< ! Мор базой» Ml-"':, >;",--:L .!!h ДОННЬ I ДОСТУПНЫХ ДО ЯнВЭрй 2022 ГОЛ]. И yMfrifl Her ННфорЫаСтННО СОЙЫТХЯЧ НЛН ,'j ■ ■ .11I , произошедшей после этой дат>». Kai г- чо у 4,14 помочь с рйчдс?
Вспомни у кого из крупн ьг* кампани й был ска нДал с: си^умши' зудиа книг дикторами, толоса котсзрык испольюьали дли обучении своей нейронной сети
Скандал,связанный с использованием голосов дикторов из аудиокннг дпп обучении нейронных сетей, Был связ,тн с компанией Google. Б 2019 году стало известно, что Google использовал записи г олосовмх лег ис ген raw, раОотаншии над проект ом Google Assistant, Сез предвари тельного уведомлени а или согласии дикторов. Этот случай вызвал широкий общественный интерес и вызвал обсуждение вопросов конфиу№нциал ьности данных и этичности в области искусственного ичтеллрчгл и обработки голоса.
Не совсем понял
| Излиниге за недоразумение. Я ошибСА а предыдущем ответе. На момент зл вершения моего обучения в январе 2022тодау меня нет информации о таком скандале о использованием голосов дикторов ДЛЯ обучения ней роннык сетей какого-либо
ИруПНОГС! предприятия. Могли бы ВЫ уточнить ИЛИ ПреДОС ГЛ ЛИ г Ь ДОПОЛНИ ТеЛЬНЫС
сведения о событии, которое вас интересует, чтобы я мот попытаться предоставить
более точную информацию? 0 полторная генерзция
Рис 9. Часть диалога с ОРТ 3.5
Поведение ИИ странно, в явном виде таких проблем мы почти никогда не видели в версии 3.5, представленной на официальном сайте компании. Нельзя в явном виде проверить - это ошибка ИИ или разработчики GPT поставили ограничение на данную тему.
Также есть проблема с появлением подделок с попыткой имитировать стиль реального автора. Например, компания Amazon вынуждена была изъять из продажи ряд книг, так как автор, заявленный на обложке данных произведений сообщил, что он их не писал и это подделка [7].
Выводы. Нейронные сети очень полезны в рутинных, относительно несложных задачах, как оформления, так общения с людьми. Однако стоит помнить, что с течением времени ИИ должен начать регламентироваться юридическими законами, скорее всего появятся ограничения или новые понятия.
Так же нужно помнить, что ни один голосовой помощник, технологии GPT и их аналоги не могут дать точную и проверяемую информацию. Они обучались на сегментированных и распределенных данных, но в их конструкции вывода данных и общения не предусмотрен вывод хотя бы ссылок на основе материалов из которых GPT-подобные ИИ сделали тот иной вывод.
Проблема также заключается в «рирайте». В основном он применяется бесконтрольно и без должного качества, и это может вызывать проблемы в сети Интернет и индустрии ИИ. Некоторые из потенциальных проблем описаны ниже:
1. Дублированный и низкокачественный контент. Если «рирайт» выполняется некачественно или слишком механически, это может привести к созданию дублированного или плохого контента, который не предоставляет ценности пользователям.
2. Нарушение авторских прав. При «рирайте» без должного учета авторских прав на исходный контент можно нарушить законы об авторском праве. Это может привести к правовым последствиям.
3. Уменьшение уникальности. Если «рирайт» используется излишне, это может привести к тому, что множество сайтов будет содержать практически идентичный контент, что не способствует разнообразию и полезности информации в Интернете.
4. Снижение качества информации. «Рирайт» может привести к потере смысла и качества исходного текста, особенно если процесс «рирайта» выполняется автоматически без человеческой проверки и редактирования.
По большому счету, ИИ, например, GPT, обучившись на новых данных за год может поменять свою выборку ответов и снизить точность, потому что после бесконтрольного «рирайта» может не учитываться более полный и точный первоисточник (так как он был потерян со временем в «одинаковых» источниках и дубликатах), может также измениться и представление о событии.
В любом случае это значит, что совершенных продуктов, дающих достоверно точную информацию на сегодняшний день нет.
Также важно понимать, что все голоса дикторов, записанных для любых проектов - это лучший материал для обучения нейронных сетей. Нередко мы слышим заявления людей, занимающихся озвучкой книг, что они против применения в их творчестве музыкального сопровождения, что это дает возможность слушателю более свободного применять воображение при прослушивании. Если же сам диктор или производитель книги накладывает музыку фоном, то он может не угадать со стилистикой музыкального фоновой музыки, читатель будет расстроен. Однако, в текущих условиях, наличие фонового звукового сопровождения - это фактически единственная мера борьбы с обучением голосовых моделей нейронных сетей на наших голосах. При этом наша рекомендация в подобном случае использовать динамичную музыку электронного жанра с низкой разницей относительно голоса самого диктора. Му-
зыка обязательно должна содержать частоты близкие к частотам голоса диктора, даже имея нейронные сети, способные убирать фоновые звуки и отделять голос от музыки подобная мера будет приносить результат. Об этом было написано в статье [8].
Список литературы
1. Анирад Коул, Сиддха Ганджу, Мехер Казам. Искусственный интеллект и компьютерное зрение. Реальные проекты на Python, Keras и TensorFlow (+ epub). Питер, 2023. 608 с.
2. Рыбин С.В. Синтез речи. Учебное пособие по дисциплине «Синтез речи». СПб: Университет ИТМО,
2014. 92 с.
3. Художники против нейросетей: справедливый протест или неолуддизм? [Электронный ресурс] URL: https://habr.com/ru/companies/ruvds/articles/711834 (дата обращения: 10.05.2023).
4. Федеральный закон от 13 июня 2023 г. N 235-ФЗ «О внесении изменения в статью 1260 части четвертой Гражданского кодекса Российской Федерации». [Электронный ресурс] URL: https://base.garant.ru/407031062 (дата обращения: 10.05.2023).
5. «У нас воруют голоса»: актёры дубляжа из России запустили петицию против нелегального ИИ-синтеза [Электронный ресурс] URL: https://dtf.ru/life/2074536-u-nas-voruyut-golosa-aktery-dublyazha-iz-rossii-zapustili-peticiyu-protiv-nelegalnogo-ii-sinteza?ysclid=loahkrc5p17743119 (дата обращения: 10.05.2023).
6. Моддер при помощи нейросети озвучил одну из сцен Baldur's Gate 3 на русском языке с оригинальными голосами [Электронный ресурс] URL: https://dtf.ru/games/2167263-modder-pri-pomoshchi-neyroseti-ozvuchil-odnu-iz-scen-baldur-s-gate-3-na-russkom-yazyke-s-originalnymi-golosami (дата обращения: 10.05.2023).
7. Amazon removes books 'generated by AI' for sale under author's name [Электронный ресурс] URL: https://www.theguardian.com/books/2023/aug/09/amazon-removes-books-generated-by-ai-for-sale-under-authors-name (дата обращения: 10.05.2023).
8. Проскуряков Н.Е., Яковлев Б.С., Архангельская Н.Н. Перспективы развития электронных изданий в образовании // Информация: передача, обработка, восприятие. Материалы международной научно-практической конференции. Редакционная коллегия: Д. А. Тарасов, А. Г. Тягунов (главный научный редактор), А. П. Сергеев (научный редактор), К. А. Аксенов, И. В. Троицкий, Г. Л. Левонян, Ж. Ибраева. Издательство: Уральский федеральный университет имени первого Президента России Б.Н. Ельцина (Екатеринбург), 2017. С. 103-114.
Яковлев Борис Сергеевич, канд. техн. наук, доцент, [email protected], Россия, Тула, Тульский государствнный университет,
Шамрин Максим Юрьевич, канд. юрид. наук, доцент, [email protected], Россия, Москва, Московский государственный юридический университет им. О.Е. Кутафина,
ХасанХунар Амеен, канд. юрид. наук, доцент, декан Бизнес-колледжа, [email protected], Ирак, Чамчамаль, Университет Чармо
PROSPECTS FOR THE DEVELOPMENT AND PROBLEMS OF ARTIFICIAL INTELLIGENCE IN THE AREAS OF CONTENT GENERATION, INTERACTION WITH HUMANS AND COPYRIGHT
B.S. Yakovlev, M.Y. Shamrin, Hasan Hunar Amen
Neural networks that create various types of content are analyzed, the main directions and trends in their development are identified, as well as problem areas in the implementation of technologies and relationships with human activity. The examples show the scope of neural networks and their results. General conclusions based on the research results are given.
Key words: intellectual intelligence, genetic systems, "text in speech", genetic information, TTS, artificial intelligence of image, artificial intelligence of sound.
Yakovlev Boris Sergeevich, candidate of technical sciences, docent, [email protected], Russia, Tula, Tula State
University,
Shamrin Maxim Yurievich, candidate of law sciences, docent, [email protected], Russia, Moscow, Kutafin Moscow State Law University,
Hassan Hunar Ameen, candidate of law sciences, docent, dean of the business college, [email protected], Iraq, Chamchamal, Charmo University
