CC BY
18Ильинская Е.В., Голышева Е.Н., Медведев А.А., Масалитин Н.С. Применение генеративно-состязательных нейросетей для генерации изображений // Научный результат. Информационные технологии. - Т.9, №1,2024
УДК 004.032.26 DOI: 10.18413/2518-1092-2024-9-1-0-8
Ильинская Е.В. Голышева Е.Н. Медведев А.А. Масалитин Н.С.
ПРИМЕНЕНИЕ ГЕНЕРАТИВНО-СОСТЯЗАТЕЛЬНЫХ НЕЙРОСЕТЕЙ ДЛЯ ГЕНЕРАЦИИ ИЗОБРАЖЕНИЙ
Белгородский государственный национальный исследовательский университет, ул. Победы, 85, г. Белгород, 308015, Россия
e-mail: chmireva@bsu.edu.ru
Аннотация
В данной статье рассматривается тема генерации изображений с использованием генеративно-состязательных нейронных сетей. Благодаря развитию глубокого обучения и искусственного интеллекта, нейросети стали мощным инструментом для создания реалистичных и выразительных изображений. Генерация изображений с помощью нейросетей является одной из наиболее перспективных областей искусственного интеллекта. Нейросети позволяют генерировать изображения, которые не только соответствуют заданным параметрам, но также являются новыми и оригинальными. В этой статье рассматриваются ключевые аспекты использования нейросетей в генерации изображений. Основное внимание уделяется анализу различных архитектур и подходов в области генерации изображений с помощью нейронных сетей. Ключевые аспекты, такие как условная генерация, генеративно-состязательные сети (GAN), исследуются и сравниваются. Также рассматриваются применения нейросетей в различных сферах, включая искусство, дизайн и синтез фотореалистичных изображений. Представлены наиболее известные нейросети, используемые для этой задачи, а также их преимущества и недостатки. Обсуждаются перспективы развития нейросетей для генерации изображений. Ключевые слова: нейронные сети; генерация изображений; глубокое обучение; условная генерация; генеративно-состязательные сети
Для цитирования: Ильинская Е.В., Голышева Е.Н., Медведев А.А., Масалитин Н.С. Применение генеративно-состязательных нейросетей для генерации изображений // Научный результат. Информационные технологии. - Т.9, №1, 2024. - С. 73-78. DOI: 10.18413/2518-1092-2024-9-1-0-8
Ilyinskaya E.V. Golysheva E.N. Medvedev A.A. Masalitin N.S.
THE USE OF GENERATIVE-ADVERSARIAL NEURAL NETWORKS FOR IMAGE GENERATION
Belgorod State National Research University, 85 Pobedy St., Belgorod, 308015, Russia
e-mail: chmireva@bsu.edu.ru
Abstract
This article discusses the topic of image generation using neural networks. Thanks to the development of deeper learning and artificial intelligence, neural networks have become a powerful tool for creating realistic and expressive images. Image generation using neural networks is one of the most promising areas of artificial intelligence. Neural networks allow you to generate images that not only meet certain requirements, but are also new and original. This article discusses the key aspects of using neural networks in image generation. The main attention is paid to the analysis of various architectures and approaches in the field of image generation using neural networks. Key aspects such as conditional generation, generative-adversarial networks (GAN) are investigated and compared. Applications of neural networks in various fields, including art, design and synthesis of
Ильинская Е.В., Голышева Е.Н., Медведев А.А., Масалитин Н.С. Применение генеративно-состязательных нейросетей для генерации изображений // Научный результат. Информационные технологии. - Т.9, №1,2024
photorealistic images, are also considered. The most well-known neural networks used to solve this problem are presented, as well as their advantages and disadvantages. The prospects for the development of neural networks for image generation are discussed.
Keywords: neural networks; image generation; deeper learning; conditional generation; generative-adversarial networks
For citation: Ilyinskaya E.V., Golysheva E.N., Medvedev A.A., Masalitin N.S. The use of generative-adversarial neural networks for image generation // Research result. Information technologies. - Т.9, №1, 2024. - P. 73-78. DOI: 10.18413/2518-1092-2024-9-1-0-8
ВВЕДЕНИЕ
Использование нейронных сетей в генерации изображений является одной из наиболее сложных задач в области анализа изображений, но также развивающееся направление в области искусственного интеллекта. Традиционные методы создания изображений основаны на использовании алгоритмов, которые уже базируются на правилах. Такие алгоритмы могут генерировать изображения, которые удовлетворяют определенным требованиям, но они не могут создать что-то новое и отличительные фотографии. Нейросети, напротив, могут генерировать уникальные изображения.
ПРИНЦИП РАБОТЫ
Нейронные сети для формирования изображений работают, перенимая информацию из набора данных изображений. Такой набор может иметь в себе фотографии, рисунки, иллюстрации и другие виды изображений. Нейросеть анализирует эти изображения и учится распознавать их особенности, такие как цвет и текстура.
Когда пользователю предоставляется описание при помощи текста или изображение, нейросеть использует свои данные о мире, чтобы сотворить исключительное изображение, которое будет подходить под описание или уже имеющееся фото.
Основные подходы к генерации изображений с помощью нейронных сетей можно разделить на два типа:
1. На основе текстового описания. Генерация на основе текстового описания происходит за счет получения на вход нейронной сети словесной характеристики признаков требуемой картинки.
2. На основе существующих изображений. Генерация на основе существующих изображений происходит за счет получения на вход нейронной сети существующего изображения, которое необходимо переработать или дополнить.
Рассмотрим более подробно особенности основных подходов к генерации изображений с помощью нейронных сетей.
Популярным подходом к генерации изображений при помощи текстового описания на сегодняшний день является метод, в основу которого положено применение генеративных состязательных сетей (GAN). Указанный метод работает при помощи двух нейронных сетей (генератора и дискриминатора). Словесное описание признаков требуемого изображения получает генератор в текстовом виде и его задачей является воспроизведение полученной информации. Дискриминатор выполняет проверку изображения, определяя действительное ли оно соответствует заданному текстовому описанию. Обучение генератора и дискриминатора происходит одновременно. Генератор формирует изображения, которые будет трудно отличить от подлинника. Генерация изображений проводится до тех пор, пока не будут созданы качественные изображения, максимально соответствующие заданным в текстовом виде признакам.
Ещё одним часто применяемым подходом к генерации изображений на основе текстового описания является подход, основанный на использовании трансформеров. Трансформеры - это нейросети, которые позволяют эффективно обрабатывать последовательности данных.
Применив несколько нейросетей, таких как Catalog.ngc.nvidia и Dezgo, по запросу «собака на пляже с игрушками» мы получили изображения, представленные на рисунке 1.
Рис. 1. Пример генерация изображений на основе текстового описания Fig. 1. Example generating images based on text description
Распространенным в настоящее время подходом к генерации иллюстраций на основе уже существующих изображений является подход, в основе которого лежит использование циклических генеративных состязательных сетей (CycleGAN). Указанный метод работает при помощи двух нейронных сетей (генератора и дискриминатора). На генератор передается изображение одного типа, которое он стремится преобразовать в изображение другого типа. Дискриминатор используется для проверки сформированного генератором изображения и определяет, реальное ли оно.
Ещё одним известным подходом к генерации изображений на основе существующих изображений является подход, основанный на использовании вариационных автокодировщиков (VAE). VAE - это нейросети, которые позволяют кодировать и декодировать данные. В этом случае нейросеть работает с заданным изображением, которое ей необходимо преобразовать в изображение другого типа, используя VAE.
Сгенерируем уникальные изображения используя нейросеть Imagine.art, на основе иллюстраций из прошлого примера, изменив стиль (рис. 2).
У* ♦ V
Рис. 2. Пример генерация изображений на основе существующих изображений Fig. 2. Example of generating images based on existing images
ПРЕИМУЩЕСТВА И НЕДОСТА ТКИ НЕЙРОСЕТЕЙ ДЛЯ ГЕНЕРАЦИИ ИЗОБРАЖЕНИЙ
Рассмотрим преимущества, которыми обладают нейронные сети, используемые в генерации изображений:
Ильинская Е.В., Голышева Е.Н., Медведев А.А., Масалитин Н.С. Применение генеративно-состязательных нейросетей для генерации изображений // Научный результат. Информационные технологии. - Т.9, №1,2024
1. Нейронные сети могут формировать изображения, которые определены заданными требованиями, но и будут неповторимыми.
2. Нейронные сети могут создавать изображения, используя разные стили.
3. Нейронные сети могут использовать высокое разрешение при генерации изображений.
Нейронные сети, используемые в генерации изображений, обладают также и недостатками:
1. Нейронные сети могут генерировать изображения, которые могут содержать искажения или нарушение.
2. Нейронные сети могут быть подвержены предвзятости данных, на которых они формируются.
ПЕРСПЕКТИВЫ РАЗВИТИЯ
На сегодняшний день нейросети для генерации изображения все еще не идеальны, у них по-прежнему остается множество недостатков и большая область для развития. Так, перспективы развития нейросетей для генерации изображений можно разделить на два основных типа:
1. Улучшение качества генерируемых изображений
Исследователи работают над улучшением качества генерируемых изображений, чтобы они стали как можно более реалистичными, детализированными и не содержали дефектов. Для этого используются различные подходы, такие как:
1) Обучение нейронных сетей с использованием более всевозможных наборов данных.
2) Проектирование архитектур нейросетей для генерации более масштабных иллюстраций.
3) Применение методов анализа данных и методов машинного обучения.
2. Снижение предвзятости нейросетей
Нейросети могут генерировать изображения, которые отражают предубеждения, существующие в данных. Для снижения предвзятости нейросетей используются различные подходы, такие как:
1) Использование более всевозможных наборов данных для обучения нейросетей.
2) Применение инновационных методов обучения нейросетей.
На сегодняшний день генерация изображений при помощи нейронных сетей получает широкое развитие, в то числе генерация изображений в реальном времени, генерация изображений в трехмерном формате.
ОБЛАСТИ ПРИМЕНЕНИЯ
Нейросети для генерации изображений имеют множество сфер применения. Например, они могут быть использованы в области дизайна, моделирования видеоигр, и применяться в научно-исследовательской работе в различных сферах, в том числе и в медицине. Нейросети могут быть использованы для генерирования реалистичных изображений несуществующих объектов или для создания видеороликов с участием вымышленных персонажей. Нейронные сети могут быть использованы для генерации изображений мозга, которые помогут врачам диагностировать заболевания. Также они могут использоваться для создания изображений галактик и других космических объектов, что поможет ученым лучше понять Вселенную. Нейросети могут использоваться для создания персонализированных продуктов и услуг на основе предпочтений клиентов. Например, для онлайн-розничных платформ можно генерировать уникальные дизайны одежды или аксессуаров, которые подходят покупателю. Кроме того, нейронные сети могут быть использованы для генерирования презентаций, где они могут быть особенно ценными в бизнесе и образовании. Нейросети могут использоваться для обучения студентов новым навыкам. Например, нейронные сети могут быть использованы для генерации обучающих материалов или для персонализации обучения в соответствии с потребностями каждого студента.
Ильинская Е.В., Голышева Е.Н., Медведев А.А., Масалитин Н.С. Применение генеративно-состязательных нейросетей для генерации изображений // Научный результат. Информационные технологии. - Т.9, №1, 2024
ЗАКЛЮЧЕНИЕ
С использованием нейронной сети, мы получили сгенерированные изображения как в одном стиле, так и в другом. Помимо этого, использовали методы GAN и CycleGAN, которые отвечают за генерацию изображений по разным принципам: один при помощи текста, другой при помощи существующих изображений. Нейронные сети для генерации изображений представляют собой мощный класс искусственных нейронных сетей, который способен создавать и трансформировать изображения на основе сформированных данных. Эти сети нашли широкое применение в различных сферах, и их способности продолжают расширяться, меняя способы, которыми мы воспринимаем и создаем изображения. Различные типы нейросетей позволяют создавать уникальный и качественный визуальный контент, от портретов и абстрактных композиций до спецэффектов в фильмах и видеоиграх. Эти инструменты становятся все более доступными и могут улучшать процессы в множестве отраслей, от искусства и дизайна, до медицины и медиа. В искусстве они позволяют создавать оригинальные произведения искусства, которые невозможно было создать традиционными методами. В дизайне они позволяют создавать новые дизайны продуктов, одежды и интерьеров. В маркетинге они позволяют создавать рекламные материалы и контент для социальных сетей. В образовании они позволяют создавать новые обучающие материалы и интерактивные игры.
Однако эта технология также связана с потенциальными рисками и этическими проблемами. Например, нейросети могут использоваться для создания поддельных изображений, которые могут использоваться для обмана или манипуляций. Важно учитывать эти аспекты этой технологии, чтобы она использовалась ответственно, и необходимо разработать механизмы, которые помогут предотвратить такое использование нейросетей, проводить дискуссии и разрабатывать эффективные средства проверки и подтверждения подлинности изображений, чтобы избежать негативных последствий.
Нейросети для генерации изображений - это технология, которая развивается постоянно. В ближайшие годы мы можем ожидать появления новых и более совершенных методов генерации изображений. Эти методы будут иметь все более широкий спектр применений, который в большой степени затронет нашу жизнь, однако их использование также подразумевает ответственность и необходимость этического и социального регулирования.
Список литературы
1. Лекун Я. Как учится машина: Революция в области нейронных сетей и глубокого обучения, 2021 г.,
370 с.
2. Гудфеллоу Я., Бенджио И., Курвилль А. «Глубокое обучение», 2017 г., 653 с.
3. Безгачев Ф.В. Применение нейросетей в искусственной генерации лиц, 2021 г. URL: https://cyberleninka.ru/article/n/primenenie-neyrosetey-v-iskusstvennoy-generatsii-lits.
4. Сантану Паттанаяк. Генерация изображений с помощью TensorFlow, 2022 г., 698 с.
5. Редько В.Г. Эволюция, нейронные сети, интеллект: Модели и концепции эволюционной кибернетики, М.: Ленанд, 2019 г., 224 с.
6. Cigliano A. Generative adversarial networks, 2018 г. URL: https://www.linkedin.com/pulse/generative-adversarial-networks-andrea-cigliano.
7. Ха Д., Шмидхубер Ю. Модели мира, 2018 г., 21 с.
8. Галушкин А.И. Нейронные сети: основы теории, М.: РиС, 2023 г., 496 с.
9. Андреева О.В. Формирование оптимального алгоритма верификации изображений на основе нейронных сетей, Современные проблемы науки и образования, 2015 г., №1-1, С. 268.
10. Мазуров М.Е. Распознавание сложных объектов избирательными нейронными, Нейрокомпьютеры и их применение: тез. Докл., 2022 г., С. 60-61.
References
1. Lekun Ya. How a machine learns: A revolution in the field of neural networks and deep learning, 2021,
370 p.
Ильинская Е.В., Голышева Е.Н., Медведев А.А., Масалитин Н.С. Применение генеративно-состязательных нейросетей для генерации изображений // Научный результат. Информационные технологии. - Т.9, №1,2024
2. Goodfellow Ya., Benjio I., Courville A. Deep learning, 2017, 653 p.
3. Bezgachev F.V. Application of neural networks in artificial generation of faces, 2021 URL: https://cyberleninka.ru/article/n/primenenie-neyrosetey-v-iskusstvennoy-generatsii-lits.
4. Santanu Pattanayak. "Image generation using TensorFlow", 2022, 698 p.
5. Redko V.G. Evolution, neural networks, intelligence: Models and concepts of evolutionary cybernetics, M.: Lenand, 2019, 224 p.
6. Cigliano A. Generative adversarial networks, 2018. URL: https://www.linkedin.com/pulse/generative-adversarial-networks-andrea-cigliano
7. Ha D., Schmidhuber Ju. Models of the World, 2018, 21 p.
8. Galushkin A.I. Neural networks: fundamentals of theory, M.: FiG., 2023, 496 p.
9. Andreeva O.V. Formation of an optimal image verification algorithm based on neural networks, Modern problems of science and education, 2015, No.1-1, p. 268.
10. Mazurov M.E. Recognition of complex objects by selective neural networks, Neurocomputers and their applications: tez. Dokl, 2022, pp. 60-61.
Ильинская Елена Владимировна, кандидат экономических наук, доцент кафедры прикладной информатики и информационных технологий
Голышева Елизавета Николаевна, студентка кафедры прикладной информатики и информационных технологий, институт инженерных и цифровых технологий
Медведев Алексей Андреевич, студент кафедры прикладной информатики и информационных технологий, институт инженерных и цифровых технологий
Масалитин Никита Сергеевич, студент кафедры прикладной информатики и информационных технологий, институт инженерных и цифровых технологий
Ilyinskaya Elena Vladimirovna, Candidate of Economic Sciences, associate Professor of the Department of Applied Informatics and Information Technologies
Golysheva Elizaveta Nikolaevna, Bachelor's student, Department of Applied Informatics and Information Technologies, Institute of Engineering and Digital Technologies
Medvedev Alexey Andreevich, Bachelor's student, Department of Applied Informatics and Information Technologies, Institute of Engineering and Digital Technologies
Masalitin Nikita Sergeevich, Bachelor's student, Department of Applied Informatics and Information Technologies, Institute of Engineering and Digital Technologies
