CC BY
38DOI 10.47576/2949-1886_2023_4_44 УДК 33:004.336
Никулина Софья Михайловна,
студент кафедры цифровой экономики и массовых коммуникаций, Поволжский государственный университет телекоммуникаций и информатики, г. Самара, Россия, e-mail: [email protected]
Пальмов Сергей Вадимович,
кандидат технических наук, доцент, доцент кафедры информационных систем и технологий, Самарский государственный технический университет; доцент кафедры информационных технологий, Поволжский государственный университет телекоммуникаций и информатики, г. Самара Россия, e-mail: [email protected]
ГЕНЕРАТИВНЫЕ МОДЕЛИ В ЭКОНОМИКЕ
В статье изучены генеративные модели, принцип их работы и строение. Рассмотрены два наиболее известных метода построения генеративных моделей: вариационный автоэнкодер (VAE) и генеративно-состязательные сети (GAN), и их применение в области экономики и финансов.
Ключевые слова: генеративные модели; автоэнкодер; вариационный автоэнкодер; генерав-тино-состязательные сети; нейронные сети; экономические данные; VAE; GAN; экономика.
UDC 33:004.336
Nikulina Sofia Mikhailovna,
student of the Department of Digital Economy, Povolzhskiy State University of Telecommunications and Informatics, Samara, Russia, e-mail: [email protected]
Palmov Sergey Vadimovich,
Candidate of Technical Sciences, Associate Professor of the Department of Information Systems and Technologies, Povolzhskiy State University of Telecommunications and Informatics; Associate Professor of the Department of Information Technologies, Samara State Technical University, Samara, Russia, e-mail: [email protected]
GENERATIVE MODELS IN ECONOMICS
This article describes generative models, their principles of operation and structure. The two most popular methods for constructing generating models are selected: variational autoencoder (VAE) and generative-advisory networks (GAN), and their application in the field of economics and finance.
Keywords: generative models; autoencoder; variational autoencoder; generative adversarial networks; neural networks; economic data; VAE; GAN; economy.
Генеративная модель - это мощный способ изучения любого вида распределения данных с использованием неконтролируемого обучения, и всего за несколько лет она достигла огромного успеха. Генеративное моделирование - это неконтролируемая форма машинного обучения, при которой модель учится обнаруживать закономерности во входных данных [1]. Используя эти знания, модель может самостоятельно генерировать новые данные, связанные с исходным набором обучающих данных.
Модели машинного обучения можно разделить на две категории: дискриминационные и генеративные [2].
Дискриминационная модель - это модель машинного обучения, которая используется для классификации данных на заданные категории. Она принимает на вход данные и выдает предсказание о том, к какой категории они относятся. Это может быть бинарная классификация, когда данные относятся к двум категориям, или многоклассовая классификация, когда данные могут относиться к нескольким категориям. Дискриминационная модель может быть обучена на размеченных данных, где каждый пример имеет метку класса. Модель использует эти данные для поиска закономерностей и признаков, которые помогут ей классифицировать новые неизвестные данные [2].
Примеры дискриминационных моделей включают в себя деревья решений, случайный лес, метод опорных векторов и нейронные сети. Эти модели используют различные алгоритмы и подходы для классификации данных и могут быть выбраны в зависимости от конкретной задачи и типа данных.
Генеративная модель - это тип модели машинного обучения, который предназначен
для генерации новых данных, похожих на данные, на которых она была обучена. Она работает, изучая основные закономерности и взаимосвязи в данных, а затем используя этот набор знаний для создания новых образцов [1]. Генеративные модели часто используются в задачах, таких как генерация изображений и текстов, а также в приложениях, таких как увеличение данных и обнаружение аномалий.
За последнее десятилетие в области генеративного моделирования было сделано много достижений. Тем не менее до сих пор ведется много исследований по этой теме [3; 7].
Далее рассмотрим два известных метода генеративного моделирования: вариационный автоэнкодер (VAE) и генеративно-состязательные сети (GAN) [1].
Сперва рассмотрим вариационный автоэнкодер. Важно понять отличие между авто-энкодером и VAE.
Автоэнкодеры - это тип нейронных сетей, которые используются для изучения скрытых представлений данных. Они состоят из двух частей: энкодера и декодера. Энкодер принимает входные данные и преобразует их в скрытое представление, а декодер восстанавливает исходные данные из этого скрытого представления [5]. Автоэнкодеры могут использоваться для уменьшения размерности данных, удаления шума и повышения качества изображений.
Автоэнкодер работает следующим образом [1]:
- кодирует ввод x в скрытое представление h путем выполнения различных операций;
- снова декодирует скрытое представление в х'.
С_>
Decoding
С )-
Ericoding
С >
Рисунок 1 - Схема работы автоэнкодера
X' является реконструированной версией исходного ввода х. Автоэнкодер стремится минимизировать определенную функцию потерь, чтобы гарантировать, что х> близок к исходному входу х.
Теперь возьмем пример изображений,
принадлежащих к трем категориям, скажем, х1, х2 и х3, и обучим автоэнкодер на этих при -мерах. Предположим, что скрытое представление имеет два измерения, и его распределение выглядит следующим образом.
XI
0 0 V
пСиООДз оо£о0 00
оо о
о£о00'
0.0
?о&0§80°:оо°.
СУ
Рисунок 2 - Распределение скрытого представления автоэнкодера
Необходимо заметить, что эти скрытые векторы сформировали кластеры в соответствии со своими категориями.
Вариационные автоэнкодеры используют вероятностный подход к обучению, который позволяет им генерировать новые данные, основанные на обучающих данных. Они состоят из двух частей: энкодера и декодера, а также дополнительного слоя, называемого «слоем латентных переменных» [4]. Этот слой представляет собой вероятностное
распределение скрытых переменных, которые используются для генерации новых данных.
В процессе обучения вариационного автоэнкодера энкодер принимает входные данные и преобразует их в параметры распределения латентных переменных. Затем, используя эти параметры, генерируется случайный вектор латентных переменных. Декодер затем принимает этот вектор и восстанавливает исходные данные.
Рисунок 3 - Схема работы вариационного энкодера
Однако, в отличие от обычных автоэнко-деров, вариационные автоэнкодеры используют вероятностный подход к генерации латентных переменных [4]. Это означает, что каждый раз при генерации новых данных используется случайный вектор латентных переменных, выбранный из распределения, которое было определено в процессе обучения. Это позволяет создавать более разнообразные и реалистичные данные.
Вариационные автоэнкодеры нашли широкое применение в области экономики. Рассмотрим примеры их использования:
1. Генерация новых данных.
Вариационные автоэнкодеры могут использоваться для генерации новых экономических данных, таких как цены на акции или данные о безработице. Это может быть полезно для создания дополнительных данных для анализа и прогнозирования как для госучреждений, таких и для частных организаций.
Экономические данные могут быть использованы для обучения VAE, чтобы создать новые данные, которые соответствуют экономическим трендам и показателям. Например, модель может быть обучена на данных о ценах на акции, чтобы генерировать новые цены, которые соответствуют рыночным трендам.
2. Прогнозирование экономических данных.
Вариационные автоэнкодеры могут использоваться для анализа и прогнозирования экономических данных, таких как инфляция или рост ВВП. Модели могут обучаться на исторических данных и использоваться для предсказания будущих тенденций, например, наступление следующего кризиса.
3. Анализ экономических данных.
VAE также могут использоваться для анализа экономических данных, таких как торговые операции или финансовые отчеты. Модели могут выявлять скрытые закономерности и паттерны в данных, что может помочь компаниям в принятии более обоснованных решений, повышая эффективность предприятия [Yitong Duan, Lei Wang, Qizhong Zhang, Jian Li. FactorVAE: A Probabilistic Dynamic Factor Model Based on Variational Autoencoder for Predicting Cross-Sectional Stock Returns].
Такие модели могут извлекать наиболее важные признаки из этих данных и создавать
новые данные, которые соответствуют рыночным трендам и показателям. Это может помочь аналитикам и трейдерам в принятии решений на основе прогнозирования будущих цен на акции или другие экономические показатели. VAE также может использоваться для сокращения размерности данных и улучшения производительности моделей машинного обучения, работающих с экономическими данными.
4. Оптимизация портфеля.
Вариационные автоэнкодеры могут использоваться для оптимизации портфеля инвестиций. Модели могут анализировать исторические данные и предлагать оптимальное распределение активов для минимизации рисков и максимизации доходов.
5. Разработка новых индикаторов [Yitong Duan, Lei Wang, Qizhong Zhang, Jian Li. FactorVAE: A Probabilistic Dynamic Factor Model Based on Variational Autoencoder for Predicting Cross-Sectional Stock Returns].
Вариационные автоэнкодеры могут использоваться для разработки новых экономических индикаторов. Модели могут анализировать данные и выявлять скрытые закономерности, которые могут быть использованы для создания новых индикаторов, отражающих экономическую активность.
Далее рассмотрим генеративно-состязательные сети (GAN).
GAN - это класс методов машинного обучения, состоящий из двух одновременно обученных нейронных сетей [5]. Одним из них является генератор, используемый для создания поддельных данных. Другой - дискриминатор, который используется для классификации того, являются ли входные данные реальными (изображение из обучающего набора данных) или поддельными (сгенерированными дискриминатором). Слово «состязательный» указывает на конкурентную динамику между генератором и дискриминатором, когда генератор пытается обмануть дискриминатор, передавая поддельные данные. Работа дискриминатора заключается в обнаружении поддельных данных, сгенерированных генератором.
Чтобы понять это, можно представить сце -нарий, в котором вор пытается украсть картину из музея, заменив ее подделкой, при этом будет куратор, чья работа будет заключаться в том, чтобы определить, настоящая картина
или подделка. В данном примере вор - гене- Теперь необходимо рассмотреть архитек-ратор, а куратор - дискриминатор. туру GAN [1]:
GAN Architecture
Baekpropgatc lo mimmiii error
in -
V)
с
ii
Satkpropgaio to maxim¡¿c error
Рисунок 4 - Архитектура GAN
Необходимо ввести случайный шум в генератор, преобразуя шум в выборку данных [1]. Затем сгенерированные данные служат входными данными для модели дискриминатора. Модель дискриминатора также принимает образцы реальных данных в качестве входных данных, и ее задача состоит в том, чтобы классифицировать входные данные как поддельные сгенерированные данные или образцы реальных данных.
Таким образом, формируются две функции потерь: одна - потеря дискриминатора, а другая - потеря генератора. Потеря дискриминатора является ошибкой классификации, и она распространяется обратно через сеть дискриминатора.
Напротив, потеря генератора - это ошибка классификации поддельных сгенерированных данных как реальных данных, и они распространяются обратно через сеть генератора. Таким образом, две нейронные сети обучаются одновременно в состязательной манере. Сходимость GAN - это когда дискриминатор не может классифицировать реальные и поддельные сгенерированные данные, что означает, что вероятность классификации становится равной 0,5 [1]. Эта
точка сходимости известна как равновесие Нэша.
Генеративно-состязательные сети могут использоваться в экономике для создания синтетических данных, которые могут быть использованы для различных целей:
1. Прогнозирование экономических показателей.
GAN могут использоваться для генерации синтетических данных, которые могут помочь в прогнозировании экономических показателей, таких как ВВП, инфляция и безработица.
2. Анализ рынков [6].
GAN может быть использован для анализа рынков, поскольку он может генерировать новые данные, которые соответствуют будущим трендам и показателям. Это может помочь аналитикам и трейдерам в принятии решений на основе прогнозирования будущих цен на акции или другие экономические показатели. GAN также может использоваться для создания синтетических данных, которые могут быть использованы для обучения моделей машинного обучения, работающих с экономическими данными. В целом, GAN может быть полезным инструментом для
анализа рынков и прогнозирования экономических показателей.
3. Создание новых продуктов.
GAN могут использоваться для генерации синтетических данных, которые помогут в создании новых продуктов и услуг, основанных на анализе потребностей рынка. Некоторые пользователи в интернете создают коллекции известных fashion компаний, генерируя новые неординарные предметы одежды.
3. Определение аномалий [8].
Генеративно-состязательные сети могут использоваться для генерации синтетических данных, которые помогут в обнаружении аномалий в экономических данных, таких как мошенничество и финансовые преступления.
Например, GAN могут быть использованы для создания системы мониторинга и предотвращения финансовых преступлений в режиме реального времени. Например, система может анализировать транзакции и выявлять аномалии, такие как необычно большие или маленькие суммы, необычные места или способы перевода денег и т. д. Если система обнаруживает подозрительную активность, она может автоматически отправлять уведомления правоохранительным органам для дальнейшего расследования.
Однако, как и любая другая технология, GAN также может быть злоупотреблена. Например, мошенники могут использовать GAN для создания фальшивых документов или подделки финансовых отчетов. Поэтому важно иметь надежные механизмы проверки подлинности документов и отчетов, чтобы предотвратить такое злоупотребление.
5. Увеличение данных [Yitong Duan, Lei Wang, Qizhong Zhang, Jian Li. FactorVAE: A Probabilistic Dynamic Factor Model Based on Variational Autoencoder for Predicting Cross-Sectional Stock Returns].
GAN могут использоваться для генерации синтетических данных, которые помогут в увеличении объема данных для обучения моделей машинного обучения и улучшении их точности.
В статье показано, насколько инновационной может быть генеративная модель. Однако понадобятся системы искусственного интеллекта для управления такими иннова-
циями, чтобы справиться с меняющейся средой. Для этого старые дискриминационные модели, обученные на большом количестве размеченных вручную данных для фиксированной среды, не сработают.
В заключение можно сделать вывод, что нам нужны генеративные модели в будущем, чтобы реагировать на эту быстро меняющуюся экономическую среду.
Список литературы
1. Beginners Intro to Generative Modeling. URL: https:// www.section.io/engineering-education/beginners-intro-to-generative-modeling/ (дата обращения: 16.06.2023).
2. Variational Autoencoder. URL: https://en.wikipedia. org/wiki/Variational_autoencoder (дата обращения: 16.06.2023).
3. Detecting Financial Fraud Using GANs at Swedbank with Hopsworks and NVIDIA GPUs. URL: https://developer. nvidia.com/blog/detecting-fi nancial-fraud-using-gans-at-swedbank-with-hopsworks-and-gpus/ (дата обращения: 17.06.2023).
4. Как работает вариационный автоэнкодер (VAE). URL:https://neurohive.io/ru/osnovy-data-science/ variacionnyj-avtojenkoder-vae/ (дата обращения: 17.05.2023).
5. Generative Modeling. URL: https://www. techtarget.com/searchenterpriseai/definition/generative-modeling#:~:text=Generative%20modeling%20is%20 the%20use,can%20be%20calculated%20from%20 observations. (дата обращения 17.06.23)
6. Кораблев А. Ю., Булатов Р. Б. Машинное обучение в бизнесе // АНИ: экономика и управление. 2018. № 2(23). С. 68-72.
7. Generative Models. URL: https://openai.com/ research/generative-models (дата обращения: 17.06.2023).
8. Economic Forecasting using Generative Advesarial Networks. URL: https://www.ijert.org/economic-forecasting-using-generative-adversarial-networks (дата обращения: 18.06.2023).
References
1. Beginners Intro to Generative Modeling. URL: https:// www.section.io/engineering-education/beginners-intro-to-generative-modeling / (accessed: 06/16/2023).
2. Variational Autoencoder. URL: https://en.wikipedia. org/wiki/Variational_autoencoder (accessed: 06/16/2023).
3. Detecting Financial Fraud Using GANs at Swedbank with Hopsworks and NVIDIA GPUs. URL: https://developer. nvidia.com/blog/detecting-financial-fraud-using-gans-at-swedbank-with-hopsworks-and-gpus / (accessed: 06/17/2023).
4. How the variational autoencoder (VAE) works. URL: https://neurohive.io/ru/osnovy-data-science/variacionnyj-avtojenkoder-vae/(accessed: 05/17/2023).
5. Generative Modeling. URL: https://www. techtarget.com/searchenterpriseai/definition/generative-modeling#:~:text=Generative%20modeling%20is%20 the%20use,can%20be%20calculated%20from%20 observations. (accessed 17.06.23)
6. Korablev A. Yu., Bulatov R. B. Machine learning in business. ANI: economics and Management. 2018. No. 2(23). pp. 68-72.
7. Generative Models. URL: https://openai.com/ research/generative-models (accessed: 06/17/2023).
8. Economic Forecasting using Generative Advesarial Networks. URL: https://www.ijert.org/economic-forecasting-using-generative-adversarial-networks (accessed: 06/18/2023).
