CC BY
2514. Pavlov, A. L., Ovchinnikov, G. W., Derbyshev, D. Y, Tsetserukou, D., & Oseledets, I. V. AA-ICP: Iterative closest point with Anderson acceleration. 2018 IEEE International Conference on Robotics and Automation (ICRA), 2018, pp. 3407-3412.
15. Park, J., Zhou, Q. Y, & Koltun, V. Colored point cloud registration revisited. Proceedings of the IEEE international conference on computer vision, 2017, pp. 143-152.
16. Dreczkowski, K., & Johns, E. Hybrid ICP. 2021IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), 2021, pp. 6801-6808.
17. Dellenbach, P., Deschaud, J. E., Jacquet, B., & Goulette, F. CT-ICP: Real-time elastic lidar odometry with loop closure. 2022 International Conference on Robotics and Automation (ICRA), 2022, pp. 5580-5586).
18. Hexsel, B., Vhavle, H., & Chen, Y. DICP: Doppler Iterative Closest Point Algorithm. arXiv preprint arXiv:2201. 11944, 2022.
19. Rusinkiewicz, S., & Levoy, M. Efficient variants of the ICP algorithm. Proceedings third international conference on 3-D digital imaging and modeling, 2001, pp. 145-152.
20. Dimitrievski, M., Van Hamme, D., Veelaert, P., & Philips, W. Robust matching of occupancy maps for odometry in autonomous vehicles. 11th Joint Conference on Computer Vision, Imaging and Computer Graphics Theory and Applications (VISIGRAPP 2016), 2016, vol. 3, pp. 626-633.
21. Lai, K., Bo, L., Ren, X., & Fox, D. A large-scale hierarchical multi-view RGB-D object dataset. 2011 IEEE international conference on robotics and automation, 2011, pp. 1817-1824.
22. Pcregistercorr. Available at: https://www.mathworks.com/help/vision/ref/pcregistercorr.html.
УДК 004.056
ИССЛЕДОВАНИЕ АТАК НА МОДЕЛИ МАШИННОГО ОБУЧЕНИЯ В СЕТЯХ 5G НА ОСНОВЕ ГЕНЕРАТИВНО-СОСТЯЗАТЕЛЬНЫХ СЕТЕЙ1
Статья поступила в редакцию 20.01.2023, в окончательном варианте - 08.02.2023.
Парфёнов Денис Игоревич, Оренбургский государственный университет, 460018, Российская Федерация, г. Оренбург, пр-т Победы, 13,
кандидат технических наук, доцент, ORCID: 0000-0002-1146-1270, e-mail: parfenovdi@mail.ru Болодурина Ирина Павловна, Оренбургский государственный университет, 460018, Российская Федерация, г. Оренбург, пр-т Победы, 13,
доктор технических наук, профессор, ORCID: 0000-0003-0096-2587, e-mail: prmat@mail.osu.ru Легашев Леонид Вячеславович, Оренбургский государственный университет, 460018, Российская Федерация, г. Оренбург, пр-т Победы, 13,
кандидат технических наук, ORCID: 0000-0001-6351-404X, e-mail: silentgir@gmail.com Жигалов Артур Юрьевич, Оренбургский государственный университет, 460018, Российская Федерация, г. Оренбург, пр-т Победы, 13,
аспирант, ORCID: 0000-0003-3208-1629, e-mail: leroy137.artur@gmail.com Гришина Любовь Сергеевна, Оренбургский государственный университет, 460018, Российская Федерация, г. Оренбург, пр-т Победы, 13,
аспирант, ORCID: 0000-0003-2752-7198, e-mail: grishina_ls@inbox.ru
В связи с развитием и активным внедрением сетей 5G стало возможным разрабатывать новые приложения для Интернета вещей (IoT) и областей межмашинного взаимодействия на основе анализа больших данных. В данном исследовании проведен анализ данных в миллиметровых волнах (mmWave) и массивных системах MIMO, сгенерированных на платформе DeepMIMO на основе сценария трассировки лучей на открытом пространстве. Набор данных использован с целью построения моделей машинного обучения для предсказания, находится ли пользователь в зоне линии прямой видимости базовой станции. Кроме того, в рамках данной работы рассмотрен вопрос устойчивости построенных моделей к состязательным атакам и предложен подход к применению генеративно-состязательных сетей для генерации синтетических состязательных образцов путем замены истинных значений целевого признака. Исследование сбалансированной точности базовых классификаторов от нецелевой состязательной атаки при решении задачи бинарной классификации показало, что модели машинного обучения неустойчивы к данному типу атаки. В связи с этим направление будущих исследований включает разработку инструментов защиты от состязательных атак подобного типа, а полученные результаты могут быть использованы при разработке защищенной интеллектуальной системы поддержки принятия решений для анализа трафика сетей 5G и обнаружения аномалий на основе анализа больших данных.
Ключевые слова: машинное обучение, состязательные атаки, генеративно-состязательные сети, DeepMIMO, 5G
1 Исследование выполнено за счет гранта Российского научного фонда (проект № 22-71-10124).
INVESTIGATION OF ATTACKS ON MACHINE LEARNING MODELS IN 5G NETWORKS BASED ON GENERATIVE-ADVERSARIAL NETWORKS
The article was received by the editorial board on 20.01.2022, in the final version — 08.02.2023.
Parfenov Denis I., Orenburg State University, 13 Prospect Pobedy, Orenburg, 460018, Russian Federation,
Cand. Sci. (Engineering), Associate Professor, ORCID: 0000-0002-1146-1270, e-mail: parfeno-vdi@mail.ru
Bolodurina Irina P., Orenburg State University, 13 Prospect Pobedy, Orenburg, 460018, Russian Federation,
Doct. Sci. (Engineering), Professor, ORCID: 0000-0003-0096-2587, e-mail: prmat@mail.osu.ru
Legashev Leonid V., Orenburg State University, 13 Prospect Pobedy, Orenburg, 460018, Russian Federation,
Cand. Sci. (Engineering), ORCID: 0000-0001-6351-404X, e-mail: silentgir@gmail.com
Zhigalov Artur Yu., Orenburg State University, 13 Prospect Pobedy, Orenburg, 460018, Russian Federation,
graduate student, ORCID: 0000-0003-3208-1629, e-mail: leroy137.artur@gmail.com
Grishina Lyubov S., Orenburg State University, 13 Prospect Pobedy, Orenburg, 460018, Russian Federation,
graduate student, ORCID: 0000-0003-2752-7198, e-mail: grishina_ls@inbox.ru
Due to the development and active implementation of 5G networks, it has become possible to develop new applications for the Internet of Things (IoT) and areas of machine-to-machine interaction based on big data analysis. This study analyzes data in millimeter waves (mmWave) and massive MIMO systems generated on the DeepMIMO platform based on the ray tracing scenario in open space. The data set is used to build machine learning models to predict whether an object is in the line-of-sight of base station. In addition, within the framework of this research, the issue of the stability of the constructed models to adversarial attacks is considered and an approach to the use of generative-adversarial networks for generating synthetic adversarial samples by replacing the true values of the target attribute is proposed. A study of the balanced accuracy of basic classifiers from a non-targeted adversarial attack when solving a binary classification problem showed that machine learning models are unstable to this type of attack (in adversarial examples, the balanced accuracy does not exceed 60 %). In this regard, the direction of future research includes the development of tools to protect against adversarial attacks of this type, and the results obtained can be used in the development of a secure intelligent decision support system for analyzing 5G network traffic and detecting anomalies based on big data analysis.
Keywords: machine learning, adversarial attacks, generative-adversarial networks, DeepMIMO, 5G
Graphical annotation (Графическая аннотация)
Введение. Стремительное развитие технологий искусственного интеллекта (ИИ) открыло новые возможности к построению различных порождающих моделей машинного обучения, одна из ключевых идей которых состоит в разработке неявных подходов к синтетической генерации объектов. Таксономия моделей подобного вида особо выделяет среди методов, использующих неявно выраженную плотность, нейронные сети, которые моделируют марковскую цепь под графиком плотности (порождающие стохастические сети, GSN) или моделируют сэмплирование напрямую из модели (порождающие состязательные сети, GAN) [1, 2].
При этом на данный момент GAN успешно интегрированы в различные интеллектуальные системы для генерации или редактирования изображений, текста, аудио- и видеозаписей [3, 4, 5, 6]. Исследования последних лет также коснулись вопросов формирования методологии генерации табличных данных [7], так как большое количество моделей машинного обучения построено именно на основе транзакционных систем.
Прикладной характер данных исследований носит скорее задел для реализации «сильного» ИИ и не касается области кибербезопасности. Однако полученные результаты позволили применять разработанные структуры синтетической генерации объектов для состязательных атак, которые на основе наложения некоторого «шума» на входные данные обманывают системы ИИ [8]. В связи с этим остро встает вопрос о необходимости исследования существующих моделей машинного обучения и их защиты от атак на базе генеративно-состязательных сетей.
Одно из наиболее важных направлений обеспечения безопасности моделей ИИ с использованием табличных данных - это повышение защищенности моделей, анализирующих трафик сетей и выявляющих аномалии внутри них. В связи с развитием и активным внедрением сетей 5 G стало возможным разрабатывать новые приложения для Интернета вещей (IoT) и областей межмашинного взаимодействия на основе анализа больших данных. Данная работа направлена на анализ данных в миллиметровых волнах (mmWave) и массивных системах MIMO, сгенерированный на платформе DeepMIMO на основе сценария трассировки лучей на открытом воздухе с 18 базовыми станциями и более чем одним миллионом пользователей [9]. Сгенерированный набор данных для построения модели машинного обучения использован с целью предсказания, находится ли объект в зоне линии прямой видимости базовой станции. Кроме того, на основе моделей GAN сгенерируем состязательные образцы для проведения атаки на модели и исследуем их устойчивость.
Обзор исследований. Исследованиям в области обеспечения безопасности моделей машинного обучения, построенных на основе табличных данных, занимаются ученые по всему миру. Рассмотрим основные примеры успешного проведения состязательных атак на данные подобного типа и возможности генеративно-состязательных сетей.
Так, авторы исследования [10] адаптировали состязательные алгоритмы в области классификации изображений к несбалансированным табличным данным. Особенность данной работы заключается в разработке новой функции потерь и введении ограничений на шум в синтетических данных для построения наиболее реалистичных состязательных примеров.
В рамках работы [11] представлен итеративный градиентный подход к направлению возмущения в признаках объекта к целевому классу. Достоинство предложенного подхода заключается в минимизации состязательного возмущения на основе введения штрафа за возмущение пропорционально важности признаков.
Использование информации о распределении данных для проведения состязательной атаки представлено в работе [12]. Отметим, что разработанный подход построения вектора возмущений продемонстрировал высокую эффективность на различных прикладных задачах.
С другой стороны, исследования в области генерации синтетических, но не состязательных табличных данных за последние годы значительно продвинулись. Авторы работы [13] предложили модель GAN для генерации реляционных таблиц, содержащих непрерывные и дискретные переменные. Предложенный подход на основе использования мультимодального распределения экспериментально подтвердил эффективность генерации синтетических данных.
В работе [14] представлена новая архитектура CTAB-GAN, учитывающая дисбаланс классов и признаки с резкими различиями в частоте при больших значениях. Особенность данной работы заключается в специальном представлении условного вектора, который кодирует смешанный тип данных и искаженное распределение переменной данных.
Обзор исследований показал, что методы генерации состязательных атак на табличные данные только начинают развиваться и используют в основном градиент функции потерь или информацию о плотности распределения данных в явном виде. Применение генеративно-состязательных сетей позволит проводить сэмплирование из сложных многомерных распределений без явной информации о виде функции. В связи с этим в рамках данного исследования предполагается использование GAN для генерации синтетических состязательных образцов путем замены истинных значений целевого признака.
Постановка задачи. Рассмотрим сгенерированный набор данных на платформе DeepMIMO на основе сценария трассировки лучей. Рассмотрим сценарий "O1_drone scenario" - сценарий на открытом пространстве, с двумя улицами, зданиями варьируемой высоты и одним перекрестком. На улице зафиксирована одна базовая станция на высоте 6 м и одна летающая реконфигурируемая интеллектуальная поверхность (Reconfigurable Intelligent Surface), находящаяся на высоте 80 м. В качестве массивов пользователей выступают четыре плоскости дронов с общим количеством дро-нов около 270 тыс. на высоте от 40 до 42,4 м, расстояние между дронами при этом составляет 81 см. Стандартная рабочая частота эмуляции - 200 ГГц. Каждый пользователь (дрон) состоит из одной
антенны. Задано вращение антенн базовой станции по осям х, у и ъ в виде (30°, 30°, 90°), задано вращение антенны пользователей по осям х, у и ъ в виде (35°, 20°, 60°). Общая схема расположения пользователей (дронов) и базовой станции представлена на рисунке 1.
Рисунок 1 - Расположение базовой станции и групп пользователей для сценария "O1_drone scenario". Базовая станция отмечена красной точкой. Четыре слоя дронов размещены на высоте ~ 41 метра. Цветовая схема соответствует потерям сигнала на пути канала между пользователями и базовой станцией. Зеленый цвет -высокие потери, темно-синий цвет - низкие
Набор данных содержит 109017 записей, когда пользователь находится в зоне линии прямой видимости базовой станции, и 53240 записей для пользователей вне зоны прямой видимости. Исходная выборка поделена на обучающую и тестовую в соотношении 4:1. Перечень характеристик набора данных:
• 'Distance' - расстояние между базовой станцией и каждым пользователем, в метрах;
• 'DoD_theta' - зенитный угол отправления, в градусах;
• 'DoA_theta' - зенитный угол прибытия, в градусах;
• 'phase' - фаза пути распространения сигнала, в градусах;
• 'power' - сила сигнала при получении, в мегаватт;
• 'Line-of-Sight Status' - состояние прямой видимости.
Формально постановка задачи бинарной классификации сигнала может быть сформулирована следующим образом. Пусть X = {'Distance', 'DoD_theta', 'DoA_theta', 'phase', 'power' } - множество признаков объекта, Y = {0,1} - множество классов, описывающее, находится ли объект в зоне линии прямой видимости.
Пусть существует у: X ^ Y - некоторая зависимость, значения которой известны только на объектах обучающей выборки. Для построения модели машинного обучения необходимо найти алгоритм а: X ^ У, способный классифицировать произвольный объект х£Х.
В рамках данной работы в качестве базовых методов машинного обучения рассмотрены следующие алгоритмы: логистическая регрессия (LR), метод опорных векторов (SVC), случайный лес (RF) и экстремальный градиентный бустинг (XGBoost). В результате обучения моделей сбалансированная точность на тестовой выборке в среднем составила 99,3 % ± 0,7 %. В следующем разделе
рассмотрим модель GAN для генерации синтетических образцов табличных данных и модифицируем подход для получения состязательных примеров на основе инверсии целевого признака.
Модель генеративно-состязательной сети. Основная идея построения порождающих состязательных сетей состоит в разработке комбинированной нейросетевой модели (рис. 2). На основе случайно сгенерированного шума первая модель G должна построить некоторое приближение распределения данных, а вторая модель реализует бинарный классификатор D для оценки вероятности принадлежности входного наблюдения к обучающей выборке. Обучение комбинированной модели необходимо проводить одновременно, однако сначала обновляются весовые коэффициенты генератора G, а затем дискриминатора D.
Рисунок 2 - Модель генеративно-состязательной сети
Архитектура генеративной и дискриминативной нейронной сети представлена на рисунке 3. Отметим, что данная модель реализует структуру условных порождающих сетей CGAN, так как дополнительно передает информацию о целевом признаке у для контроля процесса генерации данных. В рамках данного исследования ключевой вопрос состоит в применении данного подхода для формирования образцов нецелевой состязательной атаки, когда задача состоит в том, чтобы заставить классификатор дать неправильный ответ, однако смещение в сторону определенного класса не задано.
а) Генератор б) Дпскршшнатор
Рисунок 3 - Модель а) генеративной и б) дискриминативной нейронной сети
Используем информацию о целевом бинарном признаке у для формирования состязательной атаки следующим образом: инвертируем его значения, получим признак у и передадим в модель CGAN на этапе обучения заведомо ложную информацию. Таким образом, характеристики сгенерированных синтетических объектов будут по всем признакам близки к реальным, с учетом замены
истинного класса на ложный. Реализуем предложенную стратегию состязательной атаки и проанализируем ее эффективность на обученных базовых классификаторах предсказания, находится ли объект в зоне линии прямой видимости базовых станций сети 5G.
Вычислительные эксперименты. Исследование устойчивости обученных базовых классификаторов от нецелевой состязательной атаки при решении задачи бинарной классификации проведем, основываясь на сравнении точности модели до и после проведения атак. Для обучения модели CGAN определим следующие параметры:
• размерность вектора случайного шума rand_dim = 32;
• количество итераций для обучения nb_steps = 1000;
• размер пакета (количество обучающих примеров за один проход вперед/назад) batch_size = 128;
• количество обновлений сети дискриминатора на каждом этапе состязательного обучения k_d = 1;
• количество обновлений сети генератора на каждом этапе состязательного обучения k_ g = 1;
• количество шагов для предварительной подготовки дискриминатора перед началом состязательной тренировки critic_pre_train_steps = 100;
• интервал (в шагах), с которым сохраняются веса моделей и графики образцов изображений для обнаружения log_interval = 100;
• скорость обучения learning_rate = 5e-4.
Матрицы ошибок классификаторов на состязательном наборе данных представлены на рисунке 4. Отметим, что классификатор XGBoost продемонстрировал смещение в сторону класса «1», когда объект находится в зоне прямой видимости базовой станции. Модели SVC, LR, RF смещения в сторону одного класса не имеют и с примерно равной вероятностью отнесли объекты к различным классам. Все рассмотренные модели неустойчивы к представленной нецелевой состязательной атаке.
Рисунок 4 - Матрицы ошибок на состязательных примерах для различных моделей машинного обучения
График оценки сбалансированной точности на состязательных примерах на каждой итерации обучения GAN для каждого из базовых классификаторов представлен на рисунке 5.
300 400 500 600 700 800 900 1000
Iterations
Рисунок 5 - Оценка сбалансированной точности на состязательных примерах на каждой итерации обучения GAN
Сбалансированная точность всех обученных базовых классификаторов на синтетических данных существенно упала (ниже 54 %). При этом модели логистической регрессии (LR) экстремального градиентного бустинга (XGBoost) ведут себя сравнительно одинаково и имеют точность около 50-52 %, что свидетельствует о том, что модели неэффективны (сравнимы со случайным выбором класса). Для метода опорных векторов (SVC) и модели случайного леса (RF) сбалансированная точность находится в пределах 43-50 %, что говорит о полной неустойчивости моделей к данной нецелевой состязательной атаке на основе инверсии целевого признака при генерации синтетических примеров.
Рассмотрим модификацию архитектуры генератора G на входном слое при подаче случайного вектора шума - проварьируем его размерность rand_dim с 8 до 128 (рис. 6). Отметим, что для моделей машинного обучения SVC, RF изменение сбалансированной точности не превышает 1,5 %, а для моделей LR и XGBoost - может изменяться в пределах 4 %. Таким образом, структура модели генератора может значительно влиять на устойчивость моделей машинного обучения к данному виду состязательной атаки.
8 16 32 64 128
rand dim
Рисунок 6 - Оценка сбалансированной точности на состязательных примерах при различном значении размерности входного вектора шума для генератора G
Заключение. Таким образом, в результате проведенного исследования выполнен анализ данных в миллиметровых волнах (mmWave) и массивных системах MIMO, сгенерированный на платформе DeepMIMO на основе сценария трассировки лучей на открытом пространстве. Сгенерированный набор данных для построения модели машинного обучения использован с целью предсказания, находится ли объект в зоне линии прямой видимости базовой станции. Кроме того, в рамках данной
работы предложен подход к применению генеративно-состязательных сетей для генерации синтетических состязательных образцов путем замены истинных значений целевого признака. Исследование сбалансированной точности обученных базовых классификаторов от нецелевой состязательной атаки при решении задачи бинарной классификации показало, что модели машинного обучения неустойчивы к данному типу атаки. В связи с этим направление будущих исследований включает разработку инструментов защиты от подобного рода нецелевых атак.
Полученные результаты исследования могут быть использованы при разработке защищенной интеллектуальной системы поддержки принятия решений для анализа трафика сетей 5G и обнаружения аномалий на основе анализа больших данных.
Библиографический список
1. Alain, G. GSNs: generative stochastic networks / G. Alain, Y. Bengio, L. Yao, J. Yosinski, E. Thibodeau-Laufer, S. Zhang, P. Vincent // Information and Inference: A Journal of the IMA. - 2016. - Vol. 5. - P. 210-249.
2. Matsunaga, N. Fine-grained Image Editing by Pixel-wise Guidance Using Diffusion Models / N. Matsunaga, M. Ishii, A. Hayakawa, K. Suzuki, T. Narihira // arXiv:2212.02024 [cs.CV]. - 2022.
3. Li ,W. SDM: Spatial Diffusion Model for Large Hole Image Inpainting / W. Li, X. Yu, K. Zhou, Y. Song, Zh. Lin, J. Jia // arXiv:2212.02963 [cs.CV]. - 2022.
4. Mei, X. Towards Generating Diverse Audio Captions via Adversarial Training / X. Mei, X. Liu, J. Sun, M. D. Plumbley, W. Wang, J. Jia // arXiv:2212.02033 [eess.AS]. - 2022.
5. Mei, K. VIDM: Video Implicit Diffusion Models / K. Mei, V. M. Patel // arXiv:2212.00235 [cs.CV]. - 2022.
6. Tan, Z. SSD: Towards Better Text-Image Consistency Metric in Text-to-Image Generation / Z. Tan, X. Yang, Z. Ye, Q. Wang, Y. Yan, A. Nguyen, K. Huang // arXiv:2210.15235 [cs.CV]. - 2022.
7. Kireev, K. Adversarial Robustness for Tabular Data through Cost and Utility Awareness / K. Kireev, B. Kulynych, C. Troncoso // arXiv:2208.13058 [cs.LG]. - 2022.
8. Goebel, M. Adversarial Attacks on Co-Occurrence Features for GAN Detection / M. Goebel, B. S. Manjunath // arXiv:2009.07456 [eess.IV]. - 2020.
9. Alkhateeb, A. DeepMIMO: A Generic Deep Learning Dataset for Millimeter Wave and Massive MIMO Applications / A. Alkhateeb // arXiv:1902.06435 [cs.IT]. - 2019.
10. Cartella, F. Adversarial Attacks for Tabular Data: Application to Fraud Detection and Imbalanced Data / F. Cartella, O. Anunciacao, Y. Funabiki, D. Yamaguchi, T. Akishita, O. Elshocht // arXiv:2101.08030 [cs.CR]. - 2021.
11. Ballet, V. Imperceptible Adversarial Attacks on Tabular Data / V. Ballet, X. Renard, J. Aigrain, T. Laugel, P. Frossard, M. Detyniecki // arXiv:1911.03274 [stat.ML]. - 2019.
12. Ju, L. A Robust Approach to Adversarial Attack on Tabular Data for Classification Algorithm Testing / L. Ju, R. Cui, J. Sun, Z. Li // 2022 8th International Conference on Big Data and Information Analytics (BigDIA). -2022. - P. 371-376.
13. Xu, L. Synthesizing Tabular Data using Generative Adversarial Networks / L. Xu, K. Veeramachaneni // arXiv:1811.11264 [cs.LG]. - 2018.
14. Zhao, Z. CTAB-GAN: Effective Table Data Synthesizing / Z. Zhao, A. Kunar, H. V. Scheer, R. Birke, L. Y. Chen // arXiv:2102.08369 [cs.LG]. - 2021.
References
1. Alain, G., Bengio, Y., Yao, L., Yosinski, J., Thibodeau-Laufer, E., Zhang, S., Vincent, P. GSNs: generative stochastic networks. Information and Inference: A Journal of the IMA, 2016, vol. 5, no. 2, pp. 210-249.
2. Matsunaga, N., Ishii, M., Hayakawa, A., Suzuki, K., Narihira, T. Fine-grained Image Editing by Pixel-wise Guidance Using Diffusion Models. arXiv:2212.02024 [cs.CV], 2022.
3. Li, W., Yu, X., Zhou, K., Song, Y., Lin, Zh., Jia, J. SDM: Spatial Diffusion Model for Large Hole Image Inpainting. arXiv:2212.02963 [cs.CV], 2022.
4. Mei, X., Liu, X., Sun, J., Plumbley, M. D., Wang, W., Jia, J. SDM: Spatial Diffusion Model for Large Hole Image Inpainting. arXiv:2212.02033 [eess.AS], 2022.
5. Mei, K., Patel, V. M. VIDM: Video Implicit Diffusion Models. arXiv:2212.00235 [cs.CV], 2022.
6. Tan, Z., Yang, X., Ye, Z., Wang, Q., Yan, Y., Nguyen, A., Huang, K. Towards Better Text-Image Consistency Metric in Text-to-Image Generation. arXiv:2210.15235 [cs.CV], 2022.
7. Kireev, K., Kulynych, B., Troncoso, C. Adversarial Robustness for Tabular Data through Cost and Utility Awareness. arXiv:2208.13058 [cs.LG], 2022.
8. Goebel, M., Manjunath, B. S. Adversarial Attacks on Co-Occurrence Features for GAN Detection. arXiv:2009.07456 [eess.IV], 2020.
9. Alkhateeb, A. DeepMIMO: A Generic Deep Learning Dataset for Millimeter Wave and Massive MIMO Applications. arXiv:1902.06435 [cs.IT]. 2019.
10. Cartella, F., Anunciacao, O., Funabiki, Y., Yamaguchi, D., Akishita, T., Elshocht, O. Adversarial Attacks for Tabular Data: Application to Fraud Detection and Imbalanced Data. arXiv:2101.08030 [cs.CR], 2021.
11. Ballet, V., Renard, X., Aigrain, J., Laugel, T., Frossard, P., Detyniecki ,M. Imperceptible Adversarial Attacks on Tabular Data. arXiv:1911.03274 [stat.ML], 2019.
12. Ju, L., Cui, R., Sun, J., Li, Z. A Robust Approach to Adversarial Attack on Tabular Data for Classification Algorithm Testing. 2022 8th International Conference on Big Data and Information Analytics (BigDIA), 2022, pp. 371-376.
13. Xu, L., Veeramachaneni, K. Synthesizing Tabular Data using Generative Adversarial Networks. arXiv:1811.11264 [cs.LG], 2018.
14.Zhao, Z., Kunar, A., Scheer, H. V., Birke, R., Chen, L. Y. CTAB-GAN: Effective Table Data Synthesizing. arXiv:2102.08369 [cs.LG], 2021.
