CC BY
0
Актуальные проблемы авиации и космонавтики - 2020. Том 2
УДК 004.056
ОБ УЯЗВИМОСТИ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ
К СОСТЯЗАТЕЛЬНЫМ АТАКАМ
*
М. Д. Колесниченко Научный руководитель - В. Г. Жуков
Сибирский государственный университет науки и технологий имени академика М. Ф. Решетнева Российская Федерация, 660037, г. Красноярск, просп. им. газеты «Красноярский рабочий», 31
E-mail: drawingside@gmail.com
Рассматривается уязвимость искусственных нейронных сетей к состязательным атакам. Предлагается несколько подходов к решению задачи защиты ИНС от состязательных атак.
Ключевые слова: информационная безопасность, искусственные нейронные сети, состязательные атаки.
VULNERABILITY OF ARTIFICIAL NEURAL NETWORKS TO ADVERSARIAL ATTACKS
M. D. Kolesnichenko* Scientific supervisor - V. G. Zhukov
Reshetnev Siberian State University of Science and Technology 31, Krasnoyarskii rabochii prospekt, Krasnoyarsk, 660037, Russian Federation *E-mail: drawingside@gmail.com
Considered the vulnerability of artificial neural networks to adversarial attacks. Proposed several approaches to solving the problem of protecting an ANN from adversarial attacks.
Keywords: information security, artificial neural networks, adversarial attacks.
В настоящее время с помощью искусственных нейронных сетей (ИНС) обрабатывают огромное количество разнообразной информации, в частности они используют как прикладные системы классификации изображений и распознавания речи. По результатам исследований, специалистов отдела Google Brain [1], ИНС уязвимы к состязательным атакам (adversarial attacks) - несанкционированным воздействиям на систему машинного обучения с использованием состязательных примеров (обрабатываемые изображения с применёнными к ним искажениями).
Первые атаки были сложны и малоэффективны, но в настоящее время специалистам отдела Google Brain [2] удалось провести атаки, нацеленные на перепрограммирование (reprogram) ИНС для выполнения, выбранной злоумышленником задачи. Такие атаки позволяют найти общее искажение, которое можно применить ко всем обрабатываемым изображениям. Специалисты отдела Google Brain продемонстрировали такую атаку на шести классификационных моделях ImageNet с использованием входных данных MNIST и CIFAR-10 (см. рисунок).
Применение состязательных атак злоумышленником может нарушить работу ИНС, заставить её выдавать нужные злоумышленнику результаты, либо вообще выполнять другую задачу. Таким образом, защита ИНС является актуальной задачей информационной безопасности.
Секция «Информационнаябезопасность»
Иллюстрация соревновательного перепрограммирования (adversarial reprogramming)
По исследованиям специалистов MIT [3] уязвимость ИНС к состязательным атакам является прямым результатом того, что во время обучения для ИНС ставится задача максимизировать точность классификации, следовательно для этого используются любые доступные и хорошо обобщаемые паттерны из входных данных. В связи с этим, для решения задачи защиты ИНС от состязательных атак можно использовать несколько подходов:
1) выделение для каждой группы обучающих примеров уникальных паттернов (групп паттернов), это позволит повысить устойчивость ИНС к состязательным атакам, но уменьшит точность результатов;
2) использование анализаторов входных и выходных данных ИНС, этот подход позволит осуществлять анализ данных, до и после обработки, выделить уязвимые паттерны и повысить устойчивость ИНС к состязательным атакам, но в значительной степени повлияет на скорость работы всей системы;
Для эффективного решения задачи защиты ИНС, предлагается использовать комбинацию вышеописанных подходов. Оба подхода дополняют друг друга и позволяют эффективно отделять уязвимые паттерны обучающих примеров от уникальных паттернов, присущих определенной классификационной группе.
Библиографические ссылки
1. Adversarial Attacks on Neural Network Policies [Электронный ресурс]. URL: https://arxiv.org/pdf/1702.02284.pdf (дата обращения 11.01.2020);
2. Adversarial reprogramming of neural networks [Электронный ресурс]. URL: https://arxiv.org/pdf/1806.11146.pdf (дата обращения 24.01.2020);
3. Adversarial Examples Are Not Bugs, They Are Features [Электронный ресурс]. URL: https://arxiv.org/pdf/1905.02175.pdf (дата обращения 05.02.2020);
© Колесниченко М. Д., 2020
