CC BY
51Международная научно-практическая конференция УДК 004.056.53
Чекмарев Максим Алексеевич Chekmarev Maxim Alekseevich
Адъюнкт Adjunct
Краснодарское высшее военное училище Krasnodar higher military school
МЕТОДЫ ОБЕСПЕЧЕНИЯ БЕЗОПАСНОСТИ ПРОЦЕССОВ МАШИННОГО ОБУЧЕНИЯ
METHODS TO ENSURE THE SAFETY OF MACHINE LEARNING
PROCESSES
Аннотация: проведен обзор существующих методов обеспечения безопасности процессов машинного обучения от вредоносных воздействий противника, их недостатки и перспективы применения.
Abstract: the review of the existing methods of ensuring the safety of machine learning processes from the harmful effects of the enemy, their shortcomings and prospects of application is carried out.
Ключевые слова: машинное обучение, вредоносное воздействие, обеспечение безопасности.
Key words: machine learning, malicious impact, security.
С каждым днем применение методов машинного обучения в различных отраслях деятельности становится все масштабнее, а решаемые задачи -серьезнее. На этом фоне увеличиваются и риски возможных последствий вредоносного воздействия на системы машинного обучения.
В зависимости от времени воздействия и целей, преследуемых злоумышленником, вредоносные воздействия делятся на три вида (табл. 1):
- вредоносное воздействие на набор обучающих данных;
- вредоносное воздействие на входные данные;
- извлечение конфиденциальных данных.
«Научные исследования и инновации»
Таблица 1.
Виды вредоносных воздействий на системы машинного обучения
Направленность атаки
Целостность Доступность Конфиденциальность
Этап обучения Вредоносное воздействие на набор обучающих данных Вредоносное воздействие на набор обучающих данных Извлечение конфиденциальных данных
Этап работы Вредоносное воздействие на входные данные
Способы защиты от вредоносных воздействий на набор обучающих данных существуют, но ни один из них не гарантирует полной надежности.
Первый способ - обнаружение выбросов («очистка данных», «обнаружение аномалий»). Идея способа состоит в том, что при заражении системы машинного обучения злоумышленник по определению вводит в набор обучающих данных что-то, что сильно отличается от того, что он должен включать, и, следовательно, мы должны иметь возможность — это что-то обнаружить [1, 2].
Задача легко решаема только в случае, если введенные злоумышленником данные действительно отличаются от исходных, могут быть обнаружены и изолированы. Однако если неверные данные очень похожи на действительное распределение или были введены до создания правил фильтрации, способ обнаружения выбросов перестает работать, так как выбросы фактически перестают ими быть.
Второй способ - проверка точности модели. В этом случае мы предполагаем, что если новый собранный набор обучающих данных был подвергнут вредоносному воздействию, то это нарушит точность модели машинного обучения. В свою очередь изменение точности модели можно отследить путем ее прогона на неизменном тестовом наборе данных до отправления нового набора в обучающий пул. К таким методам относятся: метод «отклонения при негативном воздействии» [3] и метод «целеориентированного отклонения при негативном воздействии» [4].
Международная научно-практическая конференция Очевидно, что при использовании данных способов, в условиях проверки
модели перед каждым обновлением набора обучающих данных временная
эффективность работы системы будет снижаться.
Защита процессов машинного обучения от вредоносного воздействия на
входные данные - крайне сложная задача. Традиционные методы повышения
при этом, как правило, не обеспечивают практической защиты. В таких условиях
возможно использование одного из двух возможных сценариев - применение
формальных методов и эмпирическая защита.
Формальный метод [5] предполагает рассмотрение сценариев всех
возможных атак на систему и обучение модели противостоять им. Стоит ли
говорить, что данный метод неприменим к крупномасштабным проектам? Он
недешев и часто неразрешим с вычислительной точки зрения. Фактически,
применительно к нейронным сетям современные формальные методы не
позволяют обеспечить ее безопасность глубже, чем на несколько уровней.
Эмпирическая защита полагается на эксперименты, демонстрирующие
эффективность защиты. Существует несколько различных типов:
Состязательная подготовка - самая эффективная защита на сегодняшний
день. Модель машинного обучения учится на враждебных примерах,
включенных в набор обучающих данных и помеченных соответствующими
метками. Проблема способа состоит в том, что он защищает модель только от тех
атак, которые использовались для создания примеров, изначально включенных в
обучающий пул. Кроме того, в определенный момент переизбыток вставленных
в набор обучающих данных приведет к тому, что границы, которые определяет
модель, станут бесполезными [6].
Изменение ввода. Перед передачей в модель машинного обучения данные
«очищаются» в целях избавления от постороннего шума. В этом случае
используются всевозможные решения по шумоподавлению (автокодеры,
репрезентативные шумоподавители высокого уровня), уменьшение глубины
цвета, сглаживание, сжатие JPEG, отклонение пикселей, преобразования общих
базовых функций и многие другие.
«Научные исследования и инновации»
Дополнительный класс. В случае невозможности классификатору присвоить определенный ярлык им создается новый ненулевой класс NULL [7].
Каждая из приведенных примеров стратегий терпит неудачу, потому что не является адаптивной: она может блокировать один вид атаки, но оставляет другую уязвимость открытой для злоумышленника. Разработка защиты от мощного адаптивного атакующего - важная область исследований.
Рассмотрим способы защиты от извлечения конфиденциальных данных. Таковыми сейчас являются:
1. Усиление API - скрытие либо уменьшение его размерности.
2. Очистка данных - удаление из набора сведений, не подлежащих разглашению.
3. Усложнение модели [8]:
оптимальной выбор - байесовские модели, к примеру, более надежны, чем деревья решений;
регуляризация с целью исключения переобучения;
контроль знаний о модели - ограничение группы людей, допущенных к модели и ее разработке.
4. Обнаружение аномальных по сравнению с обычными пользователями запросов (аналогично поиску выбросов при вредоносном воздействии на набор обучающих данных).
5. Организация дифференциальной конфиденциальности.
Атаки на конфиденциальность в настоящее время наименее изучены, а применяемые способы защиты либо дорогостоящи, либо имеют низкую эффективность.
В целом стоит отметить, что существующие способы защиты от вредоносных воздействий не универсальны, не адаптивны, отдельные требуют больших временных и финансовых затрат, а способы защиты от извлечения конфиденциальных данных и вовсе практически не изучены. С учетом массового применения процессов машинного обучения в деятельности человека,
Международная научно-практическая конференция обеспечение безопасности их применения - одна из приоритетных задач
современной науки.
Библиографический список:
1. Ian J. Goodfellow, Jonathon Shlens & Christian Szegedy. Explaining and Harnessing Adversarial Examples. arXiv:1412.6572v3. March, 2015.
2. Hossein Hosseini, Yize Chen, Sreeram Kannan, Baosen Zhang, Radha Poovendran. Blocking Transferability of Adversarial Examples in Black-Box Learning Systems. arXiv:1703.04318v1. March, 2017.
3. Jacob Steinhardt, Pang Wei Koh, Percy Liang. Certified Defenses for Data Poisoning Attacks. arXiv:1706.03691. November, 2017.
4. Blaine Nelson, Marco Barreno, Fuching Jack Chi, Anthony D. Joseph, Benjamin I. P. Rubinstein, Udam Saini, Charles Sutton, J. D. Tygar, Kai Xia. In Machine Learning in Cyber Trust: Security, Privacy, Reliability, eds. J. Tsai andP..Yu (eds.) Springer, 2009, pp. 17-51.
5. Octavian Suciu, Radu Marginean, Yigitcan Kaya, Hal Daume III, Tudor Dumitras. Technical Report: When Does Machine Learning FAIL? Generalized Transferability for Evasion and Poisoning Attacks arXiv:1803.06975v2. March, 2019.
6.Giuseppe Ateniese, Giovanni Felici, Luigi V. Mancini, Angelo Spognardi, Antonio Villani, Domenico Vitali. Hacking Smart Machines with Smarter Ones: How to Extract Meaningful Data from Machine Learning Classifiers. arXiv:1306.4447v1. June, 2013.
7. Matt Fredrikson, Somesh Jha, Thomas Ristenpart. Model Inversion Attacks that Exploit Confidence Information and Basic Countermeasures. In CCS '15: Proceedings of the 22nd ACM SIGSAC Conference on Computer and Communications Security. October, 2015.
8. Stacey Truex, Ling Liu, Mehmet Emre Gursoy, Lei Yu, and Wenqi Wei. Demystifying Membership Inference Attacks in Machine Learning as a Service. In IEEE Transactions on Services Computing. February, 2019.
