CC BY-NC
157Тренды и управление
Правильная ссылка на статью:
Душкин Р.В., Андронов М.Г. — Использование методов искусственного интеллекта для организации беспилотного движения // Тренды и управление. - 2020. - № 1. - С. 51 - 58. DOI: 10.7256/24540730.2020.1.30722 URL: https://nbpublish.com'Hbrary_read_article.php?id=30722
Использование методов искусственного интеллекта для организации беспилотного движения
□
Душин Роман Викторович
Директор по науке и технологиям, Агентство Искусственного Интеллекта 127473, Россия, Москва, г. Москва, пер. 1-Й волконский, 15
Андронов Михаил Григорьевич
Ведущий инженер-разработчик, Агентство Искусственного Интеллекта 119049, Россия, г. Москва, ул. Житная, 10
И [email protected] Статья из рубрики "Технологии внешнего управления"
DOI:
10.7256/2454-0730.2020.1.30722
Дата направления статьи в редакцию:
05-09-2019
Дата публикации:
23-06-2020
Аннотация.
Авторы подробно рассматривают вопросы применения отдельных технологий теории многоагентных систем в области организации дорожного движения с использованием беспилотных автотранспортных средств для борьбы с так называемыми «атаками при помощи оптических иллюзий» (или иначе — генеративно-состязательными атаками) на системы компьютерного зрения, используемые в таких автомобилях. В статье приводятся примеры генеративно-состязательных атак на нейронные сети различных типов, а также описываются проблемы и риски, которые возникают при использовании компьютерного зрения. Также приводятся возможные варианты решения описанных проблем. В качестве методологии исследования используется теория многоагентных систем в применении к автомобильному транспорту, что предполагает использование так называемого V2X-взаимодействия, то есть постоянного обмена информацией между автомобилем и различными акторами, участвующими в дорожном движении —
центральной системой управления, другими автомобилями, придорожной инфраструктурой и пешеходами. Особым вкладом авторов в исследование темы является применение теории многоагентных систем для организации дорожного движения при рассмотрении его акторов в качестве агентов с различными ролями. Новизна этого заключается в применении одного из направлений искусственного интеллекта для решения проблем, полученных из-за использования других методов искусственного интеллекта (распознавания образов в компьютерном зрении). Актуальность исследования основана на постепенном широком охвате исследованиями вопросов организации беспилотного движения на полигонах и автомобильных дорогах общего пользования.
Ключевые слова: искусственный интеллект, многоагентная система, рациональный агент, компьютерное зрение, генеративно-состязательная атака, оптическая иллюзия, V2X-взаимодействие, организация дорожного движения, беспилотное транспортное средство, искусственные нейронные сети
Проблемы компьютерного зрения
В последние десять лет задачи компьютерного зрения и подобные им стали решаться с использованием глубокого обучения и нейронных сетей. В этих задачах нейронные сети
показывают отличные результаты --81. Однако, наряду с высокой точностью распознавания образов в среднем, иногда нейросети делают неожиданные ошибки на примерах, которые никогда бы не допустил человек.
В 2013 году было установлено, что нейронные сети уязвимы к так называемым состязательным атакам (англ. adversarial attacks ). В статье ^ сотрудника компании Google Кристиана Жегеди с соавторами было показано, что, несмотря на высокую точность распознавания изображений, свёрточные нейронные сети могут дать неправильные предсказания для изображений, содержащих некоторые почти незаметные возмущения, причём с большой уверенностью. Одно и то же возмущённое изображение может «обмануть» несколько классификаторов с разными процедурами обучения и гиперпараметрами, что доказывает неслучайность неверного предсказания
Таким образом, состязательные атаки являются своего рода «оптическими иллюзиями» для распознающих изображения нейросетей. Искусственная нейросеть даже может с высокой уверенностью классифицировать изображение как пешехода или автомобиль,
хотя изображение выглядит как случайный шум или набор абстрактных узоров -Ш. Однако оптические иллюзии в человеческом понимании нейросети не могут ни распознавать, ни генерировать, что в очередной раз подтверждает, что человеческое и
машинное зрение основаны на разных принципах --71.
Возмущённое изображение или другой возмущённый пример можно построить, решив задачу оптимизации. Допустим, есть некоторое изображение, которое каким-либо образом распознаётся классификатором. Это изображение является элементом некоторого математического пространства. Для построения возмущённого примера в этом пространстве нужно найти другое изображение, которое распознаётся классификатором иначе, но лежит в этом пространстве максимально близко к исходному избражению. Найденное возмущённое изображение называется состязательным примером (англ. adversarial example ) J91. Такая задача оптимизации может быть решена
разными способами, что приводит к множеству способов генерации возмущённых примеров, каждый из которых имеет свои особенности. К примеру, они могут быть
мгновенными или итеративными, универсальными или специфическими J41.
К состязательным атакам уязвимы не только свёрточные нейронные сети, но и другие архитектуры. Например, рекуррентные нейронные сети (RNN)^61. Также атакам подвержена сегментация и обучение с подкреплением -Ш!.
Различают атаки белого и чёрного ящиков. Атаки белого ящика предполагают знание атакуемой модели, её параметров, архитектуры и процедуры обучения. В свою очередь, атаки чёрного ящика состоят в построении состязательных примеров без знания структуры атакуемой модели J41.
После обнаружения феномена состязательных атак эта тема вызвала интерес у специалистов. В настоящее время разработано много методов генерации виртуальных состязательных примеров для нейросетей разного назначения в условиях белого и
чёрного ящиков J41.
Состязательные примеры не обязаны быть виртуальными. Например, был предложен метод для создания с помощью SD-принтера объектов, способных обмануть нейросети,
предназначенные для распознавания изображений J51.
Оптические иллюзии как главный метод атаки на беспилотные автомобили
Системы компьютерного зрения, установленные на беспилотных автомобилях и летающих дронах, основаны на свёрточных нейронных сетях (CNN). Опыт исследований в области состязательных атак вызывает беспокойство по поводу потенциальной угрозы безопасности при умышленной состязательной атаке на системы компьютерного зрения беспилотных летательных аппаратов и автомобилей. Необходимо проверить устойчивость э тих с ис те м к с о с тя з а те льным приме ра м.
В литературе описаны эксперименты над системами машинного зрения беспилотных автомобилей, целью которых было исследование устойчивости этих систем к с о с тя з а те льным а та ка м.
В одном из экспериментов были протестированы системы компьютерного зрения, установленные на автомобиле Tesla Model S 75 t21. В этом автомобиленейросети, распознающие изображения, используются для управления стеклоочистителями и для распознавания дорожной разметки. Для обеих систем были сгенерированы состязательные примеры. Архитектуры нейросетей были неизвестны, поэтому были применены атаки чёрного ящика. Для обмана детекторов дождя с помощью метода роя частиц был сгенерирован незаметный для человеческого глаза шум, который при наложении на фотографию интерьера заставил автомобиль включить стеклоочистители. Кроме того, была организована атака, при которой заметный глазу сгенерированный шум выводился на экран телевизора, поставленного перед камерой автомобиля. Детектор дождя среагировал на этот шум и включил стеклоочистители.
Также была организована атака на систему распознавания дорожной разметки. Линия разметки перестала детектироваться, когда на неё нанесли набор белых наклеек. Такая ситуация не является критичной для безопасности дорожного движения, потому что человек легко заметит такую атаку. Однако, детектор начал распознавать несуществующие линии разметки после помещения на асфальт трёх небольших белых
наклеек, которые, скорее всего, не вызвали бы тревоги у человека за рулём. Это привело к смене автомобилем полосы движения. Таким образом, эксперимент выявил уязвимости в нейросетевых моделях автомобиля.
В другом исследовании был проведен эксперимент, в результате которого был предложен алгоритм создания состязательных примеров путём модификации объектов
реального мира, например — дорожных знаков Нанесение чёрных и белых стикеров на дорожные знаки приводило к неправильному их распознаванию стандартными типами систем машинного зрения. Состязательные примеры были устойчивы к смене дистанции и угла обзора между объектом и камерой. Созданные состязательные примеры по виду были приближены к граффити на дорожных знаках. Они обманывали нейросеть в 100 % случаев в лабораторных условиях и в 80 % случаях в дорожных.
Проведённые эксперименты показывают, что системы компьютерного зрения, устанавливаемые на беспилотных автомобилях, крайне уязвимы к состязательным атакам. Нарушение корректной работы этих систем может приводить к опасным ситуациям на дороге, поэтому важно справляться с опасностью состязательных атак.
Многоагентная система беспилотного транспорта
На основе теории многоагентных систем представляется возможным создание многоагентной транспортной системы. Целью её построения является переход к беспилотному и безостановочному дорожному движению. Составляющими частями многоагентной транспортной системы должны стать разнообразные интеллектуальные агенты, главными из которых будут беспилотные автомобили. Согласно принятой классификации, выделяют следующие виды интеллектуальных агентов по возрастанию сложности
■ простые рефлексные агенты;
■ основанные на модели рефлексные агенты;
■ основанные на цели агенты;
■ основанные на полезности агенты;
■ самообучающиеся агенты.
В многоагентную транспортную систему могут входить все виды агентов, от простых рефлексных до самообучающихся, но беспилотные автомобили должны быть как минимум основанными на цели агентами. Простейшими рефлексными агентами могут быть, например, активные технические средства организации дорожного движения — «умное» периферийное оборудование автоматизированной системы управления дорожным движением. Если же в составе всего множества агентов рассматривать центральную управляющую систему, призванную оптимизировать дорожное движение и добиваться его безостановочности, то такой агент должен быть самообучающимся.
Беспилотные автомобили в многоагентной транспортной системе реализуют взаимодействие между собой и любым другим объектом (другими автомобилями, дорожной инфраструктурой, пешеходами и пассажирами и т. д.) посредством технологий беспроводной связи. Такое взаимодействие называется У2Х -взаимодействием.
Выделяются следующие типы У2Х -взаимодействия Ш^:
■ V2C - и C2V -взаимодействие — двухсторонний обмен информацией между автомобилем и центральной системой управления.
■ V2I - и I2V -взаимодействие — двухсторонний обмен информацией между автомобилем и придорожной инфраструктурой, прежде всего с техническими средствами организации дорожного движения.
■ V2V -взаимодействие — двухсторонний обмен информацией между несколькими а в то мобиля ми.
■ P2V -взаимодействие — получение автомобилем информации от пешеходов и пассажиров.
Между участниками дорожного движения могут быть и иные пары взаимодействий (например, I2C — между инфраструктурой и центральной системой). Фактически, должна быть построена матрица агентов, по которой должны быть рассмотрены все направления взаимодействия и их влияние на организацию дорожного движения.
Если, например, движущемуся беспилотному автомобилю грозит столкновение с другим автомобилем или объектом инфраструктуры, то он может быть предупреждён об этом по каналам связи У2Х-взаимодействий. Все приведённые типы взаимодействий в многоагентной транспортной системе призваны обеспечивать безопасность и безостановочность дорожного движения.
V2X-взаимодействие как возможный способ решения
Взаимодействие между элементами многоагентной транспортной системы может решить проблему потенциально опасных состязательных атак на любые нейросетевые модели, участвующие в управлении беспилотным автомобилем. Если одно из транспортных средств ошибается, то его ошибки могут быть исправлены за счёт взаимодействия с другими участниками движения, например, с другими беспилотными автомобилями или людьми (V2V- и Р2У-взаимодействие соответственно). Искусственная интеллектуальная система автомобиля, принимая решение о движении при распознавании дорожного знака, должна знать, какие решения приняли другие автомобили-агенты в этой же ситуации. В отдельных случаях дорожный знак может сам «сообщить» автомобилю о своём значении (^V-взаимодействие). В случае наличия в интеллектуальной транспортной системе центра управления возможно C2V-взаимодействие. В результате такого взаимодействия автомобиль будет руководствоваться не только своими системами машинного зрения, но и получать от центра актуальную карту местности. Разумеется, реализация всех видов взаимодействий с должной скоростью потребует новых технологий радиосвязи — например, 5G.
Библиография
1. Anh Nguyen, Jason Yosinski, Jeff Clune. Deep Neural Networks are Easily Fooled: High Confidence Predictions for Unrecognizable Images. arXiv preprint arXiv:1412.1897v4. 2015
2. Tencent Keen Security Lab: Experimental Security Research of Tesla Autopilot.
https ://keenlab.tencent.com/en/2019/03/29/Tencent-Keen-Security-Lab-Experimental-Security-Research-of-Tesla-Autopilot/
3. Kevin Eykholt, Ivan Evtimov, Earlence Fernandes, Bo Li, Amir Rahmati, Chaowei Xiao, Atul Prakash, Tadayoshi Kohno, Dawn Song. Robust Physical-World Attacks on Deep Learning Models. arXiv preprint arXiv:1707.08945v5 [cs.CR]. 2018
4- Naveed Akhtar, Ajmal Mian. Threat of Adversarial Attacks on Deep Learning in Computer Vision: A Survey. arXiv preprint arXiv:1801.00553v3 [cs.CV]. 2018
5. Anish Athalye, Logan Engstrom, Andrew Ilyas, Kevin Kwok. Synthesizing Robust Adversarial Examples. arXiv preprint arXiv:1707.07397v3 [cs.CV]. 2018
6. N. Papernot, P. McDaniel, A. Swami, R. Harang. Crafting adversarial input sequences for recurrent neural networks. 2016. IEEE Military Communications Conference. pp 4954.
7. Robert Max Williams, Roman V. Yampolskiy. Optical Illusions Images Dataset. arXiv preprint arXiv:1810.00415v2 [cs.CV]. 2018
8. François Chollet. Deep Learning with Python. 2018. Manning Publications Co.
9. Christian Szegedy, Wojciech Zaremba, Ilya Sutskever, Joan Bruna, Dumitru Erhan, Ian Goodfellow, Rob Fergus. Intriguing properties of neural networks. arXiv preprint arXiv:1312.6199v4 [cs.CV]. 2014.
10. Рассел С., Норвиг П. Искусственный интеллект: современный подход, 2-е изд. М.: Издательский дом «Вильямс», 2006. 1408 с.
11. Душкин Р. В. ^V-взаимодействие — основа беспилотного движения // Дорожная держава. 2018. № 85.
12. J.H. Metzen, M.C. Kumar, T.Brox, V.Fisher. Universal Adversarial Perturbations against semantic image segmentation. In proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. pp 2755-2764. 2017.
13. Yen-Chen Lin, Zhang-Wei Hong, Yuan-Hong Liao, Meng-Li Shih, Ming-Yu Liu, Min Sun. Tactics of Adversarial Attack on Deep Reinforcement Learning Agents. arXiv preprint arXiv:1703.06748v3 [cs.LG]. 2017
Результаты процедуры рецензирования статьи
В связи с политикой двойного слепого рецензирования личность рецензента не раскрывается.
Со списком рецензентов издательства можно ознакомиться здесь.
Предмет исследования - проблемы компьютерного зрения, противодействия состязательным атакам при организации беспилотного дорожного (автомобильного) движения с использованием методов искусственного интеллекта. Методология исследования основана на теоретическом и модельном подходах с применением методов анализа, моделирования, обобщения, сравнения, синтеза. Актуальность исследования обусловлена активным использованием беспилотных аппаратов (дроны, автомобили) в различных отраслях современной экономики и, соответственно, необходимостью изучения и проектирования систем компьютерного зрения, способов противодействия состязательным атакам, в том числе с использованием методов искусственного интеллекта. Научная новизна автором в явном виде не выделена и, по-видимому, связана с полученными выводами о том, что взаимодействие между элементами многоагентной транспортной системы может решить проблему потенциально опасных состязательных атак на нейросетевые модели, участвующие в управлении беспилотным автомобилем. Если одно из транспортных средств ошибается, то его ошибки могут быть исправлены за счёт взаимодействия с иными участниками движения - автомобилями, людьми с учётом того, какие решения приняли другие агенты в этой же ситуации. Реализация такого взаимодействий с должной скоростью потребует применения новых технологий радиосвязи (например, 5G). Стиль изложения научный. Статья написана русским литературным языком. Текст имеет в целом реферативно-описательный
характер. Структура рукописи включает следующие разделы: Проблемы компьютерного зрения (задачи компьютерного зрения, использование глубокого обучения и нейронных сетей, высокая точность распознавания образов, неожиданные ошибки, уязвимость к состязательным атакам, «оптические иллюзии», возмущённое изображение, задача оптимизации, состязательный пример, уязвимые архитектуры - рекуррентные нейронные сети, сегментация, обучение с подкреплением, атаки белого и чёрного ящиков, методы генерации виртуальных состязательных примеров для нейросетей разного назначения в условиях белого и чёрного ящиков), Оптические иллюзии как главный метод атаки на беспилотные автомобили (системы компьютерного зрения, свёрточные нейронные сети, угрозы безопасности при умышленной состязательной атаке на системы компьютерного зрения беспилотных летательных аппаратов и автомобилей, устойчивость систем к состязательным примерам, эксперименты над системами машинного зрения беспилотных автомобилей, обман детекторов дождя с помощью метода роя частиц, атака на систему распознавания дорожной разметки, алгоритм создания состязательных примеров путём модификации объектов реального мира - дорожных знаков), Многоагентная система беспилотного транспорта (создание многоагентной транспортной системы с целью перехода к беспилотному и безостановочному дорожному движению, виды интеллектуальных агентов по возрастанию сложности - простые рефлексные агенты, основанные на модели рефлексные агенты, основанные на цели агенты, основанные на полезности агенты, самообучающиеся агенты, беспилотные автомобили в многоагентной транспортной системе, V2X-взаимодействие и его виды), V2X-взаимодействие как возможный способ решения (взаимодействие между элементами многоагентной транспортной системы, V2V- и P2V-взаимодействие, ^V-взаимодействие, C2V-взаимодействие), Библиография. Желательно оформить «Введение» и «Заключение» (выводы). В целом объём рукописи можно расширить. Содержание в целом не соответствует названию. Во-первых, не ясно, о каких именно методах искусственного интеллекта, используемых для организации беспилотного движения, идёт речь. Во-вторых, в формулировке заголовка следует конкретизировать объект (движение беспилотных автомобилей) и предмет (проблемы компьютерного зрения, противодействия состязательным атакам) исследования. Некоторые примеры (в частности, с дорожной разметкой, дорожными знаками) не относятся к беспилотному движению в целом (уместны для автомобилей, но не для летательных аппаратов). Библиография включает 13 источников отечественных и зарубежных авторов -монографии, научные статьи, препринты, Интернет-ресурсы. Библиографические описания некоторых источников нуждаются в корректировке в соответствии с ГОСТ и требованиями редакции, например: 2. Keen T. Security Lab: Experimental Security Research of Tesla Autopilot. URL: https://keenlab.tencent.com/en/2019/03/29/Tencent-Keen-Security-Lab-Experimental-Security-Research-of-Tesla-Autopilot. 6. Papernot N., McDaniel P., Swami A., Harang R. Crafting adversarial input sequences for recurrent neural networks // IEEE Military Communications Conference. Место издания ??? , 2016. P. 49-54. 8. Chollet F. Deep Learning with Python. Место издания ??? : Manning Publications Co, 2018. ??? р. 11. Душкин Р. В. ^V-взаимодействие — основа беспилотного движения // Дорожная держава. 2018. № 85. С. ???-???. 12. J.H. Metzen, M.C. Kumar, T.Brox, V.Fisher. Universal Adversarial Perturbations against semantic image segmentation // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Место издания ???, 2017. P. 2755-2764. Для источников №№ 1, 3, 4, 5, 7, 9, 13 (препринты) следует указать выходные данные, позволяющие читателю ознакомиться с ними при необходимости. Апелляция к оппонентам (Nguyen A., Yosinski J., Clune J., Eykholt K., Evtimov I., Fernandes I., Li B., Rahmati A., Xiao C., Prakash A., Kohno T., Song T., Akhtar N., Mian A., Athalye A., Engstrom L., Ilyas A., Kwok K., Papernot N., McDaniel P., Swami A.,
Harang R., Williams R. M., Yampolskiy R. V., Chollet F., Szegedy C., Zaremba W., Sutskever I., Bruna J., Erhan D., Goodfellow I., Fergus R., Рассел С., Норвиг П., Душкин Р. В., Metzen J.H., Kumar M.C., Brox T., Fisher V., Yen-Chen Lin, Zhang-Wei Hong, Yuan-Hong Liao, Meng-Li Shih, Ming-Yu Liu, Min Sun и др.) имеет место.Замечен ряд опечаток: но лежит в этом пространстве максимально близко к исходному избражению - но лежит в этом пространстве максимально близко к исходному изображению; В этом автомобиленейросети, распознающие изображения - В этом автомобиле нейросети, распознающие изображения. Аббревиатуры RNN, CNN используются однократно, можно удалить. Многократно используемый термин «многоагентная транспортная система» желательно сократить. В целом рукопись соответствует основным требованиям, предъявляемым к научным статьям. Материал представляет интерес для читательской аудитории и после доработки может быть опубликован в журнале «Транспортный вестник» (рубрика «Перспективные виды транспорта»).
