CC BY
46М.П. Булавинова
ПРОБЛЕМЫ ПРИМЕНЕНИЯ АВТОНОМНЫХ СИСТЕМ В ВОЕННОЙ СФЕРЕ
DOI: 10.31249/scis/2020.00.04
Аннотация. В статье рассматриваются вопросы, связанные с применением автономных систем в военной сфере. Как успехи в повышении автономности технических систем влияют на ведение военных действий? Какие риски несут полностью автономные системы? Как избежать ошибок в их использовании? Какие принципы могут стать основой для решения этических и правовых вопросов, связанных с применением автономных систем? Все эти вопросы находятся в центре внимания не только военных, ученых и инженеров, но и широкой общественности.
Abstract. The article discusses the problems of using autonomous systems in the military sphere. How does success in increasing the autonomy of technical systems affect military operations? What are the risks of fully autonomous systems? How to avoid mistakes in their use? What principles can become the basis for solving ethical and legal issues related to the use of autonomous systems? All these problems are in the focus of attention not only of the military, scientists and engineers, but also of the society.
Ключевые слова: автономные технологии; автономные системы вооружений; международное гуманитарное право; оговорка Мартенса; человек внутри управления, над управлением, вне управления; значимый человеческий контроль.
Keywords: autonomous technologies; autonomous weapon systems; international humanitarian law; Martens clause; human in, on, out of the loop; meaningful human control.
Стремительное развитие современных информационных технологий приводит к росту различных возможностей использования автономных беспилотных систем - от беспилотных автомобилей до заводских роботов. Современные технологии настолько глубоко вошли в жизнь людей, что они «становятся не только каждым днем, но каждый день становится технологией» [6, p. 5]. Машины выполняют всё более сложные действия: они заботятся о стариках, водят автомобили, делают сложные хирургические операции, - и всё это без особой необходимости участия человека.
Активные разработки автономных систем ведутся сегодня и в военной сфере. Всё больше государств начинают исследования с целью создания систем вооружений1, в которых для выполнения задач люди больше не нужны. Такие системы не будут просто автоматизированными, а могут быть полностью автономными. И это - реальность: полуавтономные системы уже широко применяются. Главная цель создания таких систем - удалить человеческий персонал как можно дальше от поля военных действий и от риска причинения ему вреда. Чем более продвинутыми становятся технологии, тем дальше люди от поля битвы. Следующий шаг в «дегуманизации» боевых действий может убрать человека из процесса вообще.
Системы оружия, имеющие высокий уровень автономии, будут способны контролировать собственные действия, самостоятельно обнаруживать цели и принимать собственные решения -стрелять или не стрелять - без какого-либо человеческого вмешательства. А системы оружия, включающие сильный искусственный интеллект, будут даже способны к обучению. Более того, в будущем такое оружие сможет адаптировать свое функционирование к меняющимся условиям.
Автономность может проявляться в разной степени. Различают «автономные системы» (autonomous systems), «полуавтономные системы» (semi-autonomous systems) и «полностью автономные системы» (fully autonomous systems). Эти термины тесно связаны с понятиями «человек внутри управления» (human in the loop), «человек над управлением» (human on the loop) и «человек вне управления» (human out of the loop) [3, p. 5]. То есть автономность рассчитывается в зависимости от степени участия человека в процессе. Полностью автономная система оружия - это система,
1 В российских публикациях - смертоносные автономные системы (САС). -Прим. авт.
которая работает абсолютно независимо. После активации она может самостоятельно выбирать и поражать цели без какого-либо одновременного контроля или возможности вмешательства со стороны человека.
В связи с тем что такие системы будут играть важную роль в будущих военных конфликтах, правительственные и неправительственные организации и эксперты в разных странах бурно обсуждают вопросы, связанные с возникающими вызовами: как успехи в создании автономных систем вооружений повлияют на ведение военных действий; как избежать ошибок в их использовании; какие риски несут такие системы?
Использование автономных систем вооружений вызывает множество не только технических или военных вопросов, но и этических, общественно-политических и правовых. Среди различных экспертов нет единого мнения относительно полезности, законности, этичности и даже желательности применения автономных систем вооружений.
С одной стороны, есть те, кто говорит о преимуществах автономных систем вооружений. Их аргументы заключаются в том, что эти системы могут обнаруживать и обрабатывать массивы сложной информации на огромной скорости; они могут быстро принимать решения и наносить более точные удары; поскольку они заменяют человека, они спасают жизни солдат, уменьшая количество жертв; в отличие от людей роботам не нужно защищаться; поскольку у роботов нет чувств, их можно заставить выполнять скучные, грязные и опасные задачи; поскольку у роботов нет чувств, на их решения не могут повлиять такие эмоции, как страх, гнев, эгоизм, месть, истерия и т.д.; роботы также не чувствуют голода или усталости.
С другой стороны, многие эксперты видят в автономных системах большую угрозу не только человеческой жизни, но и гуманистическим ценностям человечества. Человеческая жизнь теряет значение, когда машина принимает решение убить. Как любая технология, автономное оружие приведет к гонке вооружений, и, как и в случае с любыми другими технологиями, оно будет уязвимым для злоупотреблений; крупные неисправности таких систем могут приводить к серьезным сбоям и катастрофическим последствиям; обладание таким оружием одной из сторон конфликта приводит к диспропорциональности и несправедливости в отношении противоположной стороны. В отличие от людей роботы не испытывают таких чувств, как сострадание или жалость,
они не способны проявить милосердие; это может относиться и к разработчикам систем, программирующим параметры для машины: они далеки от полей сражений и могут быть совершенно безразличны к тем, кто в них участвует; сражение для них становится нереальным [6].
В зарубежных странах ведутся горячие дискуссии, главная тема которых - вызовы, связанные с применением автономных технологий в военной сфере. В них участвуют не только военные, но и ученые, политики и широкая общественность. Например, группа из более чем 50 неправительственных организаций (НПО) инициировала «Кампанию против роботов-убийц», призывающую к запрету применения автономного оружия.
В 2015 г. Центр новой американской безопасности (Center for a New American Security - CNAS) запустил проект «Этическая автономия», в котором подробно рассматриваются правовые, моральные, этические и политические аспекты, связанные с повышением уровня автономии в будущих системах вооружений. Цель этого проекта - помочь правительствам, экспертам, правоведам, ученым и военным решить сложные проблемы, возникающие в ходе развития автономии в различных технических системах. Этот диалог необходим для определения надлежащего баланса между этическими и стратегическими соображениями, технологическими возможностями и будущими потребностями в боевых роботах.
Перспектива распространения автономных систем вооружений вызвала волну большой тревоги и в обществе. Была инициирована международная кампания, организованная общественными организациями и академическими учеными, участники которой решительно выступили за запрет применения автономных систем. Открытое письмо было подписано такими влиятельными фигурами, как физик Стивен Хокинг, один из основателей Apple Стив Возняк и основатель Tesla Илон Маск [7].
В нашумевшем докладе «Потеря человечности: Дело против роботов-убийц» [5], представленном неправительственной организацией Human Rights Watch (HRW) и Международной клиникой по правам человека при Гарвардской школе права, утверждается, что любые полностью автономные системы оружия являются сами по себе нарушением международного права и поэтому должны быть запрещены международным сообществом. В отчете говорится, что «полностью автономные системы вооружений не только не смогут соответствовать правовым нормам, но и подорвут гарантии для гражданских лиц. На основе наших исследований можно
сделать решительный вывод: полностью автономное оружие должно быть запрещено, и правительства не должны преследовать цель его создания» [3, р. 7]. В своем анализе применения международного права к автономным системам оружия эти организации уделяют большое внимание принципам различия, пропорциональности и военных потребностей, используемым в вооруженных конфликтах.
Главный аргумент HRW заключается в том, что автономные системы вооружений не смогут точно различать комбатантов и гражданское население: «Полностью автономное оружие не способно чувствовать или интерпретировать разницу между солдатами и гражданскими лицами, особенно в новых боевых условиях» [3, р. 7]. Современные конфликты часто носят асимметричный характер. «В этих конфликтах комбатанты не носят форму или знаки отличия. Вместо этого они стремятся смешаться с гражданским населением и часто идентифицируются по их поведению или их непосредственному участию в военных действиях» [3, р. 7]. Автономные системы вооружений не могут провести различие между комбатантами и гражданскими лицами в таких обстоятельствах по ряду причин: во-первых, робот может не иметь адекватных датчиков, во-вторых, и что более важно, в отсутствие униформы или знаков отличия единственный способ различить комбатантов и гражданское население - это определение намерения. Между тем один из способов его определить - понять эмоциональное состояние человека, что может быть сделано, только если у солдата есть эмоции.
По сути, автономные системы вооружений являются нарушением международного права в силу их неспособности выполнять тип анализа соразмерности, требуемый Женевскими конвенциями. То есть: чтобы соответствовать международному праву, военное преимущество любого предполагаемого нападения должно быть сопоставлено с ожидаемой гибелью, ранениями гражданского населения или повреждением гражданского имущества. Сомнительно, что робот может быть запрограммирован на все возможные сценарии и действовать в режиме реального времени. В случае столкновения с незнакомым сценарием он может повести себя хаотично и выйти из строя.
Использование полностью автономного оружия поднимает серьезные вопросы ответственности, которые разрушают установленный инструмент для защиты гражданского населения. Учитывая, что робот может определить цель и начать атаку самостоя-
тельно, неясно, кто должен нести ответственность за незаконные действия, которые он может совершить.
Наконец, по утверждению HRW, полностью автономные системы оружия также не смогут определить, соответствует ли какое-либо конкретное действие стандарту военной необходимости, и развертывание полностью автономных систем на поле битвы с гражданскими лицами может нарушать оговорку Мартенса в Женевских конвенциях, запрещающих оружие, нарушающее «принципы гуманности». В международном гуманитарном праве оговорка Мартенса означает, что, если то или иное положение прямо не предусмотрено статьями действующего права, в ситуациях вооруженных конфликтов сторонам необходимо в первую очередь руководствоваться принципами гуманности, человечности и здравого смысла.
Таким образом, помимо соблюдения законов войны разработка и развертывание полностью автономных систем вооружений должны быть доведены до дополнительного уровня правовых и политических ограничений.
Основным понятием дискуссий, посвященных применению автономных систем вооружений, является понятие «человеческий контроль». Этот термин не новый, он уже давно используется сторонниками и противниками автономных технологий, в частности в отношении полуавтономных систем. Международный комитет по контролю за роботизированными вооружениями (International Committee for Robot Arms Control - ICRAC) предупреждает о тяжелых последствиях «потери человеческого контроля в деле поддержания безопасности в условиях применения смертоносного оружия и ведения военных действий...» [8, p. 2].
Статья 36 британской НПО (UK NGO Article 36) ввела термин «значимый человеческий контроль» (meaningful human control), который был принят гражданским обществом и некоторыми государствами в качестве полезной концепции для обсуждения вопросов об автономии в системах вооружений. Концепция «значимого человеческого контроля» может рассматриваться в качестве инструмента, позволяющего исключить использование систем, которые могут идентифицировать и атаковать цели без какого-либо вмешательства человека.
«Значимый» - изначально субъективное понятие, поскольку люди придают разные значения одним и тем же фактам. В данном контексте оно указывает на время, необходимое для вмешательства человека, вынесения его суждения, отмены или прекращения
атаки. Понятие «человеческий контроль» также может иметь разные значения. С одной стороны, контроль может означать, что оператор-человек управляет системой и принимает все важные решения, в том числе решение атаковать данную цель. С другой стороны, человеческий контроль может быть в достаточной степени осуществлен на этапе проектирования системы и, таким образом, может обеспечить ее надежное функционирование без наличия человека «над управлением» [8, р. 3].
Термин «значимый человеческий контроль» может внести большой вклад в обсуждение вопросов, связанных с применением автономных систем вооружений.
Во-первых, он позволяет структурировать дебаты. Многие эксперты и представители государственных органов уже широко используют его в своих аргументах и рекомендациях политикам, принимающим решения.
Во-вторых, он может служить руководством в разработке технологических систем. Это понятие может стать важным гарантом того, что системы, включающие искусственный интеллект, будут использоваться только на благо человечества.
В-третьих, это понятие помогает определить нормативные границы. Сегодня требование соблюдения человеческого контроля не четко проявлено в международном законе, регулирующем использование военной силы. Многие эксперты выступают за более четко сформулированные законодательные требования в отношении каждой атаки. На базе этого принципа должны быть разработаны более конкретные технические, политические и правовые ограничения использования автономных систем в военных целях. Автономные системы вооружений, в которые не будет заложен этот принцип, должны быть категорически запрещены.
В заключение отметим, что обсуждение проблем, связанных с повышением автономности технологий и применением автономных систем вооружений, на глобальном или национальном уровне должно быть прежде всего социальным и политическим процессом, а не просто техническим или юридическим мероприятием. Международное сообщество уже заявило о своей готовности принять участие в рассмотрении этих вопросов, и, поскольку различные подходы к этой теме указывают на то, что общая точка зрения уже определена, сложилась прочная основа для дальнейшего развития этих дискуссий.
Список литературы
1. Смертоносные автономные системы вооружений: Проблемы современного международно-правового регулирования и перспективы их решения // Международная жизнь. - 2019. - № 2. - Режим доступа: https://interaffairs.ru/jauthor/ material/2152
2. Autonomous weapons systems: Law, ethics, policy / Bhuta N., Beck S., Geiss R., Liu Hin-Yan, Kress K. (eds.). - Cambridge: Cambridge univ. press, 2017. - 420 p.
3. Cook A. Taming killer robots: Giving meaning to the «Meaningful human control»: Standard for lethal autonomous weapon systems - Maxwell AFB: Air univ. press, 2019. - 24 p. - (JAG school paper; N 1).
4. Horowitz M.C., Scharre P. Meaningful human control in weapon systems: A primer: Working paper // Center for a new American security. - 2015. - March. - 16 p.
5. Loosing humanity: The case against killer robots. - Human Rights Watch; International human Rights Clinic, 2012. - 49 p.
6. Petman J. Autonomous weapons systems: «Out of the loop». - Helsinki: The Eric Castren Institute of International Law and Human Rights, 2017. - 76 p. - (Research report).
7. Sio F.S., de, Hoven J., van den. Meaningful human control over autonomous systems: A philosophical account // Fronties in robotics and AI. - 2018. - Vol. 5:15. -14 p. - Mode of access: https://doi.org/10.3389/frobt.2018.00015
8. The weaponization of increasingly autonomous technologies: Considering how meaningful human control might move the discussion forward. - United Nations Institute for Disarmament research, 2014. - N 2. - 9 p.
