CC BY
20
Вестн. Моск. ун-та. Сер. 25: Международные отношения и мировая политика. 2021. № 4. С. 182-205 Moscow University Bulletin of World Politics. 2021. No. 4. P. 182-204
МЕЖДУНАРОДНАЯ БЕЗОПАСНОСТЬ INTERNATIONAL SECURITY
DOI: 10.48015/2076-7404-2021-13-4-182-204
Научная статья /Research paper
А.Ю. Липова*
МАШИНА ПРОТИВ ЧЕЛОВЕКА: ДИСКУССИИ В ЭКСПЕРТНОМ СООБЩЕСТВЕ ВОКРУГ СМЕРТОНОСНЫХ АВТОНОМНЫХ СИСТЕМ
Федеральное государственное бюджетное образовательное учреждение высшего образования «Московский государственный университет имени М.В. Ломоносова» 119991, Москва, Ленинские горы, 1
В последнее время проблематика регулирования автономных систем вооружений приобрела качественно новое значение. Несмотря на то что разработка данного типа оружия началась еще в ХХ в., технологический прогресс открывает возможности полностью роботизировать боевые системы, исключив участие человека при их эксплуатации. В данном контексте возникает целый ряд этико-правовых и нормативных коллизий, которые мировому сообществу еще предстоит разрешить. В рамках настоящей статьи предпринята попытка проанализировать дискуссии в западном и отечественном экспертных сообществах вокруг проблем и перспектив использования смертоносных автономных систем (САС). Автор отмечает, что в ключевых вопросах взгляды российских и зарубежных исследователей совпадают, разница заключается скорее в степени интенсивности соответствующего дискурса — на Западе он значительно более активен. В настоящий момент наиболее интенсивная полемика среди как отечественных, так и западных экспертов ведется по двум направлениям: вокруг проблемы реальной и возможной автономности смертоносных систем и связанной с ней проблемы подотчетности, а также вокруг перспектив правового регламентирования использования САС на международном уровне. При этом и российские, и зарубежные эксперты сходятся во мнении, что современное международное гуманитарное право (МГП) не
* Липова Анастасия Юрьевна — соискатель кафедры международной безопасности факультета мировой политики МГУ имени М.В. Ломоносова (e-mail: [email protected]).
способно адекватно решить вопросы, которые возникают в связи со всё более активной разработкой и внедрением САС. Всё это указывает на необходимость скорейшей адаптации МГП к реалиям современной эпохи, что в свою очередь требует принятия согласованных мер со стороны ведущих государств и международных организаций.
Ключевые слова: смертоносные автономные системы, международное гуманитарное право, проблема подотчетности, ситуационная осведомленность, искусственный интеллект, международная безопасность, стратегическая стабильность.
Для цитирования: Липова А.Ю. Машина против человека: дискуссии в экспертном сообществе вокруг смертоносных автономных систем // Вестник Московского университета. Серия 25: Международные отношения и мировая политика. 2021. Т. 13. № 4. С. 182-204. DOI: 10.48015/2076-7404-2021-13-4-182-204.
Anastasiya Yu. Lipova
MAN AGAINST MACHINE:
DEBATES IN THE EXPERT COMMUNITY
ON THE LETHAL AUTONOMOUS SYSTEMS
Lomonosov Moscow State University 1 Leninskie Gory, Moscow, Russia, 119991
In the recent years debates surrounding the autonomous weapons systems development and regulation have gained a new momentum. Despite the fact that the development of such type of weapons continues since the twentieth century, recent technological advances open up new possibilities for development of completely autonomous combat systems that will operate without human intervention. In this context, international community faces a number of ethical, legal, and regulatory issues. This paper examines the ongoing debates in both the Western and the Russian expert community on the challenges and prospects for using lethal autonomous systems. The author notes that Russian and Western discourses on most of the issues have very much in common and differences are found mainly in the intensity of debates — in the West they are much more active. In both cases the most active debates focus around two issues: the potential implications of fully autonomous weapons systems including the unclear line of accountability, and the prospects for international legal regulation of the use of lethal autonomous weapons. Both the Russian and the Western experts agree that the contemporary international humanitarian law is unable to handle the
challenges posed by aggressive development of the lethal autonomous weapons. All this points to the need to adapt the international humanitarian law to the new realities, which, in turn, requires concerted actions from leading states and international organizations.
Keywords: lethal autonomous weapons, international humanitarian law, accountability, situational awareness, artificial intelligence, international security, strategic stability.
About the author: Anastasiya Yu. Lipova — PhD Candidate at the Chair of International Security, School of World Politics, Lomonosov Moscow State University (e-mail: [email protected]).
For citation: Lipova A.Yu. 2021. Man against machine: Debates in the expert community on the lethal autonomous systems. Moscow University Bulletin of World Politics, vol. 13, no. 4, pp. 182-204. DOI: 10.48015/20767404-2021-13-4-182-204. (In Russ.)
Постановка проблемы
Военная сфера неразрывно связана с технологическим развитием и оказывает существенное влияние на темпы роста инноваций, поскольку традиционно обеспечивает технологический прогресс и становится проводником внедрения новых технологий в повседневную жизнь. Один из новейших трендов развития военных технологий в настоящее время — разработка автономных систем вооружений (autonomous weapons systems)1.
Механизация военных действий началась еще в Античности, а высокоавтоматизированные системы вооружений появились в ходе Второй мировой войны, однако существовавшие ранее машины требовали постоянного человеческого вовлечения во все процессы. Новизна автономных систем, активная разработка которых началась в конце XX в. и происходит в настоящее время, заключается в их полной роботизации и предполагаемой эксплуатации без участия человека. Таким образом, сегодня общество приближается к совершенно новому этапу технологического развития, в котором человек рискует перестать быть единственным источником принятия решений. Снижение роли человека в военных действиях порождает ряд этико-моральных
1 Horowitz M.C. Ban killer robots? How about defining them first? // Bulletin of the Atomic Scientists. 24.06.2016. Available at: https://thebulletin.org/2016/06/ban-killer-robots-how-about-defining-them-first/ (accessed: 12.09.2021).
проблем, вокруг которых в последние годы развернулись активные дискуссии в экспертном сообществе. В рамках настоящей статьи предпринята попытка проанализировать процесс осмысления настоящей проблематики в западном и отечественном экспертных сообществах с целью в первую очередь осветить этические и правовые аспекты применения смертоносных автономных систем (САС).
В целом роботизированное оружие по степени вмешательства человека в его работу можно разделить на три категории:
• оружие, требующее участия человека в схеме принятия решений (автоматизированное оружие, human in the loop)',
• оружие, за работой которого следит человек (полуавтономное оружие, human on the loop),
• оружие, не требующее вмешательства человека (полностью автономное, как в случае САС, human out of the loop)2.
На сегодняшний день разработка автономных систем вооружений стала одной из приоритетных задач, стоящих перед военно-промышленными комплексами многих стран. В рамках марафона «Новое знание» министр обороны РФ С.К. Шойгу заявил о существовании «не просто экспериментальных образцов, а роботов»3, которые способны воевать самостоятельно. Министр рассказал также о подготовке к созданию первого подразделения в Российской армии, состоящего из 20 роботов. Сейчас на вооружении находится боевой дрон «Уран-9», созданный для осуществления огневой поддержки и разведывательной деятельности. Автономные системы используются и для действий на воде и под водой (например, российский робот «Посейдон» имеет ядерный двигатель и способен нести как ядерное, так и обычное вооружение). На стадии разработки находится и полуавтономное оружие, которое уже используется некоторыми странами. Например, робот Samsung SGR-A1 (Security Guard Robot), разработанный компанией Samsung Techwin совместно с Корейским университетом, помогает южнокорейским войскам патрулировать демилитаризованную зону между КНДР и Республикой Корея. Этот робот может распознать нарушителя, нацелиться на него и совер-
2 Autonomous weapon systems technical, military, legal and humanitarian aspects // ICRC. 01.11.2014. Available at: https://www.icrc.org/en/document/report-icrc-meeting-autonomous-weapon-systems-26-28-march-2014 (accessed: 10.09.2021).
3 Шойгу заявил о производстве в России серийных боевых роботов // РИА Новости. 22.05.2021. Доступ: https://ria.ru/20210521/robot-1733352974.html (дата обращения: 10.09.2021).
шить выстрел, тем не менее оператор-человек по-прежнему вовлечен в процесс нанесения удара и подтверждает необходимость выстрела4. Примерами полуавтономных систем также являются: Super aEgis II5, стоящий на вооружении Катара и ОАЭ, британский беспилотник Tanaris6, который может осуществлять наблюдение, определять цели, собирать данные и наносить удары; российская мобильная система «Соратник»7, технически способная атаковать цели самостоятельно; израильская система «Гарпия»8, предназначенная для обнаружения и поражения целей; американский робот Recon Scout и многие другие. Необходимо отметить: все проекты по разработке и эксплуатации вооруженных систем разной степени автономности реализуются в строжайшей секретности, что затрудняет процесс определения степени их готовности.
При этом на данный момент активно используется автоматизированное оружие, требующее участия человека в цепочке принятия решений: например, такие системы противовоздушной обороны, как Patriot Missile System или United State Navy System, которая автоматически защищает корабли от приближающихся ракет, или «Железный купол» Израиля. Внедряются автономные вертолеты (K-MAX) и самолеты (X-47B), запрограммированные летать по определенным маршрутам и совершать некоторый порядок действий, например взлетать и приземляться на авианосец. Кроме того, разрабатываемые дроны с дистанционным управлением (Terminator американской компании Lockheed Martin или SkyStriker израильской компании Elbit Systems) используются для контроля пограничных зон. Такое оружие находит большую поддержку в экспертном сообществе [Leveringhaus, 2016], тем не менее существует позиция, согласно которой отсутствие непосредственного визуального контакта с про-
4 Васильков А. Искусственный интеллект в боевых роботах // Компьютерра. 26.09.2018. Доступ: https://www.computerra.ru/231205/Iskusstvennyj-Intellekt-V-Boevyh-Robotah/ (дата обращения: 10.09.2021).
5 Super Aegis II robot //Army Guide. 16.07.2015. Available at: http://www.army-guide. com/index.php (accessed: 10.09.2021).
6 Taranis — беспилотник Великобритании // Вымпел-В. 18.08.2014. Доступ: http://vimpel-v.com/guns/avia/bpla/1067-taranis-bespilotnik-velikobritanii.html (дата обращения: 10.09.2021).
7 Там же. С. 4.
8 Барражирующие боеприпасы семейства IAI Harpy (Израиль) // Военное обозрение. 25.02.2018. Доступ: https://topwar.ru/154495-barrazhirujuschie-boepripasy-semejstva-iai-harpy-izrail.html (дата обращения: 10.09.2021).
тивником ведет к увеличению количества жертв, так как технологии создают среду, где легче совершать насилие [Benjamin, 2013].
Что касается полуавтономного оружия, находящегося под управлением оператора (например, Samsung SGR A-1), то, по мнению Ноэля Шарки, профессора Шеффилдского университета по вопросам искусственного интеллекта и робототехники, содиректора Фонда ответственной робототехники и председателя Международного комитета по контролю над роботизированным оружием (ICRAC), операторы, контролирующие работу системы, в большинстве случаев принимают рекомендации компьютера при выборе стратегии или конкретных шагов на поле боя. Нехватка времени приводит к тому, что операторы не анализируют имеющиеся у них данные, игнорируют двусмысленность сообщений системы и подавляют свои сомнения. Таким образом, наличие у оператора возможности остановить автономное оружие не гарантирует качественного выполнения работы, так как «предвзятость» автоматизации влияет на человека9.
Полностью автономное оружие находится в стадии разработки, но создание и вероятное развертывание САС повлечет за собой ряд серьезных проблем. Неизвестно, смогут ли эти системы принимать сложные этические решения на динамичном поле боя, проводить черту между солдатами и гражданскими лицами и оценивать пропорциональность применения силы. Другие проблемы, связанные с развертыванием полностью автономного оружия, включают непредсказуемое поведение, потерю контроля, аварии и неправильное использование [Krishnan, 2009].
Ключевые направления дебатов в западном экспертном сообществе
С 2014 г. этические и правовые аспекты применения САС рассматривались на ежегодных неофициальных совещаниях экспертов в рамках конференций по соблюдению Конвенции по «негуманному» оружию (КНО)10. В 2016 г. на 5-й обзорной конференции КНО было
9 Шарки Н., Канунникова Т. Автономное оружие представляет угрозу для международной безопасности // РСМД. 19.03.2020. Доступ: https://russiancouncil. ra/analytics-and-comments/columns/military-and-security/avtonomnoe-orazhie-predstavlyaet-ugrozu-dlya-mezhdunarodnoy-bezopasnosti/ (дата обращения: 15.09.2021).
10 Convention on prohibitions or restrictions on the use of certain conventional weapons which may be deemed to be excessively injurious or to have indiscriminate effects // ICRC. 28.11.2003. Available at: https://www.icrc.org/en/doc/assets/files/other/icrc_002_0811. pdf (accessed: 15.09.2021).
решено формализовать этот процесс и учредить группу правительственных экспертов по вопросу автономных систем оружия летального действия. Эта группа открыта для всех заинтересованных сторон, включая государства, международные организации, гражданское общество, научно-экспертное сообщество и представителей бизнес-среды.
На первой встрече экспертов в Женеве участники закрепили, что любые роботизированные разработки должны соответствовать нормам международного гуманитарного права (МГП) и ключевым правам человека, в частности праву на жизнь, на человеческое достоинство. Так, оговорка Мартенса, которая фигурирует в преамбуле Гаагской конвенции 1899 г. (II), говорит, что даже если то или иное положение прямо не предусмотрено статьями действующего права, то в ситуациях вооруженных конфликтов сторонам необходимо в первую очередь руководствоваться принципами гуманности, человечности и здравого смысла11. Более того, все системы оружия, новые технологии должны быть использованы в соответствии с МГП, прежде всего — с правилами ведения военных действий. Ответственность за обеспечение этого принципа лежит в первую очередь на том государстве, которое разрабатывает новые технологии ведения войны. Кроме того, важно отметить «принципы гуманности», вытекающие из Всеобщей декларации прав человека 1948 г.12 и Международного пакта о гражданских и политических правах 1966 г.13, а также ст. 36 Дополнительного протокола I 1977 г. к Женевским конвенциям 1949 г.14 о новых видах оружия.
Если говорить о главных противоречиях, возникающих в экспертной среде, то в первую очередь необходимо сказать о проблеме единой терминологии в отношении смертоносных систем вооружений. Так, Министерство обороны США в специальной директиве
11 Ibid. P. 9.
12 Всеобщая декларация прав человека // Генеральная Ассамблея ООН: Декларации. 10.12.1948. Доступ: https://www.un.org/ru/documents/decl_conv/ declarations/declhr.shtml (дата обращения: 12.09.2021).
13 Международный пакт о гражданских и политических правах // Генеральная Ассамблея ООН: Конвенции и соглашения. 16.12.1966. Доступ: https://www.un.org/ ru/documents/decl_conv/conventions/pactpol.shtml (дата обращения: 12.09.2021).
14 Дополнительный протокол к Женевским конвенциям от 12 августа 1949 года, касающийся защиты жертв международных вооруженных конфликтов // ICRC. 08.06.1977. Доступ: https://www.icrc.org/ru/doc/assets/files/2013/ap_i_rus.pdf (дата обращения: 12.09.2021).
дает следующее определение: «автономные системы вооружения — боевые автономные роботизированные системы, <.. .> которые после активации могут выбирать и поражать цели без дальнейшего вмешательства оператора»15. Неправительственная организация Human Rights Watch в свою очередь определяет смертоносные системы вооружений как роботов, «способных выбирать цели и применять силу без какого-либо вмешательства со стороны человека»16. Свою позицию обозначил и Международный комитет Красного Креста (МККК), трактующий САС как оружие, способное «самостоятельно <.. .> разыскивать, выявлять и поражать цели», а также «функционировать вне жестко заданных пространственно-временных рамок, сталкиваясь с разнообразными быстроменяющимися обстоятельствами»17. В этом отношении удачной представляется дефиниция, сформулированная отечественным исследователем Н.А. Синяевой, которая определяет смертоносные системы вооружений как «любую систему оружия с автономией в своих критических функциях, то есть систему вооружения, которая может выбирать и атаковать цели без вмешательства человека» [Синяева, 2021: 269].
Самые активные дискуссии идут вокруг вопроса о передаче процесса принятия решения о жизни и смерти автономным системам. Распространенная в экспертной среде точка зрения состоит в том, что такой поворот событий может сделать войну более бесчеловечной и снизить порог применения силы. Тем не менее часть экспертов утверждают, что автономные системы вооружений потенциально будут наносить меньше сопутствующего ущерба, так как сократят вероятность ошибки и увеличат точность18. Так, профессор факультета международного права Военно-морского колледжа США М. Шмитт полагает, что нелогично запрещать оружие на стадии его разработки, а также трудно и преждевременно говорить о его
15 Directive 3000.09 on autonomy in weapon systems // FAS. 21.11.2012. Available at: https://irp.fas.org/doddir/dod/d3000_09.pdf (accessed: 12.09.2021).
16 Killer robots // Human Rights Watch. 02.08.2021. Available at: https://www.hrw. org/topic/arms/killer-robots (accessed: 12.09.2021).
17 Автономные системы вооружения: вопросы и ответы // Международный комитет Красного Креста. Доступ: https://www.icrc.org/ru/doc/resources/documents/ faq/q-and-a-autonomous-weapons.htm (дата обращения: 12.09.2021).
18 Schmitt M.N. Autonomous weapon systems and international humanitarian law: A reply to the critics // National Security Journal. 05.02.2013. Available at: https://har-vardnsj.org/2013/02/Autonomous-Weapon-Systems-And-International-Humanitarian-Law-A-Reply-To-The-Critics/ (accessed: 12.09.2021).
большем ущербе по сравнению с техникой, управляемой человеком. Кроме того, если говорить об экспертах — сторонниках использования САС, то стоит упомянуть о профессоре Университета Дэлхаузи Д. Макинтоше, который утверждает, что «важно не то, чтобы был существенный человеческий контроль, а то, что необходимо иметь моральный контроль» ^аШоИ й а1., 2021: 13]. Он также задается вопросом о природе моральной стороны человека, заявляя, что между плохим человеком, готовым убить абсолютно невинного, и хорошим роботом, убивающим только того, кто заслуживает смерти, следует выбрать именно хорошего робота. Однако подобные воззрения подверглись достаточно серьезной критике как в западном, так и в отечественном экспертном сообществе. Впрочем, и среди критиков использования САС нет единства.
Так, П. Асаро, один из главных противников применения САС, вице-председатель неправительственной организации «Международный комитет по контролю над роботизированными вооружениями», отмечает, что МГП, регулирующее вооруженные конфликты, а также правила, по которым они ведутся, подразумевают абсолютную необходимость вовлечения человека в процесс принятия решения. Эксперт предлагает обновить существующие международные нормы, включив в них запрет на автономные системы вооружений. Более того, П. Асаро считает необходимым разработать принцип, согласно которому убийство человека требует осознанного и взвешенного человеческого решения [Азаго, 2012]. Наряду с П. Асаро вопрос справедливости убийства человека роботом исследуют Дж. Гэллиотт ^аШоИ, 2016] и А. Леверинхаус ^еуеп^Иаш, 2016]. Все они говорят о необходимости пересмотра системы международных норм, что в настоящем контексте выглядит весьма закономерно.
В то же время К. Хейнс, директор Института международного и сравнительного права в Африке при Преторийском университете и член Комитета по правам человека ООН отмечает текущую неспособность автоматизированных вооружений совершать точное прицеливание, а также отсутствие у автономных систем человеческого суждения, здравого смысла, понимания намерений, ценностей и ожиданий людей. Позиция ученого заключается в том, что автономное оружие не должно использоваться без человеческого контроля даже в случае его соответствия правовым нормам, так как его эксплуатация будет преступлением против права каждого человека на жизнь (из-за сбоев, которые может допустить система,
и отсутствия подотчетности). Он также подчеркивает, что «использование машинами смертоносного насилия против людей, делает их способными принимать практически любое другое решение — от самых обыденных до тех, которые могут определить, будет ли сохранена человеческая жизнь» [Heyns, 2017: 50]. В своем докладе19 в ООН в 2013 г. К. Хейнс призвал установить мораторий на разработку роботов-убийц, утверждая, что полученное время позволило бы найти ответы на существующие вопросы в рамках использования САС.
С ним солидарна Л. Сачмэн, профессор антропологии науки и техники Ланкастерского университета в Великобритании. Л. Сач-мэн утверждает, что машины не могут удовлетворить требование ситуационной осведомленности. Она приводит аргументы, подтверждающие тезис о том, что автономные системы вооружений не только не имеют ситуационного понимания в настоящее время, но и не смогут им обладать в обозримом будущем [Suchman, 2016].
Аналогичных взглядов придерживаются и ведущие международные, некоммерческие и неправительственные организации, выступающие против разработки и внедрения САС. Так, Международный комитет по контролю над роботизированным оружием (ICRAC) отмечает «отсутствие четких научных доказательств того, что роботизированное оружие имеет или может иметь в обозримом будущем функциональные возможности, необходимые для точного определения цели, ситуационной осведомленности или принятия решений относительно пропорционального применения силы», и полагают, что «решения о применении силы не могут делегироваться машинам»20. Организация Human Rights Watch совместно с Международной комиссией прав человека заявила, что такого «оружия не должно существовать в соответствии с международным гуманитарным правом, потому что [его использование] увеличит риск смерти или ранения гражданских лиц во время вооруженных конфликтов»21.
19 Хейнс С. Доклад специального докладчика по вопросу о внесудебных казнях, казнях без надлежащего судебного разбирательства или произвольных казнях // Генеральная Ассамблея ООН. 09.04.2013. Доступ: https://undocs.org/ru/A7HRC/23/47 (дата обращения: 10.09.2021).
20 Scientists call for a ban // Campaign to stop killer robots. 16.10.2013. Available at: https://www.stopkillerrobots.org/2013/10/scientists-call/ (accessed: 19.09.2021).
21 Losing humanity. The case against killer robots // Human Rights Watch. 19.11.2012. Available at: https://www.hrw.org/report/2012/11/19/losing-humanity/case-against-killer-robots (accessed: 10.09.2021).
В свою очередь организация Campaign to stop killer robots, которая включает более тысячи экспертов в области искусственного интеллекта, выступила с заявлением: «Позволить машинам принимать решения о жизни или смерти противоречит фундаментальным принципам морали» [Galliott et al., 2021: 2].
Важно отметить, что идея запрета автоматизированных систем не ограничивается сферой этико-философских дискуссий, а уже вышла на уровень практической политики. В 2014 г. в рамках КНО по инициативе Франции было проведено первое совещание экспертов по автономным системам вооружений, в котором приняли участие представители 87 стран. В рамках четырехдневного совещания эксперты обсудили технические, этические, социальные, правовые и оперативные проблемы, связанные с данными системами22.
Группы экспертов и международных организаций регулярно направляют в ООН открытые письма с призывами о запрете дальнейшей разработки и использования САС23. Крупные технологические компании и их представители также не стоят в стороне и критикуют идею создания полностью автономного оружия. Некоторые из них публично заявляют об отказе работать в этом направлении, например Clearpath Robotics24. В 2017 г. 116 компаний, специализирующихся на искусственном интеллекте и робототехнике, опубликовали письмо с призывом к государствам — участникам КНО принять меры по ограничению автономного оружия.
При этом некоторые исследователи, например П. Берген и Д. Ротенберг, отмечают, что, поскольку искусственный интеллект и робототехника могут быть применены во благо человечества в социальных и экономических сферах, в рамках переговорного процесса по автономному оружию следует избегать слишком жестких требований в отношении имплементации дополнительного законодательства или, тем более, полного запрета использования САС
22 Report of the 2014 informal meeting of experts on lethal autonomous weapons systems (LAWS) // UNDOCS. 09.05.2014. Available at: https://undocs.org/pdf7symboben/ ccw/msp/2014/3 (accessed: 15.09.2021).
23 Кеффер Л. Более 100 специалистов требуют от ООН запретить разработку автономного оружия // Коммерсантъ. 21.08.2017. Доступ: https://www.kommersant. ru/doc/3389860 (дата обращения: 19.09.2021).
24 Henessey M. Clearpath Robotics takes stance against 'killer robots' // Clearpath Robotics. 13.08.2014. Available at: https://clearpathrobotics.com/blog/2014/08/clearpath-takes-stance-against-killer-robots/ (accessed: 19.09.2021).
[Bergen, Rothenberg, 2014]. Тем не менее, как признают ученые, двойное использование этих технологий (в военных и гражданских целях) также означает, что автономная система, изначально предназначенная для гражданского использования, может быть превращена в смертоносное оружие, и это усложняет проблему [Margulies, 2018].
Дискуссия о возможностях и допустимости применения САС соприкасается с еще одной активно дебатируемой в экспертной среде проблемой, связанной с потенциальной угрозой со стороны искусственного интеллекта. Так, профессор философии Р. Спэр-роу [Sparrow, 2007] резко негативно относится к использованию искусственного интеллекта в военной сфере, в том числе в так называемых роботах-убийцах. В своей статье он в некоторой степени предвосхитил современные дебаты вокруг автономных систем вооружений. В первую очередь Р. Спэрроу говорит о невозможности привлечения машин, основанных на искусственном интеллекте, к ответственности, в то время как в рамках классических представлений о ведении войны всегда можно это сделать в отношении человека, отдавшего приказ. Однако ученый признает и невозможность остановить процесс внедрения искусственного интеллекта в военную сферу.
В противовес ему выступает специалист по робототехнике Р. Ар-кин [Arkin, 2010], который утверждает, что внедрение искусственного интеллекта сделает военные действия более гуманными.
В целом в основе дискуссии об угрозе со стороны искусственного интеллекта лежат опасения, что он в итоге может развить способности, превосходящие его создателей, тем самым став неконтролируемым. Речь идет о том, что искусственный интеллект может выйти не только за рамки человеческого контроля, но и за границы человеческого понимания. Однако такое развитие событий, как признают большинство экспертов, возможно только при совпадении целого ряда обстоятельств, которые в совокупности приведут к превращению искусственного интеллекта в «монстра», способного нести угрозу человечеству.
Сейчас же на первый план выходят более точечные вопросы. Например, Ю. Альтман и Ф. Сауэр в своем исследовании поднимают проблему подотчетности. Их позиция заключается в том, что использование полностью автономного оружия влечет дополнительные трудности в определении того, кто должен нести юридическую ответственность за действия робота: командир, программист, изго-
товитель или сам робот. Это в свою очередь ставит вопрос о том, не останутся ли противозаконные действия, совершенные посредством САС, безнаказанными [Altmann, Sauer, 2017]. Дж. Кааг и С. Крепс полагают, что юридическая ответственность должна лежать на тех, кто планирует операции, принимает стратегические решения и активирует процесс атаки, и что она не может быть перенесена на автономные системы [Kaag, Kreps, 2014]. В этом контексте некоторые эксперты также предостерегают от предоставления САС правосубъектности [Crootof, 2016]. Подчеркивается, что роботы не способны быть самостоятельными субъектами, что за них всегда кто-то несет ответственность, и она должна лежать именно на операторе машин.
Проблема подотчетности волнует не только экспертное сообщество, но и международные организации. Так, МККК неоднократно подчеркивал необходимость и с юридической, и с этической точки зрения наличия контроля со стороны человека над действиями автономного оружия (выбор цели, атака) и считает САС, находящиеся вне контроля оператора, незаконными25.
Эти опасения разделяет Г. Тамбуррини, итальянский эксперт в вопросах робототехники, который в своей работе «О запрете систем автономного оружия: от деонтологических до широких логических причин» утверждает, что автономные системы вооружений «потенциально угрожают глобальной безопасности больше, чем многие другие обычные вооружения» [Tamburrini, 2016: 140]. Он обосновывает это тем, что использование автономных систем устранит какие-либо препятствия для начала военных конфликтов. По мнению Г. Тамбуррини, автономные системы могут также ослабить традиционные факторы ядерного сдерживания, которые основаны на взаимном гарантированном уничтожении, так как данные системы могут быть использованы для нанесения обезоруживающих ударов по стратегическим ядерным силам противника для лишения его возможности нанести ответный ядерный удар. Г. Тамбуррини отмечает, что автономные системы даже без элемента «смертоносности» будут оказывать глобальное дестабилизирующее воздействие [Tamburrini, 2016]. К аналогичным выводам приходят Дж. Гэллиотт и Дж. Шольц, которые полагают, что уже в ближайшие десятиле-
25 Heed the call. A moral and legal imperative to ban killer robots // Human Rights Watch. 21.08.2018. Available at: https://www.hrw.org/report/2018/08/21/heed-call/moral-and-legal-imperative-ban-killer-robots#_Ftn115 (accessed: 19.09.2021).
тия развитие автономных систем может подорвать стратегическую стабильности и привести к пересмотру принципов сдерживания [Galliott, Scholz, 2018].
По мнению ряда зарубежных исследователей, например Х. Пер-ритта, Э. Шпарга [Perritt, Sprague, 2016] и М. Кларе26, проблемой мирового сообщества и международной безопасности может стать и неконтролируемое распространение автономных вооруженных систем, которое может спровоцировать новую гонку вооружений. К. Андерсон и М. Ваксман также отмечают, что неконтролируемое распространение САС может стать причиной их использования внутри какого-либо государства против местного населения (например, террористическими группировками и негосударственными субъектами) [Anderson, Waxman, 2013]. В конечном счете распространение САС может иметь серьезные отрицательные последствия для всего человечества.
Таким образом, подавляющее большинство западных исследователей сходятся во мнении, что в настоящий момент развитие САС скорее вредит обществу и международной безопасности. В то же время ученые констатируют, что сейчас не существует инструмента для ограничения разработок такого рода систем.
Смертоносные автономные системы: взгляды российских экспертов
Тема развития автономных систем вооружений довольно активно дебатируется и в российском экспертном сообществе. Внимание отечественных исследователей привлекают в первую очередь вопросы, связанные с потенциальным воздействием САС непосредственно на военную сферу.
В этом отношении следует выделить работы В. Козюлина, профессора Академии военных наук, директора проекта по новым технологиям и международной безопасности ПИР-Центра27. Автор не только анализирует текущую ситуацию вокруг движения за запрет «автономных боевых роботов», но и ищет возможные варианты правового регулирования роботизированных систем. Он отмечает,
26 Klare M.T. Autonomous weapons systems and the laws of war // Arms Control Association. 12.03.2019. Available at: https://www.armscontrol.org/Act/2019-03/Features/ Autonomous-Weapons-Systems-Laws-War (accessed: 12.09.2021).
27 Козюлин В. «Роботы-убийцы» на площадке ООН // Коммерсантъ. 15.11.2017. Доступ: https://www.kommersant.ru/doc/3467291 (дата обращения: 12.09.2021).
что будет чрезвычайно сложно полностью запретить роботов-убийц ввиду наличия терминологической путаницы, сложившейся на международном уровне не только вокруг термина «смертоносные автономные системы», но и вокруг определения самого понятия «оружие»28. При этом автор выделят три группы угроз со стороны автономных систем вооружений:
- исключение человека из цикла принятия решений — это порождает проблему «человеческого контроля», которая, как было показано выше, тесно связана с определением ответственных за действия роботов;
- возможный риск нарушения стратегической стабильности: появление «в ядерной сфере высокоточных тактических ядерных бомб и гиперзвуковых аппаратов с новыми ядерными боеголовками; в космической области — беспилотных космических дронов, систем низкоорбитальных спутников наблюдения и связи»29 может привести к определенной реконфигурации существующей стратегической стабильности;
- сокращение времени на принятие решений, когда человек уже не успевает адекватно среагировать на выбор, сделанный машиной (уже сейчас существует ряд программ (Maven, Diamond Shield, Пентагон), которые способны самостоятельно формировать сценарии для политического и военного руководства на основе сбора и анализа данных.
В этом отношении САС создают ситуацию новой гонки вооружений, а кибер- и гиперзвуковое оружие способно стать также средством стратегического сдерживания. Неядерные страны получают возможность формировать собственный потенциал как для сдерживания, так и для удара по противнику. Это ведет к определенной нивелировке роли ядерного оружия и системы контроля, связанной с ним. Кроме того, возникает риск технологического и военного отрыва одной из стран, повышения международной и региональной нестабильности, а также угроза распространения данных технологий среди негосударственных акторов. Всё это повышает риск возникновения нового полномасштабного конфликта.
28 Козюлин В. Три группы угроз смертоносных автономных систем // РСМД. 01.11.2018. Доступ: Ы:1рз://гшз1апсоипс11.ги/апа1у1:юз-апё-соттеп1з/апа1у1:юз/1г1-gгuppy-ugгoz-smeгtonosnykh-avtonomnykh-sistem/ (дата обращения: 12.09.2021).
29 Там же. С. 28.
Не меньшее внимание уделяется проблемам нормативно-правового регулирования САС. Отечественный эксперт Н.А. Синяева заостряет внимание на последствиях разработки автономных систем для международного права и говорит о том, что «обладание таким оружием может побудить государства снизить порог применения силы и, как следствие, увеличить частоту нападений» [Синяева, 2020: 74]. Она утверждает, что любое исключение человека из решения об убийстве является потенциально опасным [Синяева, 2020].
В свою очередь В. Архипов и В. Наумов поднимают вопрос о перспективах юридического регулирования разработки и применения автономных систем в рамках российского законодательства. Так, они предложили ввести две новые категории: «просто робот» и «робот-агент». «Просто робот» обозначает устройство, получающее информацию из внешнего мира без помощи человека, при этом правосубъектностью оно не наделяется, тогда как «робот-агент», по предложению упомянутых авторов, должен получить определенную правосубъектность, поскольку это «робот, который по решению собственника и в силу конструктивных особенностей предназначен для участия в гражданском обороте» [Архипов, Наумов, 2017: 50]. Стоит отметить, что, несмотря на отсутствие прямого выхода на военную проблематику в данной работе, в ней рассматриваются важные вопросы наделения роботов субъектностью, что в дальнейшем может быть спроецировано и на автономные системы вооружений.
Этико-правовым аспектам применения САС много внимания уделяет В.Н. Плакса. Он отмечает неспособность автономных систем различать гражданские и военные объекты, мирное население и комбатантов. В этой связи исследователь говорит о необходимости постоянного контроля со стороны человека за автономными системами вооружений, особенно при выборе целей, и подчеркивает, что это важно в контексте соблюдения норм МГП. При этом автор акцентирует два ключевых фактора, необходимых для обеспечения соблюдения норм международного права при использовании САС: предсказуемость и надежность [Плакса, 2020]. Первая обозначает степень уверенности в действиях автономной системы вооружений в разных условиях, вторая же характеризует стабильность функционирования роботов по назначению и без сбоев (в некоторой степени надежность — это мера того, насколько часто робот терпит неудачу). Проблему предсказуемости действий САС и их соответствия нормам МГП затрагивает в своей работе и Е.А. Голубенко [Голубенко, 2017].
Вопрос правового регулирования автономных систем поднимают также А.Ю. Скуратова и Е. Королькова [Скуратова, Королькова, 2019], которые отмечают сложность внедрения качественно новых технологий в военную сферу. Преимуществами автономных систем они считают способность быстро получать и обрабатывать информацию, принимать на ее основе решения, что может позволить сократить количество жертв среди военнослужащих в ходе боевых операций. К этому авторы добавляют потенциально большую гуманность роботов в сравнении с военнослужащими-людьми. В то же время исследователи признают, что отсутствие у роботов каких-либо эмоций может быть направлено как на пользу, так и во вред: оно может минимизировать негативное воздействие «человеческого фактора» в бою, но способно привести и к чрезмерной жестокости со стороны машин, лишенных эмпатии, что в конечном счете грозит обернуться большими жертвами, особенно среди гражданского населения.
Проблемы и перспективы развития автономных систем вооружений в контексте МГП рассматривает А.С. Сорочкин, который особое внимание уделяет вопросу определения ответственных в случае нарушения роботом законов и обычаев войны [Сорочкин, 2018]. С точки зрения характеристики взглядов российских авторов на проблему подотчетности примечательна также работа А.В. Ов-чарова и А.В. Козлова, которые рассуждают о возможности полной криминализации САС на международном уровне. По замечанию авторов, вопрос «кто несет ответственность?» остается открытым: это должен быть либо непосредственно оператор роботов, либо производитель и разработчик САС [Овчаров, Козлов, 2019].
На существовании «серых зон» в рамках международного права в том, что касается регламентации использования САС, заостряют внимание Н. Маркоткин30 и В. Сычев31. При этом Н. Маркоткин делает оговорку, что в настоящий момент не представляется возможным полностью ограничить разработку САС на международном уровне ввиду существования своего рода гонки в этой сфере между
30 Маркоткин Н. Близкие контакты третьего тысячелетия // РСМД. 28.09.2018. Доступ: https://гussiancounci1.гu/ana1ytics-and-comments/ana1ytics/b1izkie-kontakty-tгetego-tysyache1etiya/ (дата обращения: 25.09.2021).
31 Сычев В. Роботы-убийцы: неминуемая угроза? // ЮНЕСКО Курьер. 10.03.2018. Доступ: https://гu.unesco.oгg/couгieг/2018-3/гoboty-ubiycy-neminuemaya-ugгoza (дата обращения: 25.09.2021).
ведущими государствами. В свою очередь Б.Ю. Дерешко говорит о необходимости включения дополнительного протокола в КНО для регулирования САС [Дерешко, 2018].
В целом взгляды российских экспертов носят более практико-ори-ентированный характер и направлены на рассмотрение конкретных проблем регламентации использования САС в рамках международного права. Этической стороне вопроса, на которой сосредоточено западное экспертное сообщество, уделяется сравнительно меньше внимания.
* * *
Развитие САС является одной из наиболее дебатируемых проблем современной международной безопасности. При этом на настоящем этапе как в отечественном, так и в зарубежном экспертном сообществе наблюдаются глубокие расхождения в оценках данной проблемы. Если сравнивать взгляды российских и зарубежных экспертов, то можно отметить, что в ключевых аспектах они совпадают, разница заключается скорее в степени интенсивности соответствующего дискурса: на Западе он несравнимо активнее. При этом если на начальном этапе всё экспертное сообщество было в большей степени озабочено вопросами ответственности за применение смертоносных автоматизированных машин, то сейчас можно отметить больший «крен» западных исследований в сторону рассмотрения этических аспектов и вопросов применения роботов против человека. Однако все эксперты сходятся во мнении о необратимости дальнейшего развития технологий, в том числе военных, в направлении разработки автоматизированных систем.
Наиболее активная полемика в рамках как отечественного, так и западного экспертного сообщества ведется по двум направлениям: вокруг проблемы реальной и возможной автономности смертоносных систем и связанной с ней проблемы подотчетности, а также вокруг перспектив правового регламентирования использования САС на международном уровне. На эти дискуссии накладываются и споры о разработке искусственного интеллекта, который должен непосредственно управлять автоматизированной системой.
Если говорить о регулировании САС в рамках МГП, то, безусловно, большинство экспертов настаивают на необходимости совершенствования норм международного права в этой сфере. Однако
стоит заметить, что международное право довольно несовершенно даже в отношении регулирования обычного оружия. Что же тогда говорить о только нарождающемся виде вооружений?
В этой связи часть исследователей сходятся во мнении, что современное МГП не способно решить задачи, которые перед ним стоят на этом направлении. Возникает вопрос о создании «нового» МГП, адекватного современной эпохе, которое могло бы помочь заложить основу для дальнейшей регламентации разработки и снижения негативного воздействия САС на общество.
Дебаты о подотчетности САС вращаются вокруг перспективы применения такого оружия против человека и потенциального достижения «превосходства» роботов над людьми. Большинство экспертов в настоящий момент заявляют, что подобное развитие событий маловероятно. Гораздо более реальной представляется ситуация, при которой САС будут использоваться для сокрытия подлинных целей определенных политических сил (владельцев этих систем, будь то государства или отдельные фирмы) и как средство, позволяющее избежать ответственности за совершенные действия.
Можно подытожить, что в целом и российское, и зарубежное экспертное сообщество сходится в признании потенциально дестабилизирующего и труднопредсказуемого воздействия САС на международные отношения, что требует принятия согласованных мер со стороны ведущих государств и международных организаций по предотвращению подобного сценария.
СПИСОК ЛИТЕРАТУРЫ
1. Архипов В.В., Наумов В.Б. Искусственный интеллект и автономные устройства в контексте права: о разработке первого в России закона о робототехнике // Труды СПИИРАН. 2017. № 6 (55). С. 46-62. DOI: 10.15622/ sp.55.2.
2. Голубенко Е.А. Автономные системы вооружения и международное гуманитарное право // Вестник академии военных наук. 2017. № 2 (59). С. 101-106.
3. Дерешко Б.Ю. Ограничение смертоносных автономных систем вооружений: инициатива дополнить Конвенцию ООН о «негуманном» оружии // Вестник военного права. 2018. № 1. С. 86-87.
4. Козюлин В.Б. Смертоносные автономные системы вооружений: проблемы современного международно-правового регулирования и перспективы их решения // Международная жизнь. 2019. № 2. С. 82-94.
5. Овчаров А.В., Козлов А.В. Применение смертоносных автономных систем вооружения требует уголовно-правовой регламентации // Военное право. 2019. № 5 (57). С. 179-186.
6. Плакса В.Н. Правовая защита гражданского населения и гражданской инфраструктуры при ведении военных действий с использованием автономных систем вооружений // Вестник военного права. 2020. № 2. С. 72-81.
7. Синяева Н.А. Автономная военная робототехника: историко-право-вые аспекты // Военное право. 2021. № 3 (67). С. 265-270.
8. Синяева Н.А. Проблемы применения международного гуманитарного права к автономным системам вооружения // Право в вооруженных силах. 2020. № 12 (281). С. 66-75.
9. Скуратова А.Ю., Королькова Е.Е. Смертоносные автономные системы вооружений: проблемы международно-правового регулирования // Российский юридический журнал. 2019. № 1 (124). С. 22-30.
10. Сорочкин А.С. Автономные системы вооружения в контексте норм международного гуманитарного права // Вестник военного права. 2018. № 4. С. 25-33.
11. Altmann J., Sauer F. Autonomous weapon systems and strategic stability // Survival. 2017. Vol. 59. No. 5. P. 117-142. DOI: 10.1080/00396338.2017.1375263.
12. Anderson K., Waxman M. Law and ethics for autonomous weapon systems. Why a ban won't work and how the laws of war can // Stanford University Law Essay Series. 2013. No. 11. P. 13-351.
13. Arkin R.C. The case for ethical autonomy in unmanned systems // Journal of Military Ethics. 2010. Vol. 9. No. 4. P. 332-341. DOI: 10.1080/15027570.2010.536402.
14. Asaro P. On banning autonomous lethal systems: Human rights, automation, and the dehumanization of lethal decision-making // International Review of the Red Cross. 2012. Vol. 94. No. 886. P. 687-709. DOI: 10.1017/ S1816383112000768.
15. Benjamin M. Drone warfare: Killing by remote control. London: Verso, 2013.
16. Bergen L., Rothenberg D. Drone wars: Transforming conflict, law, and policy. Cambridge: Cambridge University Press, 2014. DOI: 10.1017/ CBO9781139198325.
17. Crootof R. Autonomous weapon systems and the limits of analogy // Harvard National Security Journal. 2016. Vol. 9. No. 51. P. 51-83.
18. Galliott J. Military robots: Mapping the moral landscape. London: Rout-ledge, 2016. DOI: 10.4324/9781315595443.
19. Galliott J., MacIntosh D., Ohlin J.D. Lethal autonomous weapons: Re-examining the law and ethics of robotic warfare. Oxford: Oxford University Press, 2021. DOI: 10.1093/oso/9780197546048.001.0001.
20. Galliott J., Scholz J. AI in weapons: The moral imperative for minimally—just autonomy // Journal of Indo-Pacific Affairs. 2018. Vol. 1. No. 2. P. 57-67.
21. Heyns C. Autonomous weapons in armed conflict and the right to a dignified life: An African perspective // South African Journal on Human Rights. 2017. Vol. 33. No. 1. P. 46-71. DOI: 10.1080/02587203.2017.1303903.
22. Kaag J., Kreps S. Drone warfare. New York: John Wiley & Sons Publ., 2014.
23. Krishnan A. Killer robots. Legality and ethicality of autonomous weapons. London: Routledge, 2009. DOI: 10.4324/9781315591070.
24. Leveringhaus A. Ethics and autonomous weapons. London: Palgrave Pivot, 2016. DOI: 10.1057/978-1-137-52361-7_2.
25. Margulies P. The other side of autonomous weapons: Using artificial intelligence to enhance IHL compliance // Legal Studies Paper. 2018. No. 182.
26. Perritt H., Sprague E. Domesticating drones: The technology, law, and economics of unmanned aircraft. London: Routledge, 2016. DOI: 10.4324/9781315577999.
27. Sparrow R. Killer robots // Journal of Applied Philosophy. 2007. Vol. 24. No. 1. P. 62-77. DOI: 10.1111/j.1468-5930.2007.00346.x.
28. Suchman L.A. Situational awareness and adherence to the principle of distinction as a necessary condition for lawful autonomy // Lethal autonomous weapons systems: Technology, definition, ethics, law & security / Ed. by R. Geiss, H. Lahmann. Berlin: German Federal Foreign Office, 2016. P. 273-283.
29. Tamburrini G. On banning autonomous weapons systems: From deonto-logical to wide consequentialist reasons // Autonomous weapons systems: Law, ethics, policy / Ed. by N. Bhuta, S. Beck. Cambridge: Cambridge University Press, 2016. P. 122-142. DOI: 10.1017/CBO9781316597873.
REFERENCES
1. Arkhipov V.V., Naumov V.B. 2017. Iskusstvennyi intellekt i avtonomnye ustroistva v kontekste prava: o razrabotke pervogo v Rossii zakona o robotote-khnike [Artificial intelligence and autonomous devices in legal context: On development of the first Russian law on robotics]. Trudy SPIIRAN, no. 6 (55), pp. 46-62. DOI: 10.15622/sp.55.2. (In Russ.)
2. Golubenko E.A. 2017. Avtonomnye sistemy vooruzheniya i mezhdun-arodnoe gumanitarnoe pravo [Autonomous weapon systems and international humanitarian law]. Vestnik Akademii voennykh nauk, no. 2 (59), pp. 101-106. (In Russ.)
3. Dereshko B.Yu. 2018. Ogranichenie smertonosnykh avtonomnykh sistem vooruzhenii: initsiativa dopolnit' konventsiyu OON o 'negumannom' oruzhii [Limitation of deadly autonomous weapons systems: Initiative to extend the UN convention on 'inhuman' weapons]. Vestnik voennogo prava, no. 1, pp. 86-87. (In Russ.)
4. Kozyulin V.B. 2019. Smertonosnye avtonomnye sistemy vooruzhenii: problemy sovremennogo mezhdunarodno-pravovogo regulirovaniya i perspe-
ktivy ikh resheniya [Lethal autonomous weapons systems: Problems of current international legal regulation and prospects for resolving them]. International affairs, no. 2, pp. 82-94. (In Russ.)
5. Ovcharov A.V., Kozlov A.V. 2019. Primenenie smertonosnykh avtonom-nykh sistem vooruzheniya trebuet ugolovno-pravovoi reglamentatsii [The use of lethal autonomous systems weapons require criminal law regulations]. Military law, no. 5 (57), pp. 179-186. (In Russ.)
6. Plaksa V.N. 2020. Pravovaya zashchita grazhdanskogo naseleniya i grazhdanskoi infrastruktury pri vedenii voennykh deistvii s ispol'zovaniem avtonomnykh sistem vooruzhenii [Legal protection of the civilian population and civil infrastructure in the conduct of hostilities using autonomous weapons systems]. Vestnik voennogoprava, no. 2, pp. 72-81. (In Russ.)
7. Sinyaeva N.A. 2021. Avtonomnaya voennaya robototekhnika: istoriko-pravovye aspekty [The self-powered military robotics: Historical and legal aspects]. Voennoeparvo, no. 3 (67), pp. 265-270. (In Russ.)
8. Sinyaeva N.A. 2020. Problemy primeneniya mezhdunarodnogo gumani-tarnogo prava k avtonomnym sistemam vooruzheniya [Challenges for the application of international humanitarian law to autonomous weapons systems]. Pravo v vooruzhennykh silakh — voenno-pravovoe obozrenie, no. 12 (281), pp. 66-75. (In Russ.)
9. Skuratova A.Yu., Korol'kova E.E. 2019. Smertonosnye avtonomnye sistemy vooruzhenii: problemy mezhdunarodno-pravovogo regulirovaniya [Lethal autonomous weapons systems: Problems of international legal regulation]. Rossiiskii yuridicheskii zhurnal, no. 1 (124), pp. 22-30. (In Russ.)
10. Sorochkin A.S. 2018. Avtonomnye sistemy vooruzheniya v kontekste norm mezhdunarodnogo gumanitarnogo prava [Autonomous weapons systems in the context of international humanitarian law]. Vestnik voennogo prava, no. 4, pp. 25-33. (In Russ.)
11. Altmann J., Sauer F. 2017. Autonomous weapon systems and strategic stability. Survival, vol. 59, no. 5, pp. 117-142. DOI: 10.1080/00396338.2017.1375263.
12. Anderson K., Waxman M. 2013. Law and ethics for autonomous weapon systems. Why a ban won't work and how the laws of war can. Stanford University Law Essay Series, no. 11, pp. 13-351.
13. Arkin R.C. 2010. The case for ethical autonomy in unmanned systems. Journal of Military Ethics, vol. 9, no. 4, pp. 332-341. DOI: 10.1080/15027570.2010.536402.
14. Asaro P. 2012. On banning autonomous lethal systems: Human rights, automation, and the dehumanization of lethal decision-making. International review ofthe Red Cross, vol. 94, no. 886, pp. 687-709. DOI: 10.1017/S1816383112000768.
15. Benjamin M. 2013. Drone warfare: Killing by remote control. London, Verso.
16. Bergen L., Rothenberg D. 2014. Drone wars: Transforming conflict, law, and policy. Cambridge, Cambridge University Press. DOI: 10.1017/ CBO9781139198325.
17. Crootof R. 2016. Autonomous weapon systems and the limits of analogy. Harvard National Security Journal, vol. 9, no. 51, pp. 51-83.
18. Galliott J. 2016. Military robots: Mapping the moral landscape. London, Routledge. DOI: 10.4324/9781315595443.
19. Galliott J., Macintosh D., Ohlin J.D. 2021. Lethal autonomous weapons: Re-examining the law and ethics of robotic warfare. Oxford, Oxford University Press. DOI: 10.1093/oso/9780197546048.001.0001.
20. Galliott J., Scholz J. 2018. AI in weapons: The moral imperative for minimally —just autonomy. Journal of Indo-Pacific Affairs, vol. 1, no. 2, pp. 57-67.
21. Heyns C. 2017. Autonomous weapons in armed conflict and the right to a dignified life: An African perspective. South African Journal on Human Rights, vol. 33, no. 1, pp. 46-71. DOI: 10.1080/02587203.2017.1303903.
22. Kaag J., Kreps S. 2014. Drone warfare. New York, John Wiley & Sons Publ.
23. Krishnan A. 2009. Killer robots. Legality and ethicality of autonomous weapons. London, Routledge. DOI: 10.4324/9781315591070.
24. Leveringhaus A. 2016. Ethics and autonomous weapons. London, Palgrave Pivot. DOI: 10.1057/978-1-137-52361-7_2.
25. Margulies P. 2018. The other side of autonomous weapons: Using artificial intelligence to enhance IHL compliance. Legal Studies Paper, no. 182.
26. Perritt H., Sprague E. 2016. Domesticating drones: The technology, law, and economics of unmanned aircraft. London, Routledge. DOI: 10.4324/9781315577999.
27. Sparrow R. 2007. Killer robots. Journal of Applied Philosophy, vol. 24, no. 1, pp. 62-77. DOI: 10.1111/j.1468-5930.2007.00346.x.
28. Suchman L.A. 2016. Situational awareness and adherence to the principle of distinction as a necessary condition for lawful autonomy. In: Geiss R., Lahmann H. (eds.). Lethal autonomous weapons systems: Technology, definition, ethics, law & security. Berlin, German Federal Foreign Office, pp. 273-283.
29. Tamburrini G. 2016. On banning autonomous weapons systems: From deontological to wide consequentialist reasons. In: Bhuta N., Beck S. (eds.). Autonomous weapons systems: Law, ethics, policy. Cambridge, Cambridge University Press, рр. 122-142. DOI: 10.1017/CBO9781316597873.
Статья поступила в редакцию 28.01.2021; одобрена после рецензирования 03.12.2021; принята к публикации 11.12.2021.
The paper was submitted28.01.2021; approved after reviewing 03.12.2021; accepted for publication 11.12.2021.
