CC BY
177IV. ПРЕДПРИНИМАТЕЛЬСКОЕ ПРАВО, ГРАЖДАНСКИЙ И АРБИТРАЖНЫЙ ПРОЦЕСС
УДК 007.52+34
АВТОНОМИЯ БОЕВЫХ РОБОТОВ И ПРАВО А.В. Габов,
доктор юридических наук, член-корреспондент РАН,
Институт государства и права Российской академии наук E-mail: gabov@igpran.ru
И.А. Хаванова,
доктор юридических наук, профессор федерального государственного образовательного бюджетного учреждения высшего образования «Финансовый университет при Правительстве Российской Федерации» E-mail: ahavanov@mail.ru
Аннотация: автономные боевые системы (Lethal Autonomous Weapons Systems, LAWS), или боевые роботы, которых отличает такое качество, как самостоятельность в принятии решений о применении оружия, в последние годы все больше привлекают внимание правоведов. Прорыв в разработках искусственного интеллекта позволил осуществить качественный скачок в развитии технологий, где участие человека в принятии решений минимально. В гражданской области это вызвало развитие беспилотных транспортных средств и специального правового регулирования в части владения и передвижения таких средств, дискуссии о субъектах ответственности в случае причинения ущерба. Еще более актуальны эти вопросы для автономных боевых систем. К настоящему моменту имеется весьма неоднозначная практика применения роботизированных систем; при этом с каждым годом все больше государств заявляют о наличии собственного потенциала в части соответствующих разработок. На этом фоне все активнее развивается дискуссия о путях дальнейшего развития международно-правового регулирования в этой сфере, по существу, направленного на установление значительных ограничений для государств по его разработке
и/или использованию (применению). Авторы предлагаемой статьи обозначают основные направления идущей дискуссии, оценивают предлагаемые варианты развития правового регулирования.
Ключевые слова: боевой робот, смертоносные автономные системы вооружений (САС), искусственный интеллект, международное гуманитарное право.
AUTONOMY OF KILLER ROBOTS AND THE LAW
A.V. Gabov,
Corresponding Member of RAS,
Institute of state and law of the Russian Academy of Sciences
E-mail: gabov@igpran.ru
I.A. Khavanova,
The Federal State-Funded Educational Institution of Higher
Education «Financial University under the Government
of the Russian Federation» (Financial University)
E-mail: ahavanov@mail.ru
Annotation: lethal Autonomous Weapons Systems (LAWS) or combat (killer) robots, whose distinguished feature is independence in making decisions about the use of weapons, have been increasingly attracting the attention of lawyers in recent years. A breakthrough in the development of artificial intelligence has allowed a qualitative leap in the development of technology, where is minimum human participation in decision-making process. In the civil sphere, this has led to the development of self-driving cars (unmanned aircrafts, unmanned ground vehicles) and special legal regulation in terms of ownership and movement of such vehicles as well as discussions about the subjects of responsibility in case of damage. These issues are even more relevant to LAWS. To date, there is a very controversial practice in the application of LAWS. At the same time each year increasing number of States declare the presence of its own capacity regarding relevant developments. Against this background, there is a growing discussion on ways of further development of international legal regulation in this area, essentially aimed at establishing significant restrictions for States on its development and use (application). The authors of the article note the main directions of the ongoing discussion, evaluate the proposed options for the development of legal regulation.
Keywords: combat robot, deadly Autonomous weapons systems (SAS), artificial intelligence, international humanitarian law.
Идея использования оружия, позволяющего наносить урон противной стороне, избегая собственных людских потерь и прямых столкновений, не нова. Выводы исследователей по поводу таких систем различны и в значительной мере зависят от оценки текущего состояния науки и техники и представлений об их потенциале и путях дальнейшего развития.
В 1991 г. M. ван Кревельд в работе «Трансформация войны» высказал прогноз, основанный на опыте двух предшествующих десятилетий: «мечта о компьютеризированной высокотехнологичной войне большого радиуса действия, которую лелеют представители военно-промышленного комплекса, никогда не сбудется. Вооруженные конфликты будут вести люди на земле, а не роботы в космосе... война не будет вестись с расстояния одетыми в аккуратную униформу людьми, сидящими в кабинетах с кондиционерами за монитором компьютеров, манипулирующими символами и нажимающими на кнопки»1. Проникнутый скептицизмом тезис как раз базируется на представлениях времени написания этой работы о возможностях технической науки: про полную автономность роботов можно было рассуждать разве что в контексте футурологии.
И. Деттер обоснованно выделяет в качестве наиболее значимого изменения в вооружениях, во многом подтолкнувшего процесс роботизации войны, беспилотные летательные аппараты (unmanned aerial vehicles, UAVs)2, дроны (drones)3. Хотя они и не относятся к классическим роботам, так как не воспроизводят человеческую деятельность, их обычно причисляют к роботизированным системам4.
Понятие «роботизированное оружие» (robotic weapons) уже прочно вошло в лексикон специалистов5, все чаще рассуждающих о «бесконтактной войне», о том, что «боевые действия, к которым мы «привыкли», меняют свое лицо, действующих акторов и саму логику»6. Одна из причин столь радикальных изменений - достигнутый прогресс в создании искусственного интеллекта вкупе с современными возможностями машинного об-
1 КревельдМ. ван. Трансформация войны. Пер. с англ. М.: Альпина бизнес Букс, 2005. С. 316-317.
2 Также известны как беспилотные авиационные системы (unmanned aircraft systems, UAS), беспилотные боевые летательные аппараты (unmanned combat air vehicles, UCAVs), дистанционно пилотируемые летательные аппараты (remotely piloted aircraft, RPAs).
3 Detter I. The Law of War. Third edition. Ashgate Publishing, Ltd. 2013. P. 262.
4 В частности, П.М. Морхат определяет дрон как роботизированный автономный беспилотный летательный (авиационная система) или иной самодвижущийся аннарат (сМ.: Морхат П.М. Возможности, особенности и условия применения искусственного интеллекта в юридической практике // Администратор суда. 2018. № 2. С. 8-12). См. также: Боевые роботы в будущих войнах: выводы экспертов // https://topwar.ru/91893-boevye-roboty-v-buduschih-voynah-vyvody-ekspertov.html (дата обращения: 1 ноября 2018 г.).
5 Kerr I., Szilagyi K. Asleep at the Switch? How Lethal Autonomous Robots Become a Force Multiplier of Military Necessity // Robot Law. Edited by R. Calo, A.M. Froomkin, I. Kerr. Edward Elgar Pub, 2016. Pp. 335-336.
6 Савин Л. Бесконтактные и сетевые войны // https://www.geopolitica.ru/article/beskontak-tnye-i-setevye-voyny (дата обращения: 9 декабря 2018 г.).
учения (machine learning), которые привели к существенному прорыву в автоматизации боевых действий.
Г. Аллен и Т. Чен замечают, что автономные системы (autonomous systems) использовались в военных действиях, по крайней мере, со Второй мировой войны. По мере совершенствования таких систем им все более делегировались функции, обычно находящиеся под контролем человека, причем темпы изменений в области искусственного интеллекта, по оценкам данных авторов, превосходят прогнозы экспертов1.
Указанные тенденции прослеживаются в документах стратегического, политико-правового характера. Уже в национальной Военной доктрине, утвержденной Указом Президента РФ от 5 февраля 2010 г. № 1462, появилось указание на возрастающее значение беспилотных летательных и автономных морских аппаратов, управляемых роботизированных образцов вооружений и военной техники (п. 15). Последующая Военная доктрина, утвержденная Президентом Российской Федерации 25 декабря 2014 г. № Пр-2976, относит массированное применение беспилотных летательных и автономных морских аппаратов, управляемых роботизированных образцов вооружения и военной техники к характерным чертам современных военных конфликтов (п. 15). Соответственно, в числе задач оснащения Вооруженных Сил среди прочего - создание новых образцов комплексов беспилотных летательных аппаратов и роботизированных ударных комплексов (п. 46).
Изменения отразились и в различных актах технического характера. Национальные стандарты (ГОСТы) упоминают о подводных, военных и космических роботах3, подразделяя роботов военного и специального назначения на боевых (ударных) роботов; роботов боевого обеспечения (разведка, охрана военных объектов); роботов инженерного и химического обеспечения (разминирование, дезактивация территорий и военной техники, демонтаж зараженных конструкций); роботов технического и тылового обеспечения (экзоскелеты, транспортировка боеприпасов, эвакуация раненых) и др.4 В последние годы получила развитие групповая робототехника (multi-robotics) - отрасль робототехники, занимающаяся вопросами при-
1 Allen G., Chan T. Artificial Intelligence and National Security. Belfer Center for Science and International Affairs. 2017. P. 13, 70 // https://www.belfercenter.org/sites/default/files/files/publica-tion/AI%20NatSec%20-%20final.pdf (дата обращения: 9 декабря 2018 г.).
2 В Военной доктрине Российской Федерации, утвержденной Указом Президента Российской Федерации от 21 апреля 2000 г. № 706 подобных положений не содержалось.
3 «ГОСТ Р 60.1.2.1-2016/ИС0 10218-1:2011. Национальный стандарт Российской Федерации. Роботы и робототехнические устройства. Требования по безопасности для промышленных роботов. Часть 1. Роботы» (утв. приказом Росстандарта от 8 ноября 2016 г. № 1624-ст).
4 «ГОСТ Р 60.0.0.2-2016. Национальный стандарт Российской Федерации. Роботы и робототехнические устройства. Классификация» (утв. приказом Росстандарта от 29 ноября 2016 г. № 1842-ст).
менения групп роботов (расположение мобильных роботов в пространстве называется строем или формацией)1.
В научной литературе военные или боевые роботы именуются по-разному. В 2013 году К. Хейнс охватил все разнообразие подобных устройств термином «боевые автономные роботизированные системы» (Lethal autonomous robotics, LARs)2. Международный Комитет Красного Креста (далее - МККК) применяет термин «автономные системы вооружения» (Autonomous weapon system, AWS)3, понимая под ними любые виды систем оружия, автономно действующих в воздухе, на суше или на море и самостоятельно выполняющих критические функции (critical functions)4. В официальных документах ООН, за редким исключением, используется термин «смертоносные автономные системы вооружений» (Lethal autonomous weapons systems, LAWS5; далее будем использовать также сокращение - САС).
Развитие и активное использование САС ставит множество философских, этических и правовых вопросов. Ведь если ранее речь шла только о «выведении» людей с поля боя, то теперь - о потенциальном их исключении из цикла принятия ключевых решений. В открытом письме, подписанном известными специалистами в области искусственного интеллекта, с призывом к международному запрету САС6, появление указанного оружия оценивается как «третья революция в войне» (third revolution in warfare). Опасность продвижения по пути роботизации авторы письма видят в невиданных ранее масштабах стремительно протекающих вооруженных кон-
1 Иванов Д.Я. Методы построения пространственных формаций в группах беспилотных летательных аппаратов типа квадрокоптеров: Дис. ... канд. техн. наук. Таганрог, 2016. С. 18 // http://hub.sfedu.ru/media/diss/95c61797-6f61-4876-9a78-d2f9683568ea/%D0%94%D0%B8%D1 %81%D1%81%D0%B5%D1%80%D1%82%D0%B0%D1%86%D00/oB80/oD10/o8F%20%D0%98 %D0%B2%D0%B0%D0%BD%D0%BE%D0%B2%20%D0%94%D0%AF.pdf (дата обращения: 28 декабря 2018 г).
2 Promotion and protection of all human rights, civil, political, economic, social and cultural rights, including the right to development. Report of the Special Rapporteur on extrajudicial, summary or arbitrary executions, Christof Heyns (9 April 2013) // https://www.ohchr.org/Documents/ HRBodies/HRCouncil/RegularSession/Session23/A-HRC-23-47_en.pdf (дата обращения: 28 декабря 2018 г.).
3 Согласно позиции МККК, любое оружие может быть смертоносным, поэтому им используется термин «автономное оружие» без упоминания его смертоносных свойств.
4 Views of the International Committee of the Red Cross (ICRC) on autonomous weapon system 11 April 2016 (paper submitted to the Convention on Certain Conventional Weapons Meeting of Experts on Lethal Autonomous Weapons Systems (LAWS)) // https://www.icrc.org/en/document/ views-icrc-autonomous-weapon-system (дата обращения: 28 декабря 2018 г.).
5 Среди экспертов также распространен термин Lethal Autonomous Weapons (LAWs).
6 Информацию см. на следующих ресурсах: https://www.dropbox.com/s/g4ijcaqq6i-vq19d/2017%200pen%20Letter%20to%20the%20United%20Nations%20Convention%20on%20 Certain%20Conventional%20Weapons.pdf?dl=0 (дата обращения: 15 декабря 2018 г.); https:// futureoflife.org/2017/08/20/killer-robots-worlds-top-ai-robotics-companies-urge-united-nations-ban-lethal-autonomous-weapons/?cn-reloaded=1 (дата обращения: 15 декабря 2018 г.).
фликтов. Кроме того, как отмечает А. Кришнан, автономный боевой робот не просто убивает (как мина) - он может принять решение убить (или не убить), и в таком роботе страшно не то, что он будет более опасным, чем мины, основная проблема - в его грядущей способности принимать решения о жизни и смерти вместо человека1. Проблема выбора, которая стоит перед таким автономным «субъектом», как думается, лишь отчасти напоминает проблему, обсуждаемую применительно к беспилотному автомобилю (последний не создается специально для причинения вреда человеку, в отличие от автономного боевого робота2).
Все больше авторов обращают внимание на принципиальное изменение самого тренда (идеологии) войны: от героического к пост-героическому, поскольку роботизация снижает физический риск для военнослужащих3. Отсутствие взаимного риска между комбатантами (воюющими) оценивается в качестве вызова концепции войны как явления, морально отличного от иных форм насилия. С тем, что война меняет свое лицо, согласны и отечественные специалисты, анализируя новый вид отношений: человек -боевой робот. Роботизация переводит военнослужащих из психологически понятного состояния войны как борьбы человека против человека в плоскость его борьбы с «разумной» машиной. Прогнозируется, в том числе, и проблема коммуникации («прежде всего между людьми-исполнителями и роботами-командирами»4), чреватая угрозой конфронтации с непредсказуемыми последствиями.
Внутреннее право большинства государств на подобного рода тенденции реагирует пока только одним способом: созданием условий для ускоренного развития соответствующих технологий5, признанием необходимости лидерства и получения преимуществ перед другими государствами и/ или недопустимости отставания от них. Приведем показательную выдерж-
1 KrishnanA. Killer robots: Legality and ethicality of autonomous weapons. Routledge, 2016. Pp. 33-60.
2 Некоторые специалисты по этой причине даже выступают за замену широко используемого в военных кругах для обозначения кибертехнических средств понятия «робот» на более соответствующее их целевому назначению (сМ.: Боевые роботы в будущих войнах: выводы экспертов // https://topwar.ru/91893-boevye-roboty-v-buduschih-voynah-vyvody-ekspertov. html (дата обращения: 1 декабря 2018 г.).
3 Enemark Ch. Armed Drones and the Ethics of War: Military virtue in a post-heroic age. New York: Routledge, Taylor & Francis Group, 2014; Kober A. From Heroic to Post-Heroic Warfare: Israel's Way of War in Asymmetrical Conflicts // https://journals.sagepub.com/ doi/10.1177/0095327X13498224 (дата обращения: 11 декабря 2018 г.).
4 ПостниковА.Н., ХамзатовМ. М. Сухопутные войска будущего // Независимое военное обозрение. 11.09.2015 // http://nvo.ng.ru/concepts/2015-09-11/4_future.html (дата обращения: 1 декабря 2018 г.).
5 Приоритетные направления развития науки, технологий и техники в Российской Федерации и перечня критических технологий Российской Федерации, утвержденные Указом Президента РФ от 7 июля 2011 г. № 899 // http://pravo.gov.ru/; Указ Президента РФ от 16 декабря 2015 г. № 623 «О Национальном центре развития технологий и базовых элементов робототехники» // http://pravo.gov.ru/
ку из Национальной стратегии безопасности США (декабрь 2017 г.): «чтобы сохранить конкурентное преимущество, Соединенные Штаты будут уделять приоритетное внимание новым технологиям, критически важным для экономического роста и безопасности». К числу таких технологий отнесены в том числе автономные технологии, нанотехнологии, передовые вычислительные технологии и искусственный интеллект. При этом отмечается стремительное развитие последнего: от беспилотных автомобилей до автономного оружия '.
Причина данного подхода понятна: с позиции национальной безопасности обладание технологиями производства роботов, наделенных искусственным интеллектом, является критичным; и вопрос о каких-либо ограничениях, не обеспеченных взаимными, гарантированными международно-правовыми ограничениями для всех других государств, здесь ставиться не может; в противном случае иные государства могут получить военные преимущества. Министерство обороны США в Дорожной карте развития беспилотных систем2, выпущенной в 2018 году, отмечает, что достижения в области автономии и робототехники как значительный множитель силы имеют потенциал для революции концепции боевых действий.
На состоявшейся 6-7 сентября 2018 г. в Пекине конференции Стокгольмского института исследования проблем мира и Китайского института современных международных отношений3, посвященной влиянию технологий искусственного интеллекта и автономных систем на ядерную безопасность и стратегическую стабильность в Восточной Азии4, эксперты из России, Китая, США, Франции, Великобритании, Японии, Южной Кореи, Индии, Пакистана были единодушны в своих прогнозах: новые технологии (прежде всего, машинное обучение) уже в ближайшем будущем будут применяться ядерными державами для модернизации их стратегического вооружения.
Международное гуманитарное право (далее - МГП) «уходит своими корнями в законы древних цивилизаций и религий — война всегда велась
1 National Security Strategy of the United States of America. December 2017. P. 20 // https://www.whitehouse.gov/wp-content/uploads/2017/12/NSS-Final-12-18-2017-0905.pdf (дата обращения: 15 декабря 2018 г.).
2 Unmanned Systems Integrated Roadmap FY2017-2042 // http://www.defensedaily.com/ wp-content/uploads/post_attachment/206477.pdf (дата обращения: 1 ноября 2018 г.).
3 https://medium.com/predict/ai-emerging-tech-national-defense-sipri-stockholm-security-con -ference-1fe0df429cca (дата обращения: 11 ноября 2018 г.).
4 Маркоткин Н. «Ядерную кнопку» нажмет искусственный интеллект // http://expert. ru/2018/09/28/yadernuyu-vojnu-nachnut-iskusstvennyie-intellektyi/ (дата обращения: 11 ноября 2018 г.).
в соответствии с определенными принципами и обычаями»1. Пока в нем отсутствуют специальные нормы, касающиеся САС, что «подпитывает» как все нарастающую дискуссию в ООН, так и протесты различных неправительственных организаций (см., например, упомянутое выше открытое письмо)2.
В настоящее время международное сообщество обсуждает САС, главным образом, на площадке Конвенции ООН 1980 г. о запрещении или ограничении применения конкретных видов обычного оружия, которые могут считаться наносящими чрезмерные повреждения или имеющими неизбирательное действие (Конвенция о «негуманном» оружии, КНО)3. В многосторонней международной повестке вопрос о контроле над автономными роботизированными вооружениями впервые был заострен в 2013 году, когда специальный докладчик ООН по вопросу о внесудебных казнях, казнях без надлежащего судебного разбирательства или произвольных казнях К. Хейнс представил доклад, в котором рекомендовал ввести национальный мораторий на автономное оружие. В документе отмечалось, что перспектива его появления будет «стирать различие между вооружениями и воинами, поскольку такие системы будут автономно принимать решения о своем использовании»4. Проблема САС, согласно замечаниям экспертов, состоит в том, что оно обладает самостоятельностью в выполнении критических функций, что отличает его от всех других систем вооружений5.
Н. Шарки, выступающий за запрет САС, пишет, что мы могли бы перейти к заключительным этапам индустриализации войны как фабрики смерти и чистых убийств (clean-killing), где высокотехнологичные страны сражаются без риска для собственных сил6, если бы не ряд проблем.
1 Имплементация международного гуманитарного права на национальном уровне. Руководство. МККК, 2010 // https://www.icrc.org/ru/doc/resources/documents/publication/p4028. htm (дата обращения: 11 ноября 2018 г.).
2 An Open Letter to The United Nations Convention on Certain Conventional Weapons // https://www.dropbox.com/s/g4ijcaqq6ivq19d/2017%200pen%20Letter%20to%20the%20Unit-ed%20Nations%20Convention%20on%20Certain%20Conventional%20Weapons.pdf?dl=0 (дата обращения: 15 декабря 2018 г.).
3 Convention on Prohibitions or Restrictions on the Use of Certain Conventional Weapons Which May Be Deemed to Be Excessively Injurious or to Have Indiscriminate Effects (ССW) // Ратифицирована Указом Президиума ВС СССР от 02.06.1982 г. № 7248-X.
4 Promotion and protection of all human rights, civil, political, economic, social and cultural rights, including the right to development. Report of the Special Rapporteur on extrajudicial, summary or arbitrary executions, Christof Heyns (9 April 2013) // https://www.ohchr.org/Documents/ HRBodies/HRCouncil/RegularSession/Session23/A-HRC-23-47_en.pdf (дата обращения: 20 декабря 2018 г.).
5 Международное гуманитарное право и вызовы современных вооруженных конфликтов. Доклад подготовлен Международным Комитетом Красного Креста. XXXII Международная конференция МККК. Женева, 8-10 декабря 2015 г. С. 79.
6 Sharkey N. E. The evitability of autonomous robot warfare // International review of the Red Cross. Vol. 94. Number 886. Summer 2012. P. 788.
Прежде всего, смогут ли роботы проводить различие между военными и гражданскими объектами, комбатантами и гражданским населением, действующими комбатантами и выведенными из строя. Есть сомнения, которые не раз выражал МККК, и в их способности учитывать множество факторов, чтобы выяснить, приведет ли нападение к случайным потерям среди гражданского населения и ущербу для гражданских объектов, что было бы чрезмерным по отношению к военному преимуществу, которое предполагается получить, как того требует принцип соразмерности1. Наконец, у робота нет свободы воли, и, следовательно, он не может быть привлечен к ответственности за свои действия, но тогда кто будет нести такую ответственность? Н. Шарки метко замечает, что МГП не предъявляет требований к машинам, чтобы те были этичными и гуманным. Требование состоит в том, чтобы они использовались с надлежащей сдержанностью и уважением принципа гуманности2.
Упоминая сложившееся мнение о том, что появление МГП как ius in bello (права ведения войны) было своего рода вызовом ius ad bellum (праву войны, праву на использование военной силы), А.И. Ковлер акцентирует внимание на важности преодоления кажущейся фатальной неизбежности «дегуманизации» поведения комбатантов (участников вооруженных конфликтов)3. Именно принцип гуманности признается центральным принципом системы МГП4, обеспечивающим ее логическую завершенность и связывающим все принципы воедино5. Следует отметить, что и при отсутствии международных соглашений, регулирующих вопросы применения САС, можно выделить некоторые подходы к регулированию их использования и его последствиям. Так, согласно «оговорке Мартенса» (Martens clause) даже в отсутствие прямого регулирования ситуации международными соглашениями, гражданские лица (население) и воюющие (комбатанты) остаются под защитой и действием принципов международного права, вытекающих из обычаев, принципов гуманности и требований общественного сознания6. В МГП, как отмечает П. Асаро, содержится имплицитное требование: решения о применении смертоносной силы должны приниматься человеком
1 Международное гуманитарное право и вызовы современных вооруженных конфликтов. Доклад подготовлен МККК. XXXII Международная конференция МККК. Женева, Швейцария, 8-10 декабря 2015 г. С. 80.
2 Sharkey N. E. Op. cit. P. 796.
3 Ковлер А.И. Европейская Конвенция в международной системе защиты прав человека: монография. М.: Норма, ИНФРА, 2019. С. 21.
4 Здесь следует отметить, в частности, принципы различия целей; пропорциональности (соразмерности) применения силы; военной необходимости; ограничения определенных средств и методов ведения войны.
5 Капустин А.Я., Мартыненко Е.В. Международное гуманитарное право: Учеб. пособие. М.: Изд-во РУДН, 1991. С. 36.
6 Это положение было включено в IV Гаагскую конвенцию о законах и обычаях сухопутной войны (1907 г.), его можно найти и в преамбуле КНО.
и этот процесс не может делегироваться машинам1; машина, независимо от того, насколько она совершенна технически, не может заменить присутствие истинно нравственного агента (человека), обладающего совестью и способностью к моральному суждению2.
Машине сложно различить одинаково вооруженных дружелюбного блюстителя порядка и террориста. Однако автономное роботизированное оружие, которое принимает (и реализует) решения о жизни и смерти, но не может различить воюющую и невоюющую стороны, prima facie незаконно. Впрочем, даже если робототехника преодолеет упомянутые проблемы, программирования, формально согласованного с принципами МГП, может также оказаться недостаточно. Ведь многие страны рассматривают их как минимальный порог, однако моральное поведение, свойственное лишь человеку, превосходит минимальные стандарты3.
Конечно, мир не впервые сталкивается с проблемой сопряжения новейших видов оружия и гуманитарных стандартов. Ее решение было предложено в Дополнительном протоколе I (1977 г.) к Женевским конвенциям 1949 г. (статья 36 «Новые виды оружия»): при изучении, разработке, приобретении или принятии на вооружение новых видов оружия, средств или методов ведения войны государство-участник должно определить, подпадает ли их применение, при некоторых или при всех обстоятельствах, под запрещения согласно международному праву. Таким образом, обязанность обеспечить соответствие МГП любых средств и методов, применяемых во время вооруженного конфликта, - и САС не исключение, - «всегда будет возлагаться на стороны в этом конфликте»4.
Сложность для государства, разрабатывающего или приобретающего САС, заключается в том, чтобы обеспечить способность системы функционировать в соответствии с упомянутыми принципами. Предсказуемость ее действий должна быть достаточно высокой, чтобы в принципе стала возможной реальная правовая оценка. Однако Э. Илачински неслучайно напоминает, что дьявол кроется в деталях, и чтобы успешно выполнять свою миссию, автономные системы должны уметь ассимилироваться, реа-
1 Asaro P. On Banning Autonomous Weapon Systems: Human Rights, Automation, and the Dehumanisation of Lethal Decision-making // International Review of the Red Cross. Volume 94. Number 886. Summer 2012. Pp. 687-709.
2 Anderson K., WaxmanM. Law and Ethics for Robot Soldiers (April 5, 2012). Policy Review, 2012; Columbia Public Law Research Paper No. 12-313; American University, WCL Research Paper No. 2012-32. Available at SSRN: https://ssrn.com/abstract=2046375 (дата обращения: 11 декабря 2018 г.).
3 Kerr I., Szilagyi K. Asleep at the Switch? How Lethal Autonomous Robots Become a Force Multiplier of Military Necessity (11.04.2012) // http://robots.law.miami.edu/ian-kerr-katie-szilagyi-on-asleep-at-the-switch-how-lethal-autonomous-robots-become-a-force-multiplier-of-military-ne-cessity/ (дата обращения: 11 декабря 2018 г.).
4 Мельцер Н. Международное гуманитарное право: общий курс: справочное издание. М.: МККК, 2017. С. 54.
гировать и адаптироваться к постоянно меняющимся условиям, которые не были предусмотрены при их проектировании, а значит, быть способны к действиям «без присмотра человека». И, следовательно, по мере увеличения сложности САС будет происходить соразмерное снижение нашей способности предсказывать поведение автономных систем и контролировать его1. Кроме того, САС правильнее рассматривать как сложные сетевые системы, а не как независимые платформы (без этого невозможно понимание их стохастического поведения, нелинейной динамики, непредсказуемости реализуемых решений). Распределение функций в такой сети систем, по оценке специалистов, часто делает границы (контур) САС неясными.
Некоторые из приверженцев «этического» программирования проявляют оптимизм, уверовав в то, что, начни мы уже сейчас учитывать этические нормы при конструировании, движение к полной автономии машин будет служить целям закона на поле битвы. Немало, однако, и тех, кто сомневается в том, что автономные боевые роботы однажды достигнут уровня совершенства, необходимого, чтобы соответствовать МГП2. Кроме того, прежде чем доверять «вооруженному» искусственному интеллекту, было бы логичным повысить его транспарентность. Однако не так просто сочетать прозрачность механизмов машинного обучения с их защищенностью, поскольку данные, используемые нейросетями, могут быть «поражены» умышленными манипуляциями (data poisoning)3.
Итак, несмотря на перечисленный «арсенал» правовых средств, САС представляют собой проблему (о ее масштабах можно спорить) для международного права, и отнюдь не только МГП. Согласно позиции В.Н. Стар-цуна и И.В. Балканова, действующие нормы международного права не могут эффективно применяться по отношению к возникающим конфликтам: либо мы существуем в условиях «черных дыр», либо ««переводим» законы XIX - XX вв. на «язык конфликтов» XXI в.»4. Очевидно, что идущие дискуссии рано или поздно приведут к выработке подходов к специальному регулированию использования САС (возможно, в том числе и владения такими системами, трансферта технологий и т.д.).
В ходе неофициальных совещаний экспертов по САС, последовавших после доклада К. Хейнса (2014, 2015, 2016 гг.), была предпринята попытка
1 Ilachinski A. AI, Robots, and Swarms. Issues, Questions, and Recommended Studies. January 2017 // https://www.cna.org/cna_files/pdf/DRM-2017-U-014796-Final-SUMMARY.pdf (дата обращения: 28 декабря 2018 г.).
2 Kerr I., Szilagyi K. Asleep at the Switch? How Lethal Autonomous Robots Become a Force Multiplier of Military Necessity // Robot Law. Edited by R. Calo, A. M. Froomkin, I. Kerr. Edward Elgar Pub, 2016. P. 356.
3 Zhao M., An B., Yu Y., Liu S., Pan S.J. Data Poisoning Attacks on Multi-Task Relationship Learning. (Conference paper, 26 September 2018) // http://www.ntu.edu.sg/home/boan/papers/ AAAI18_MTL.pdf (дата обращения: 28 декабря 2018 г.).
4 Старцун В.Н., Балканов И.В. Войны XXI века: зарождение новых норм международного нрава // Вестн. воен. нрава. 2018 (1). С. 72-73.
выкристаллизовать потенциальные подходы к будущему регулированию. Так, в ходе встречи 2014 г. отмечалась потребность в более четком понимании определяющих элементов САС, подчеркивалась важность раскрытия понятия значимого человеческого контроля (meaningful human control). В контексте возможного воздействия развития и использования таких систем на jus ad bellum был поднят вопрос о том, могут ли они изменить порог для применения силы1.
Дискуссия о том, как определить автономию систем оружия, развивается, главным образом, по двум направлениям. Прежде всего, это концептуальное осмысление автономии. Здесь выделяются такие аспекты, как независимость, когнитивные навыки (cognitive skills), когнитивная архитектура (cognitive architecture). Например, Х. Рофф связывает автономность с наличием четырех функций (спусковой механизм (trigger), выбор цели (targeting), навигация (navigation), мобильность (mobility))2. Ну и, кроме того, непосредственно степень автономии. Диапазон здесь уже сегодня достаточно широк
- вплоть до независимого «агента» (independent «agency»)3.
Подавляющее большинство государств сходится во мнении о недопустимости потери значимого человеческого контроля в отношении САС. Однако выработать критерии «значимости» непросто. В контексте человеческого контроля преобладает следующая категоризация автономности оружия4:
- управление - системы с полным с дистанционным контролем (человек «в контуре/цикле», man-in-the-loop), где человек (оператор) - центральное звено в контуре/цикле контроля принятия решений;
- надзор - полуавтономные системы (человек «над контуром», man-on-the-loop), в которых человек (оператор) участвует в принятии решений на отдельных звеньях алгоритма. Как правило, он контролирует процесс тар-гетинга и может вмешиваться в действие системы;
- полная автономия (человек «вне контура/цикла», man-out-of-the-loop)
- оператор-человек исключен из системы принятия решений, включая поражение цели (критические функции). Этот вид систем и составляет эпицентр международно-правовой дискуссии, хотя, по оценкам экспертов, они пока не стоят на вооружении ни одной из армий.
1 2014 Meeting of Experts on Lethal Autonomous Weapons Systems (LAWs) // https://www. unog.ch/80256EE600585943/(httpPages)/A038DEA1DA906F9DC1257DD90042E261?0penDoc-ument (дата обращения: 1 ноября 2018 г.).
2 Roff H. Autonomous or «Semi» Autonomous Weapons? A Distinction Without Difference (Mar 18, 2015) // https://www.huffingtonpost.com/heather-roff/autonomous-or-semi-au-tono_b_6487268.html (дата обращения: 1 ноября 2018 г.).
3 Bode I., Huelss H. Autonomous weapons systems and changing norms in international relations // Review of International Studies. 2018. Vol. 44, part 3. Pp. 393-413.
4 Evans T. D. At War with the Robots: Autonomous Weapon Systems and the Martens Clause // Hofstra Law Review. 2013. Vol. 41. Issue 3. Article 8. P. 698 // http://scholarlycommons.law. hofstra.edu/hlr/vol41/iss3/8 (дата обращения: 11 декабря 2018 г.).
Как можно заметить, контролируемая автономия означает присутствие оператора «над контуром управления» (в отличие от категорий «в контуре» или «вне контура»). В рамках данной модели оператор контролирует и может отменить решения робота. Однако такая возможность на практике весьма ограничена, поскольку процесс принятия решения роботами зачастую измеряется наносекундами, и информационная база, лежащая в основе решений, - в силу в том числе упомянутой разности скоростей восприятия - может быть недоступна для контролера1. И хотя люди, скорее всего, в обозримом будущем сохранят элементы контроля и надзора над системами, вопрос в том, будет ли он формальным либо осмысленным и реализуемым.
Заметим, что многие специалисты - и российские, и зарубежные -выступают за выведение человека из контура/цикла2, поскольку роботы потенциально более продуктивны на поле битвы, а главное - они будут спасать жизни людей. А.Н. Постников, отмечая важность наличия в вооруженных силах роботов, обслуживание которых требовало бы минимального вмешательства человека, поясняет, что иначе противник будет целеустремленно бить по людям из обеспечивающих структур и легко остановит любую «механическую» армию»3.
На 5-й Обзорной конференции КНО (12-16 декабря 2016 г.) было принято решение об учреждении Группы правительственных экспертов ООН по САС (Group of Governmental Experts on LAWS, далее - Группа экспертов по САС)4. В позиции Российской Федерации, представленной к ее первому заседанию (10-12 ноября 2017 г.)5, обозначена основная проблема: отсутствие реально работающих образцов полностью автономных систем роботизированных вооружений, на ограничение и регулирование которых направлен весь формат. Де-факто все созданные и тестируемые системы пока не выходят за рамки модели «man-on-the-loop». Трудность состоит и в проведении четкого «водораздела» между гражданскими и военными разработками систем, базирующихся на одних и тех же технологиях, отсюда - риск избыточного ограничения развития мирных технологий робототехники и искусственного интеллекта.
1 Promotion and protection of all human rights, civil, political, economic, social and cultural rights, including the right to development. Report of the Special Rapporteur on extrajudicial, summary or arbitrary executions, Christof Heyns (9 April 2013) // https://www.ohchr.org/Documents/ HRBodies/HRCouncil/RegularSession/Session23/A-HRC-23-47_en.pdf (дата обращения: 20 декабря 2018 г.).
2 A Del Re. Lethal Autonomous Weapons: Take the Human Out of the Loop. 2017.
3 Боевые роботы в будущих войнах: выводы экспертов // https://topwar.ru/91893-boevye-roboty-v-buduschih-voynah-vyvody-ekspertov.html (дата обращения: 1 ноября 2018 г.).
4 https://www.unog.ch/80256EE600585943/(httpPages)/F027DAA4966EB9C-7C12580CD0039D7B5?0penDocument (дата обращения: 30 августа 2018 г.).
5 https://www.unog.ch/80256EDD006B8954/(httpAssets)/E9178CB855E3D8EDC-12581D70065EF31/$file/2017_GGEonLAWS_WP_Russian.pdf (дата обращения: 30 августа 2018 г.).
Иную позицию занимает КНР. Впервые она была озвучена во время упомянутой Обзорной конференции 2016 года, когда Китай заявил о поддержке юридически обязательного протокола по вопросам, связанным с использованием САС, подобного Протоколу IV об ослепляющем лазерном оружии (Protocol on Blinding Laser Weapons)1, - для заполнения правового пробела2. Согласно российской позиции, однако частое приведение в пример данного Протокола как образца разумного превентивного запрета военной технологии не учитывает, что он не может быть применим к работе по САС, поскольку запретил не само лазерное оружие, а предельно конкретный случай его применения (причинение постоянной слепоты органам зрения)3.
27-31 августа 2018 г. в Женеве под эгидой ООН прошли переговоры Группы экспертов по САС4, где были согласованы 10 руководящих принципов, на которых мог бы базироваться подход международного сообще-ства5. Документ закрепляет бесспорный тезис: МГП продолжает в полной мере применяться ко всем системам вооружений, включая потенциальную разработку и применение САС. Экспертами признана необходимость сохранить ответственность человека за принятие решений о применении систем вооружений (такая ответственность не может быть передана машинам). Этот подход следует учитывать на протяжении всего жизненного цикла САС. Оценка рисков и меры по смягчению их последствий должны быть частью системы проектирования, разработки, испытания и развертывания новых технологий в любых оружейных системах. Вместе с тем дискуссии и любые потенциальные политические меры, принимаемые в контексте КНО, не должны препятствовать прогрессу в области использования технологий в мирных целях.
1 Ратифицирован Российской Федерацией (Федеральный закон от 8 июля 1999 г. № 153-ФЗ «О ратификации Дополнительного протокола к Конвенции о запрещении или ограничении применения конкретных видов обычного оружия, которые могут считаться наносящими чрезмерные повреждения или имеющими неизбирательное действие (Протокола об ослепляющем лазерном оружии (Протокола IV)») // http://pravo.gov.ru/
2 The poistion paper submitted by the Chinese delegation to CCW 5th Review Conference // https://www.unog.ch/80256EDD006B8954/(httpAssets)/DD1551E60648CEBBC125808A00595 4FA/$file/China's+Position+Paper.pdf (дата обращения: 12 декабря 2018 г.).
3 Выступление руководителя делегации Российской Федерации, директора Департамента по вопросам нераспространения и контроля над вооружениями МИД России В.И. Ермакова на Совещании государств-участников Конвенции о «негуманном» оружии по п.7 повестки дня «Общий обмен мнениями», Женева, 21 ноября 2018 г. (№ 2225-22-11-2018) // http://www.mid.ru/foreign_policy/news/-/asset_publisher/G51iJnfMMNKX/content/id/3415655/ pop_up?p_p_auth=vUEc25Nn&_101_INSTANCE_G51iJnfMMNKX_viewMode=print&_101_ INSTANCE_G51iJnfMMNKX_qrIndex=0 (дата обращения: 26 ноября 2018 г.).
4 https://www.unog.ch/80256EE600585943/(httpPages)/F027DAA4966EB9C7C12580CD00 39D7B5 (дата обращения: 1 ноября 2018 г.).
5 https://www.unog.ch/80256EDD006B8954/(httpAssets)/EB4EC9367D3B63B1C12582F D0057A9A4/$file/GGE+LAWS+August_EC,+C+and+Rs_final.pdf (дата обращения: 26 ноября 2018 г.).
После упомянутой встречи экспертов требования к действиям по борьбе с проблемой роботов-убийц только усилились. 11 сентября 2018 г. в обращении к Парламенту ЕС Верховный представитель ЕС по иностранным делам и политике безопасности Ф. Могерини изложила основные позиции ЕС по САС, среди которых тезис о том, что все оружейные системы, включая автономное оружие, подпадают под действие международного права, международного гуманитарного права и международного права в области прав человека. 12 сентября 2018 г. Парламент ЕС принял резолюцию1, призывающую к началу международных переговоров по юридически обязательному документу, запрещающему САС. В Заявлении от 18 октября 2018 г. для Первого комитета Генеральной Ассамблеи ООН по разоружению и международной безопасности П. Асаро, представляя Международный Комитет по контролю за роботизированным оружием (International Committee for Robot Arms Control, ICRAC) и Кампанию по остановке роботов-убийц (Campaign to Stop Killer Robots)2, отметил настоятельную необходимость в превентивном запрете САС.
Автономные роботы с искусственным интеллектом не похожи ни на что, ранее известное человеку. Не случайно не менее жаркие дебаты ведутся и в отношении вполне мирных («гражданских») роботов, а в принятой 16 февраля 2017 г. Парламентом ЕС резолюции «Гражданско-правовые нормы о робототехнике»3 ставится вопрос о наделении роботов правовым статусом4. В эпицентре дискуссии по САС также оказались различия во взглядах на их внутреннюю природу. Некоторые делегации высказывали мнение, что автономные технологии могут стать независимыми разумными агентами, которые потенциально могут выйти из-под контроля их создателя-человека. Другие исходили из того, что машины всегда будут лишь инструментами в руках людей.
21-23 ноября 2018 г. прошло Совещание государств-участников Конвенции о «негуманном» оружии. Как отмечалось в выступлении руководителя делегации Российской Федерации В.И. Ермакова5, Россия по-прежнему
1 European Parliament resolution of 12 September 2018 on autonomous weapon systems (2018/2752(RSP) // http://www.europarl.europa.eu/sides/getDoc.do?pubRef=-//EP//N0NSGM-L+TA+P8-TA-2018-0341+0+D0C+PDF+V0//EN (дата обращения: 12 декабря 2018).
2 https://www.stopkillerrobots.org/wp-content/uploads/2018/10/KRC_StmtUNGA73_170ct-2018.pdf (дата обращения: 11 декабря 2018 г.).
3 European Parliament resolution of 16 February 2017 with recommendations to the Commission on Civil Law Rules on Robotics (2015/2103(INL)) // http://www.europarl.europa.eu/sides/ getDoc.do?type=TA&language=EN&reference=P8-TA-2017-0051#BKMD-12 (дата обращения: 15 декабря 2018 г.).
4 Габов А.В., Хаванова И.А. Эволюция роботов и право XXI века // Вестник Томского государственного университета. 2018. № 435. C. 220-231.
5 Выступление руководителя делегации Российской Федерации, директора Департамента по вопросам нераспространения и контроля над вооружениями МИД России В.И. Ермакова на Совещании государств-участников Конвенции о «негуманном» оружии по п. 7 повестки дня «Общий обмен мнениями». Женева, 21 ноября 2018 г. (№ 2225-22-11-2018) // http://www.mid.ru/foreign_policy/news/-/asset_publisher/G51iJnfMMNKX/content/id/3415655/ pop_up?p_p_auth=vUEc25Nn&_101_INSTANCE_G51iJnfMMNKX_viewMode=print&_101_ INSTANCE_G51iJnfMMNKX_qrIndex=0 (дата обращения: 26 ноября 2018 г.).
сдержанно относится к ведущимся на площадке КНО1 дискуссиям по проблематике САС, продолжая рассматривать данную тему как «крайне «сырую» и умозрительную». Она последовательно выступает за сбалансированный, взвешенный учет как гуманитарных озабоченностей, так и законных оборонных интересов государств. При этом необходимость учета гуманитарных озабоченностей не может использоваться в качестве абсолютного и единственного достаточного условия для введения ограничительно-запретительных режимов в отношении конкретных видов вооружений2.
Известно, что неоднократные нарушения норм МГП одной стороной конфликта могут повлиять и на поведение другой стороны. Теоретически худшим сценарием в такой ситуации будет динамика негативной взаимности (negative reciprocity), и в конечном итоге - взаимное пренебрежение данными нормами3. По мнению Ж. Джиака, советника по правовым вопросам МККК, на данном этапе определение автономного оружия должно быть достаточно широким, при этом нужно избежать как излишне широкой, так и излишне узкой трактовки. Если определение окажется слишком широким, под него подпадут некоторые уже существующие военные технологии, например, беспилотные летательные аппараты. Вместе с тем многие страны выступают против включения в определение САС систем, уже поставленных на вооружение. В то же время, если определение будет слишком узким, дискуссии перейдут в область научной фантастики4.
Межнациональная природа технологических новшеств (они - результат взаимодействия исследователей различных государств) исключает не только технологическую, но и правовую «изоляцию». И право должно учитывать эту особенность развития искусственного интеллекта. Технологии подвержены столь быстрому изменению, имея мгновенно преобразовывающуюся природу, что с трудом охватываются обычными (консервативными) юридическими актами. Вот почему так важно построение достаточно гибкой системы регуляторов, основой которой должны стать базовые ценности и принципы, формирующие каркас регулирования.
Сложность в реализации конвенционных решений, учитывая часто разновекторные интересы государств, повышает роль мягкого права на со-
1 https://www.unog.ch/80256EE600585943/(httpPages)/A0A0A3470E40345CC12580CD-003D7927?0penDocument (дата обращения: 26 ноября 2018 г.).
2 Рассмотрение различных аспектов новых технологий в сфере создания смертоносных автономных систем вооружений в контексте целей и задач Конвенции (Представлено Российской Федерацией). Женева, 13-17 ноября 2017 г. // https://www.unog.ch/80256EDD006B8954/ (httpAssets)/E9178CB855E3D8EDC12581D70065EF31/$file/2017_GGEonLAWS_WP_Russian. pdf (дата обращения: 11 ноября 2018 г.).
3 Geiss R., Siegrist, M. (2011) Has the armed conflict in Afghanistan affected the rules on the conduct of hostilities? International Review of the Red Cross, 93 (881). P. 20 // http://eprints.gla. ac.uk/78068/1/78068.pdf.
4 Козюлин В.Б., Грант Т., Гребенщиков А.В., Джиака Ж., Ефимов А.Р., Сун С., Уорхэм М. Боевые роботы: угрозы учтенные или непредвиденные? // Индекс безопасности. 2016. № 3-4 (118-119). Т. 22. С. 79-96.
временном этапе. Несмотря на свою необязательную природу, на каком-то этапе оно может обеспечить промежуточное регулирование подготовительного характера, опираясь на устойчивые (не вызывающие принципиальных разногласий) точки согласия по конкретным аспектам. Отметим еще и такую особенность. Нормы будут возникать не только в ходе экспертной дискуссии, но и на практике, в результате появления новых технологий, и нормы технического характера часто будут первопроходцами в урегулировании участия роботов в вооруженных конфликтах.
Как видно, дискуссия о подходах к регулированию САС находится в самом начале пути. С учетом изменения в самом содержании современной войны может меняться и наше представление о том, что правильно и неправильно на поле брани. И пока сложно высказать предположения о дальнейших путях ее развития и динамичности повестки. Думается, что будет она непростой в силу текущей геополитической ситуации, в которой сложно найти правовые средства, в полной мере учитывающие гуманистическую направленность МГП и интересы безопасности отдельных государств. Кроме того, предстоит решить и некоторые специфические проблемы, например, пока кажущийся футуристическим - вопрос о причинении вреда самим боевым роботам1.
Библиографический список:
1. Габов А.В., Хаванова И.А. Эволюция роботов и право XXI века // Вестник Томского государственного университета. 2018. № 435. C. 220-231.
2. Капустин А.Я., Мартыненко Е.В. Международное гуманитарное право: Учеб. пособие. М.: Изд-во РУДН, 1991. С. 36.
3. Ковлер А.И. Европейская Конвенция в международной системе защиты прав человека: монография. М.: Норма, ИНФРА, 2019. 304 с.
4. Козюлин В.Б., Грант Т., ГребенщиковА.В., ДжиакаЖ., ЕфимовА.Р., Сун С., Уорхэм М. Боевые роботы: угрозы учтенные или непредвиденные? // Индекс безопасности. 2016. № 3-4 (118-119). Т. 22. С. 79-96.
5. Кревельд М. ван. Трансформация войны. Пер. с англ. М.: Альпина бизнес Букс, 2005. 343 с.
6. Мельцер Н. Международное гуманитарное право: общий курс: справочное издание. М.: МККК, 2017. 419 с.
7. Морхат П.М. Возможности, особенности и условия применения искусственного интеллекта в юридической практике // Администратор суда. 2018. № 2. С. 8-12.
1 Война предполагает применение насилия по отношению к людям, однако если обе враждующие стороны применяют «умные» машины, это может стать «насилием» машин над другими машинами. Но разве это все еще война? - задается вопросом П. Лэйтон (сМ.: Layton P. Algorithmic Warfare. Applying Artificial Intelligence to Warfighting. Australia. Air Power Development Centre. 2018. P. 31).
8. Постников А.Н., Хамзатов М.М. Сухопутные войска будущего // Независимое военное обозрение. 11.09.2015 // http://nvo.ng.ru/ concepts/2015-09-11/4_future.html.
9. Савин Л. Бесконтактные и сетевые войны // https://www.geopolitica. ru/article/beskontaktnye-i-setevye-voyny.
10. Allen G., Chan T. Artificial Intelligence and National Security. Belfer Center for Science and International Affairs. 2017. P. 13, 70 // https://www.belfercenter. org/sites/default/files/files/publication/AI%20NatSec%20-%20final.pdf.
11. Anderson K., Waxman M. Law and Ethics for Robot Soldiers (April 5, 2012). Policy Review, 2012; Columbia Public Law Research Paper No. 12-313; American University, WCL Research Paper No. 2012-32. Available at SSRN: https://ssrn.com/abstract=2046375.
12. Asaro P. On Banning Autonomous Weapon Systems: Human Rights, Automation, and the Dehumanisation of Lethal Decision-making // International Review of the Red Cross. Volume 94. Number 886. Summer 2012. Pp. 687-709.
13. Bode I., Huelss H. Autonomous weapons systems and changing norms in international relations // Review of International Studies. 2018. Vol. 44, part 3. Pp. 393-413.
14. Del Re A. Lethal Autonomous Weapons: Take the Human Out of the Loop. 2017.
15. Detter I. The Law of War. Third edition. Ashgate Publishing, Ltd. 2013. P. 262.
16. Enemark Ch. Armed Drones and the Ethics of War: Military virtue in a post-heroic age. New York: Routledge, Taylor & Francis Group, 2014.
17. Geiss R., Siegrist, M. (2011) Has the armed conflict in Afghanistan affected the rules on the conduct of hostilities? International Review of the Red Cross, 93 (881). P. 20 // http://eprints.gla.ac.uk/78068/1/78068.pdf.
18. Ilachinski A. AI, Robots, and Swarms. Issues, Questions, and Recommended Studies. January 2017 // https://www.cna.org/cna_files/pdf/ DRM-2017-U-014796-Final-SUMMARY.pdf
19. Kerr I., Szilagyi K. Asleep at the Switch? How Lethal Autonomous Robots Become a Force Multiplier of Military Necessity // Robot Law. Edited by R. Calo, A.M. Froomkin, I. Kerr. Edward Elgar Pub, 2016. Pp. 335-336.
20. Krishnan A. Killer robots: Legality and ethicality of autonomous weapons. Routledge, 2016. Pp. 33-60.
21. Layton P. Algorithmic Warfare. Applying Artificial Intelligence to Warfighting. Australia. Air Power Development Centre. 2018. P. 31.
22. Roff H. Autonomous or «Semi» Autonomous Weapons? A Distinction Without Difference (Mar 18, 2015) // https://www.huffingtonpost.com/heather-roff/autonomous-or-semi-autono_b_6487268.html.
23. Sharkey N. E. The evitability of autonomous robot warfare // International review of the Red Cross. Vol. 94. Number 886. Summer 2012. P. 788.
