CC BY
174
DOI dx.doi.org/10.24866/VVSU/2073-3984/2019-4/033 -043
УДК 34.023
Д.А. Петрова1 Я.В. Гайворонская2
Дальневосточный федеральный университет Владивосток. Россия А.Ю. Мамычев3
Владивостокский государственный университет экономики и сервиса Владивосток. Россия
Смертоносные автономные системы: этические, юридические, политические проблемы и перспективы их решения*
Автономные системы вооружений оперативны, точны и эффективны и при этом способны минимизировать потери среди личного состава. Неудивительно, что военные большинства стран мира давно используют автоматизированное оружие и заинтересованы в его дальнейшем совершенствовании. В настоящий момент технологии подошли вплотную к созданию смертоносных автономных систем (САС) - систем вооружений, в будущем способных выполнять операции без значимого вмешательства оператора. По уровню разрушительной мощи, сложности политических, этических и юридических проблем, возникающих при обсуждении темы САС, появление полностью автономных боевых систем сравнивают с созданием ядерного оружия.
Настоящая статья фокусируется на правовых аспектах создания автономных боевых систем, их юридическом статусе и перспективах создания международного документа, запрещающего летальные роботизированные технологии. В результате проведенного исследования авторы пришли к выводу, что прямого юридического ограничения на применение полностью автономных боевых систем не предусмотрено, однако использование такого вооружения идет вразрез с доктринальными нормами международного права. Авторы считают, что всеобъ-
1 Петрова Дарья Анатольевна - канд. полит. наук, доцент кафедры теории и истории государства и права Юридической школы ДВФУ; e-mail: [email protected]
2 Гайворонская Яна Владимировна - канд. юрид. наук, доцент кафедры теории и истории государства и права Юридической школы ДВФУ; e-mail: [email protected]
3 Мамычев Алексей Юрьевич - д-р полит. наук, канд. юрид. наук, профессор кафедры теории и истории российского и зарубежного права; e-mail: [email protected]
Статья публикуется при поддержке гранта РФФИ «Национально-культурные и цифровые доминанты развития политических отношений в XXI веке» (№ 19-011-31031).
33
емлющий запрет на разработку, использование и распространение роботизированных технологий едва ли возможен в обозримом будущем. Наиболее возможный сценарий решения проблемы на международном уровне видится лишь в запрете использования такого вида военной техники непосредственно в ходе боевых действий. При этом авторы считают необходимым очертить допустимые сферы применения роботизированных технологий: медицинское и тыловое обеспечение военных действий, военное строительство, использование роботов-разминеров и иные подобные гуманистически оправданные мероприятия.
Ключевые слова и словосочетания: смертоносные автоматические системы (САС), автономное оружие, роботы-убийцы, искусственный интеллект, гуманитарное право.
D.A. Petrova Ya.V. Gayvoronskaya
Far Eastern Federal University
Vladivostok. Russia
A.Yu. Mamychev
Vladivostok State University of Economics and Service
Vladivostok. Russia
Deadly autonomous weapon: legal, ethical and political aspects
Autonomous weapons systems are operational, accurate and effective and are able to minimize casualties among personnel. It is not surprising that the military of most countries of the world have been using automated weapons for a long time and are interested in its further improvement. At the moment, technology has come close to creating deadly autonomous systems - DAS) - weapons systems in the future capable of performing operations without significant operator intervention. According to the level of destructive power, the complexity of political, ethical and legal problems that arise when discussing the topic of DAS, the emergence of fully autonomous combat systems is compared to the creation of nuclear weapons. This article focuses on the legal aspects of the creation of Autonomous combat systems, their legal status and prospects for the creation of an international instrument banning lethal robotic technologies.
As a result of the study, the authors concluded that there is no direct legal restriction on the use of fully autonomous combat systems, but the use of such weapons is contrary to the doctrinal norms of international law. The authors also believe that a comprehensive ban on the development, use and distribution of robotic technologies is hardly possible in the foreseeable future. The most possible scenario for solving the problem at the international level is seen only in the prohibition of the use of this type of military equipment directly in the course of hostilities. At the same time, the authors consider it necessary to outline the permissible areas of application of robotic technologies: medical and logistical support of military operations, military construction and other such humanistically justified measures.
Keywords: lethal automatic systems, Autonomous weapons, killer robots, artificial intelligence, humanitarian law.
34
Введение. Рассматриваемая проблема приобрела актуальность в 2013 году с опубликованием открытого письма разработчиков программ искусственного интеллекта. Исследователи заявили, что они не заинтересованы в разработке оружия на основе ИИ, создание которого реально в обозримой перспективе. Как большинство химиков и биологов ранее не были заинтересованы в создании ядерного и химического оружия. Письмо вызвало широкий общественный резонанс и, благодаря инициативе ученых и общественных организаций, с 2013 г. развернулась кампания по превентивному запрету боевых роботов. В настоящее время в Организации Объединенных Наций ведутся дискуссии о запрете разработок и использования боевых автоматизированных установок.
Исследованием указанной проблемы, в первую очередь, занимаются эксперты неправительственных организаций Stop Killer Robots [2], Article 36 [1], International Committee for Robot Arms Control [6], на порталах которых размещены постоянно обновляющиеся аналитические материалы.
Цель работы - выявить и сформулировать этико-правовые проблемы использования САС, нуждающиеся в международно-правовом регулировании. Для достижения цели авторы ставили перед собой следующие задачи: описать основные этические дилеммы в сфере разработки и использования САС; дать характеристику международно-правовому регулированию процессов разработки и использования САС; дать характеристику научной дискуссии по вопросам этики использования САС; предложить жизнеспособную модель регулирования в сфере разработки и использования САС, которая позволит решить выявленные этические проблемы.
Предмет исследования - проблемы использования смертоносных автономных систем вооружений.
Методология. Исследование выполнено с позиций аксиологического и гуманистического подходов, что предполагает рассмотрение жизни, прав и свобод человека в качестве самодостаточной ценности, предопределяющей отношение к иным явлениям и процессам в социуме и природе. Исследование технического прогресса с позиций аксиологического и гуманистического подхода является основной методологической установкой гуманитарных наук. В рамках названных подходов авторами были использованы различные методы и логические приемы обработки информации. Основной метод работы - метод анализа. Выводы строятся на основе методов исторического анализа, сравнительно-правового анализа, структурно-функционального анализа, формально-юридического анализа (в части толкования документов). Также использованы методы научного обзора и экспертной оценки, которые позволяют ввести читателя в проблему и охарактеризовать имеющееся регулирование отношений с использованием САС.
Основная часть. Специалисты указывают на массу нерешенных технических проблем, что на сегодняшний день не позволяет говорить о полной автономности, быстродействии, живучести, точности и безопасности имеющихся боевых роботов [11]. Но это именно тот случай, когда человечеству необходимо решить проблему до достижения точки невозврата.
35
Несмотря на то, что полностью автономные боевые роботы пока не разработаны, прототипы такого вооружения давно используются во многих странах мира. Миротворческая общественная организация Pax (Мир) [4] называет, по крайней мере, 4 примера реально существующих моделей оружия, способных работать на земле, под водой и в воздухе в автономном режиме без прямого управления человеком:
• Наземный стационарный робот SGR-A1 - оснащен гранатометом и автоматом, разработан южнокорейской компанией для контроля границы с Северной Кореей. Благодаря инфракрасным датчикам и программе распознавания движений робот может отслеживать злоумышленников и открыть по ним огонь как в автоматическом, так и в управляемом режиме.
• Израильская разработка «Гарпия» - ракета, выпускаемая с наземного транспортного средства. Автоматически обнаруживает, атакует и уничтожает вражеские радиолокационные излучатели. Может проводить в воздухе до 9 часов в поисках цели.
• Американская автономная подводная лодка «Морской охотник» - предназначена для слежения за вражескими подводными лодками, может работать без контакта с оператором в течение 2-3 месяцев. В настоящий момент на данном образце орудия не установлены.
• Беспилотный стелс самолет «Нерон», разрабатываемый Францией, может находиться в автономном режиме более 3 часов, предназначен для обнаружения и разведки наземных целей. Способен автоматически атаковать, самостоятельно устанавливая цели.
Исследователи Pax уверены, что подобные технологии способствуют созданию боевых роботов-убийц в течение ближайших лет, а не десятилетий, как считалось ранее.
«Предшественниками» полностью автономного оружия сегодня считаются вооруженные дроны и беспилотные самолёты, боевые стационарные сторожевые роботы, автоматические боевые комплексы, барражирующие боеприпасы и другое оружие: пока в цикле принятия решений такого вооружения присутствует человек, который может контролировать процесс выбора цели и принятия решения о применении силы.
Примером современного уровня развития военных технологий, основанных на ИИ, может служить система искусственного интеллекта Alpha, разработанная компанией Psibernetix (основана выпускниками Университета Цинциннати, США). Alpha победила в имитационном воздушном бою на симуляторе военного эксперта - полковника ВВС в отставке Джина Ли (Gene Lee), который в должности эксперта занимается обучением военных пилотов и тестирует подобные системы больше 30 лет. Эксперту ни разу не удалось поразить компьютерного противника и не удалось уйти. Alpha испытали и другие военные пилоты, которые также потерпели поражение. В будущем разработчики планируют натренировать Alpha и на других военных пилотах, после чего рассчитывают применить искусственный интеллект для управления реальным самолетом [16].
36
Очевидно, что с развитием технологий представление о войне и участии в ней солдат меняется, оставляя многие сложные моральные, этико-философские и юридические вопросы без однозначных ответов. Центральной проблемой является этическая - полностью автономное оружие не будет обладать человеческой способностью к сопереживанию. Человек уступает контроль над решением, кому жить, а кому умирать, неодушевленной машине. Машина же не способна осознать ни ценность человеческой жизни, ни значимость ее потери [18, с. 87].
Такие неправительственные организации, как Stop Killer Robots, Article 36, International Committee for Robot Arms Control, а также известные ученые и бизнесмены (С. Хокинг, И. Маск, С. Возняк) считают, что полностью автономное оружие не будет в состоянии соответствовать международному гуманитарному праву и правам человека, создаст проблему с определением ответственных лиц в случае противоправных действий автономных аппаратов) [13, с. 188]. А поспешность и необдуманность военных разработок ИИ могут привести к новой гонке вооружений в мире и постепенному игнорированию норм и принципов международного права [Там же, с. 189].
С юридической точки зрения требования международного гуманитарного права должны распространяться на все виды оружия, в том числе и на вооружение, основанное на системах ИИ. В международном праве не содержится прямой нормы, запрещающей использование полностью автоматических боевых систем, поэтому дискуссии о правомерности использования данного вида вооружения ведутся с точки зрения соответствия доктринальным нормам гуманитарного права. Сторонники запрета производства смертоносных технологий, в первую очередь, ссылаются на оговорку российского правоведа Ф.Ф. Мартенса. В консультационном заключении о законности угрозы или применении ядерного оружия 1996 [14, с. 518-519] Международный Суд ООН признает указанную оговорку источником обычного международного права и цитирует ее современный вариант, закрепленный в п. 2 ст. 1 Дополнительного протокола 1 к Женевским конвенциям от 12 августа 1949 года, касающийся защиты жертв международных вооружённых конфликтов:
«В случаях, не предусмотренных настоящим Протоколом или другими международными соглашениями, гражданские лица и комбатанты остаются под защитой и действием принципов международного права, проистекающих из установившихся обычаев, из принципов гуманности и из требований общественного сознания» [15]. Таким образом, оговорка Ф. Мартенса призывает обращаться к принципам гуманности в любой неурегулированной ситуации, затрагивающей жизни людей.
В этом же заключении Суд вывел фундаментальный универсальный принцип, применимый для всех видов вооружений, не только для ядерного оружия: воля государства в использовании вооружений не безгранична. На этом принципе Суд основывает два правила: 1) правило проведения различия - заключается в том, что гражданские лица не должны стать объектом нападения, а оружие, которое не в состоянии отличить комбатанта от некомбатанта, должно быть под запретом; 2) также запрету должно быть подвергнуто оружие, вызывающее
37
ненужное страдание и наносящее больший урон, чем того требует достижение военных целей, - это правило пропорциональности [15].
Автономные летальные технологии в их современном виде не соответствуют первому правилу - правилу проведения различия. Так, автоматический алгоритм не в состоянии отличить мирного гражданина от военного, в случае если первый держит в руках оружие или если мирное население берется в заложники и используется в качестве живого щита. Высказываются мнения, что боевые автономные системы могли бы пройти тест на проведение различия. Так, если в алгоритме робота будет записана программа, позволяющая поражать цель только после выстрела или атаки потенциального противника [17]. На наш взгляд, это все еще не решает названные проблемы, поскольку не исключены возможность ошибки и гибель мирного населения в результате этой ошибки.
Относительно соответствия автономных роботов второму правилу развернулась дискуссия. Сторонники запрета роботизированных летальных технологий понимают под принципом пропорциональности соотношение между причинением вреда мирному населению и обретением военного преимущества [9]. Исследователь Амстердамского центра международного права Джером Ван де Бугард настаивает, что такая трактовка однобока, поскольку применяется только к гражданскому населению [7]. По мнению исследователя, в данное понятие необходимо включать и право солдат на жизнь. В противном случае возникает конфликт между правом на жизнь гражданских лиц и правом солдат, при этом первым отводится приоритет. Использование роботов не причиняет страдания военному персоналу, следовательно, автономные роботизированные системы соответствуют правилу пропорциональности. На вопрос о целесообразности приравнивания права гражданских лиц и солдат исследователь отвечает, что начало военной операции детально регламентировано и взвешено с точки зрения правила пропорциональности перед отправкой контингента.
По нашему мнению, указанная позиция открывает широкие возможности для легитимации военных действий на территории другой страны. Мнение нидерландского исследователя описывает некий идеальный теоретический вакуум, в котором все международные конфликты проходят не просто в рамках норм гуманитарного права, но и полностью соответствуют нормам морали. Так, например, отправка войск США во Вьетнам или Афганистан, возможно, и просчитывалась с точки зрения принципа пропорциональности, но цель вторжения совершенно не преследовала гуманистические цели. Потери среди мирного населения в указанных конфликтах чрезвычайно велики, и, если на вооружении в то время были бы автоматические боевые роботы, то даже мук совести некому было бы испытывать.
Нужно заметить, что исследование Амстердамского центра берет во внимание только государственных акторов, в то время как государства давно не считаются единственными участниками международных процессов. Так, 14 сентября 2019 г. произошла атака 10 дронов на крупнейший нефтеперерабатывающий завод в Саудовской Аравии [3]. Ответственность взяли на себя хуситские
38
повстанцы. И в этом случае необходимо приравнивать права повстанческой армии к правам работников завода? Звучит абсурдно.
Несмотря на то, что международное гуманитарное право скорее запрещает использование тех видов вооружения, которые не соответствуют принципам разделения и пропорциональности, гуманитарное право никоим образом не ограничивает право государств создавать такие виды вооружений. Указанную возможность использует Китай, который присоединился к запрету использовать автономные смертоносные технологии, однако не отказался от их разработки.
Pax исследовала роль IT-компаний в разработке автономных смертоносных роботов [5]. Результат исследования показывает, что практически все известные компании-гиганты задействованы в разработке технологий, которые могут быть частью алгоритмов смертоносных программ. Pax ранжировала 50 IT-компаний по степени их вовлеченности в производство роботов-убийц.
В первой группе находятся компании, непосредственно участвующие в процессе создания автономных боевых роботов. В отчете фигурируют 22 компании, например, Microsoft, Clarifai и Amazon - ответственны за алгоритмы распознавания лиц и речи; Anduril Industries - за внедрение платформ искусственного интеллекта. Практически все компании из первой группы заключили контракты с министерствами обороны своих стран на участие в военных проектах.
Вторая группа компаний разрабатывает технологии для военного или оборонного комплекса, однако руководство компаний заявило о непричастности своих компаний к разработке роботов-убийц. Так, Facebook, Alibaba и IBM работают над технологиями распознавания моделей поведения, распознавания лиц и речи, программированием чипов для искусственного интеллекта. Кроме заявлений руководства компании из второй группы ничем не подтверждают свою непричастность к производству смертоносных технологий.
В третьей группе находятся компании, задействованные в разработке ИИ-технологий, таких, как алгоритмы распознавания лиц и речи, визуального восприятия, создания роботизированный техники, но сотрудники этих компаний по этическим соображениям отказались от участия в разработке смертоносных роботов. Среди таких компаний: IT-гигант Google [10], прекративший в 2018 г. свое участие в американском военном проекте Мауеп из-за отказа специалистов превратить свои наработки в оружие; израильские компании General Robotic и Arbe robotics; японская Softbank; российская VisionLabs. Все эти компании назвали способы защиты своих интеллектуальных наработок от использования военными для создания боевых автономных роботов.
Идея о введении запрета использовать, разрабатывать и распространять роботизированные летальные технологии обсуждается на региональном и международном уровне с 2013 г. За шесть лет ощутимого прогресса переговоры не принесли, принятые международные резолюции лишь подчеркивают важность проведения межгосударственного диалога по запрещению полностью автономных смертоносных машин. К таковым декларациям, например, относится резолюция Организации по безопасности и сотрудничеству в Европе от июля 2019 г.
39
[8] - это ни к чему не обязывающий документ, который лишний раз призывает обсудить проблему.
Очевидно, что рассматриваемая проблема находится в политической плоскости: роботизированные технологии - это слишком выгодное вложение для достижения преимущества в военном плане. Для реального достижения соглашения необходим политический компромисс. Так, Соглашение о нераспространении ядерного оружия (ДНЯО) 1968 г. представляет собой компромисс между ядерными и неядерными странами, при котором очерчивается легальный круг из пяти стран (Россия, США, Франция, Китай, Великобритания) - обладателей ядерного оружия. Пятерка ядерных стран, в свою очередь, обязуется не применять ядерное оружие в отношении неядерных государств. Однако применение такой модели компромисса к случаю с нераспространением роботизированных летальных технологий является наименее выгодным вариантом для неядерных государств, поскольку помимо легального обладания ядерным оружием одна и та же группа стран получит право монопольного обладания и другим видом наиболее разрушительного вооружения. Тогда неядерные страны станут еще и нетехнологическими, а их зависимость от сильных стран возрастет.
Наиболее вероятный сценарий заключения международного соглашения по проблеме САС, как нам видится, состоит не во всеобъемлющем запрете на разработку, использование и распространение роботизированных технологий без значимого контроля человека, а только в запрете на использование данного вида военной техники. При таком развитии событий можно будет только порадоваться за нашу планету. Но, как мы уже отмечали, с учетом политических и экономических интересов на современной международной арене вероятность быстрого и безболезненного принятия подобного компромиссного документа невысока. В содержательном плане регулирование АРС должно предусматривать допустимые сферы использования приборов с системами ИИ и автономных устройств. Эти сферы должны включать в себя медицинское и тыловое обеспечение военных действий, военное строительство, использование роботов-разминеров и подобные гуманистически оправданные мероприятия.
Так, среди допустимых направлений робототехники и ИИ в военной сфере можно признать следующие направления развития ИИ, отмечаемые учеными:
- интеллектуальная поддержка действий низовых войсковых подразделений (военнослужащим будет предоставляться разведывательная информация, информация по оценке обстановки, обеспечению взаимодействия, координации и субординации);
- медицинское обеспечение в сфере военного дела (роботы-андроиды для медицинской эвакуации; методы ИИ для постановки диагноза; врачи-роботы для реанимации, консервативного и оперативного лечения военнослужащих, получивших травмы и ранения; ускоренное изготовление лекарственных препаратов с учетом состояния пораженного и др.);
- оценка состояния военнослужащих в повседневной и боевой деятельности (интеллектуальные алгоритмы распознавания и оценки функциональных и депрессивных состояний человека по речи, позам, положению головы и глаз и т. д.);
40
- создание биокибернетических кабин операторов для совершенствования эргономических характеристик ВВСТ (вооружение, военная и специальная техника) - системы жизнеобеспечения военнослужащих, средства интеллектуальной и психофизиологической поддержки, перестраиваемые в соответствии с решаемыми боевыми задачами, индивидуальными характеристиками операторов и их текущим функциональным состоянием;
- создание интеллектуальных тренажеров для обучения операторов, водителей, летчиков основам управления ВВСТ в сложной обстановке;
- интеллектуальные технологии разведки (дешифрование материалов видовой разведки, обработка информации от средств кибер-разведки);
- информационные войны (использование ИИ для сбора и анализа разведывательной информации, подготовка информационных воздействий, фейковых новостей, пресс-релизов, кибер-атак и т.д.) [12].
Помочь в достижении положительных результатов в плане корреляции технического прогресса и принципов международного гуманитарного права может научная этика. Возможно, исследователи искусственного интеллекта примут своеобразный кодекс исследователя, благодаря которому станет невозможным использовать роботизированные технологии в качестве оружия. Остается надежда, что моральная ответственность непосредственно тех, кто причастен к разработке технологий, сможет остановить изнутри процесс создания смертоносных роботов.
1. Article 36 [Электронный ресурс]. URL: http://www.article36.org/
2. Campaign to stop killer robots [Электронный ресурс]. URL: https://www.stopkillerrobots.org/
3. CNN (США): атака на нефтяные объекты Саудовской Аравии изменила ход конфронтации в Персидском заливе [Электронный ресурс] // Иносми.ру. URL: https://inosmi.ru/economic/20190916/245829335.html
4. Do killer robots exist? [Электронный ресурс] // Pax. URL: https://www.paxforpeace.nl/ media/files/pax-booklet-killer-robots-what-are-they-and-what-are-the-concerns.pdf
5. Don't be evil? [Электронный ресурс] // Pax. URL: https://www.paxforpeace.nl/ publica-tions/all-publications/dont-be-evil
6. International committee for robot arms control [Электронный ресурс]. URL: https://www.icrac.net/
7. Jeroen van den Boogaard [Электронный ресурс] // Journal of International Humanitarian Legal Studies. Vol. 6. Iss. 2. 2015. URL: file:///C:/Users/admin/Downloads/SSRN-id2748997.pdf
8. luxembourg declaration and resolutions adopted by the OSCE Parliamentary Assembly at the twenty-eighth annual session [Электронный ресурс] // Сайт Парламента ОБСЕ. URL: https://www.oscepa.org/documents/annual-sessions/2019-luxembourg/3882-luxem-bourg-declaration-eng/file
9. MAKING THE CASE The Dangers of Killer Robots and the Need for a Preemptive Ban [Электронный ресурс] // Human rights watch. URL: https://www.hrw.org/sites/default/files/report_pdf/arms1216_web.pdf
10. Rise of the tech workers [Электронный ресурс] // Campaign to stop killer tobots. URL: https://www.stopkillerrobots.org/2019/01/rise-of-the-tech-workers/
41
11. Автономное оружие: открытое письмо исследователей ИИ (искусственного интеллекта) и роботов [Электронный ресурс] // The future of life institute. URL: https://futureoflife.org/open-letter-autonomous-weapons-russian/
12. Бугаков И.А., Царьков А.Н. Интеллектуализация военной робототехники: терминологическая и технологическая проблемы // Известия Института инженерной физики. 2017. № 3 (45). С. 87-93.
13. Буренок В.М., Дурнев Р.А., Крюков К.Ю. Разумное вооружение: будущее искусственного интеллекта в военном деле // Известия Российской академии ракетных и артиллерийских войск, 2018. С. 17-19.
14. Виловатых А. В. Искусственный интеллект как фактор военной политики будущего // Проблемы национальной стратегии. 2019. № 1 (52). С. 177-192.
15. Действующее международное право: хрестоматия. - Бишкек: ООО «Алтын Принт», 2012. 600 c.
16. Дополнительный протокол к Женевским конвенциям от 12 августа 1949 года, касающийся защиты жертв международных вооружённых конфликтов (протокол I). [Электронный ресурс] // Международный комитет красного креста. URL: https://www.icrc.org/ru/doc/assets/files/2013/ap_i_rus.pdf
17. Искусственный интеллект превзошел военных пилотов. 29. 06. 2016 [Электронный ресурс]. URL: https://nplus1.ru/news/2016/06/29/Daisy-Bell (дата обращения 25.09.2016).
18. Сычев В. Кто-то должен воевать [Электронный ресурс] // N+1. URL: https://nplus1.ru/material/2018/09/05/war-robots-laws
19. Уорхэм М. Выступление на круглом столе «Боевые роботы: угрозы учтенные или непредвиденные?» в рамках международной конференции ПИР-центра и Дипломатической академии МИД России «Повестка 21 века - новые технологии и вызовы глобальной безопасности» // Индекс безопасности. 2016. Т. 22, № 3-4 (118-119). С. 87.
Транслитерация
1. Avtonomnoe oruzhie: otkrytoe pis'mo issledovatelej II (iskusstvennogo intellekta) i robotov [Elektronnyj resurs] // The future of life institute. URL: https://futureoflife.org/open-letter-autonomous-weapons-russian/
2. Bugakov I.A., Car'kov A.N. Intellektualizaciya voennoj robototekhniki: termi-nologicheskaya i tekhnologicheskaya problemy // Izvestiya Instituta inzhenernoj fiziki. 2017. № 3 (45). P. 87-93.
3. Burenok V.M., Durnev R.A., Kryukov K.YU. Razumnoe vooruzhenie: budushchee iskusstvennogo intellekta v voennom dele // Izvestiya Rossijskoj akademii raketnyh i ar-tillerijskih vojsk, 2018. P. 17-19.
4. Vilovatyh A.V. Iskusstvennyj intellekt kak faktor voennoj politiki budushchego // Problemy nacional'noj strategii. 2019. № 1 (52). P. 177-192.
5. Dejstvuyushchee mezhdunarodnoe pravo: hrestomatiya. - Bishkek: OOO «Altyn Print», 2012. 600 c.
6. Dopolnitel'nyj protokol k ZHenevskim konvenciyam ot 12 avgusta 1949 goda, kasa-yushchijsya zashchity zhertv mezhdunarodnyh vooruzhyonnyh konfliktov (protokol I). [Elektronnyj resurs] // Mezhdunarodnyj komitet krasnogo kresta. URL: https://www.icrc.org/ru/doc/assets/files/2013/ap_i_rus.pdf
7. Iskusstvennyj intellekt prevzoshel voennyh pilotov. 29. 06. 2016 [Elektronnyj resurs]. URL: https://nplus1.ru/news/2016/06/29/Daisy-Bell (data obrashcheniya 25. 09. 2016)
8. Sychev V. Kto-to dolzhen voevat' [Elektronnyj resurs] // N+1. URL: https://nplus1.ru/material/2018/09/05/war-robots-laws
42
9. Uorhem M. Vystuplenie na kruglom stole «Boevye roboty: ugrozy uchtennye ili nepredvi-dennye?» v ramkah mezhdunarodnoj konferencii PIR-centra i Diplomaticheskoj akademii MID Rossii «Povestka 21 veka - novye tekhnologii i vyzovy global'noj bezopasnosti» // Indeks bezopasnosti. 2016. Tom 22, № 3-4 (118-119). P. 87.
© Д.А. Петрова, 2019 © Я.В. Гайворонская, 2019 © А.Ю. Мамычев, 2019
Для цитирования: Петрова Д.А., Гайворонская Я.В., Мамычев А.Ю. Смертоносные автономные системы: этические, юридические, политические проблемы и перспективы их решения // Территория новых возможностей. Вестник Владивостокского государственного университета экономики и сервиса. 2019. Т. 11, № 4. С. 33-43.
For citation: Petrova D.A., Gayvoronskaya Ya.V., Mamychev A.Yu. Deadly autonomous weapon: legal, ethical and political aspects, The Territory of New Opportunities. The Herald of Vladivostok State University of Economics and Service, 2019, Vol. 11, № 4, pp. 33-43.
DOI dx.doi.org/10.24866/VVSU/2073-3984/2019-4/033-043
Дата поступления: 29.11.2019.
