CC BY-NC
83Вопросы безопасности
Правильная ссылка на статью:
Тиханычев О.В. — О правовых и этических аспектах автономного использования робототехнических комплексов в сфере вооружённого противоборства // Вопросы безопасности. - 2019. - № 3. DOI: 10.25136/24097543.2019.3.28960 URL: https://nbpublish.com'Hbrary_read_article.php?id=28960
О правовых и этических аспектах автономного использования робототехнических комплексов в сфере вооружённого противоборства
Тиханычев Олег Васильевич
кандидат технических наук заместитель начальника отдела, ГК "Техносерв 111395, Россия, г. Москва, ул. Юности, 13
Статья из рубрики "Научно-техническое обеспечение национальной безопасности"
Аннотация.
Предмет исследования - применение автономных роботов различного назначения. Объектом исследование являются правовые и морально-этические проблемы, возникающие в данной области. Исследование проведено на примере применения робототехники в военной сфере. Анализ особенностей современных боевых действий показывает, что один из аспектов революции в военном деле - роботизация поля боя. Но реализация данной тенденции порождает определённые проблемы в правовой и гуманитарной сфере. Как и для любого оружия, при применении боевых роботов могут происходить критичные ошибки, разделяемые специалистами на ошибки первого и второго рода.В роботехнике основная причина этих ошибок - функционирование программного обеспечения роботехнических систем. И если для обычного вооружения последствия этих ошибок предсказуемы, а ответственность за их результаты определена, то для случая применения боевых роботов ситуация требует решения. В статье, с применением общенаучных методов анализа и синтеза, исследованы основные аспекты современного состояния и перспективы данной проблемы. На основе обзорного анализа правовых и морально-этических проблем применения автономных роботов, возможных последствий и причин появления ошибок первого и второго рода, возникающих при их боевом применении, в данной статье синтезирована постановка научной задачи решения проблемы разделения ответственности между разработчиками и эксплуатантами подобных систем
Ключевые слова: морально-этические проблемы робототехники, правовые проблемы робототехники, применение оружия, применение боевых роботов, право и роботехника, автономные боевые роботы, роботизация поля боя, ошибочные решения, ошибки второго рода, разделение ответственности
DOI:
10.25136/2409-7543.2019.3.28960
Дата направления в редакцию:
01-04-2019
Дата рецензирования:
29-03-2019
Введение
Развитие и внедрение в практику новых технологий, кроме несомненных преимуществ, несёт в себе и определенные опасности. Не является исключением развитие робототехники, и, в частности, создание автономных робототехнических систем. Под последними понимаются системы с гибкими алгоритмами, управляемые без участия человека.
Наиболее наглядный пример возникновения проблем использования автономных роботов являет сфера вооруженного противоборства. Высокая динамичность ведения современных военных действий, сложность фоно-целевой обстановки, требуют кардинального сокращения длительности цикла поражения объектов противника. Использование «традиционных» систем вооружения физически не обеспечивает требуемой длительности цикла «обнаружение - анализ - принятие решения - выдача команды - поражение» с одновременным соблюдением требований по безопасности экипажей (расчётов). Решением проблемы стало создание ударных беспилотных средств, сочетающих в себе системы разведки и поражения. Но и они не в полной мере отвечают заданным требованиям, так как решение на применение оружия в них принимает удалённо расположенный человек-оператор, по определению отстающий в скорости обработки информации от программных и технических средств. Ситуация осложняется наличием в современных разведывательно-ударных робототехнических комплексах каналов связи, которые могут быть подавлены средствами радиоэлектронной борьбы, что может привести приведёт к срыву удара. Эти тенденции порождают необходимость использования на поле боя автономных разведывательно-ударных робототехнических систем. Но, в таком случае, возникают проблемы совсем другого плана: этические, правовые...
1.Применение боевых роботизированных систем в современных вооруженных конфликтах
До последнего времени боевые роботизированные системы, отвечающие современному понятию определения «робот», применялись там, где они способны были заменить человека в наиболее опасных видах деятельности: беспилотные самолёты-разведчики, мишени и ложные цели для системы противовоздушной обороны противника, роботы-саперы, беспилотные средства для подводных поисковых работ и т.п.
Организованное в соответствии с указанным принципом применение роботов на поле боя, например, в качестве разведывательных систем, позволило повысить эффективность ведения боевых действий. Но такое локальное решение, соответственно, обеспечивает и локальный прирост эффективности. В том числе, не решая задачу реализации одного из важнейших принципов: поразить противника, находясь вне зоны
его ответного поражения. А также проблему сокращения длительности цикла поражения обнаруженных объектов, актуальность которой непрерывно растёт по мере повышения динамичности современных боевых действий.
Для решения указанных проблем логичным оказалось совместить вооружение и средства разведки на единой роботизированной платформе. Но что в таком случае делать с управлением и принятием решения на удар?
Этот вопрос в условиях высокодинамичных боевых действий не заставил себя ждать. При проведении операции "Enduring Freedom" беспилотным летательным аппаратом (БПЛА) MQ-1 Predator была обнаружена автомобильная колонна, идентифицированная как подразделение противника. За время оценки обстановки и принятия оператором решения на удар колонна вышла из зоны применения оружия и не была обстреляна, хотя на борту БПЛА имелись ракеты AGM-114K Hellfire, позволявшие при своевременном получении команды выполнить задачу.
17 октября 2001 года произошло событие, практически незамеченное средствами массовой информации, но являющее собой определённую веху в истории взаимоотношения человека и созданных им машин: в ходе операции коалиционных сил США и НАТО в Афганистане зафиксирован первый опыт использования оснащенного управляемой ракетой БПЛА Predator для поражения зенитной установки с находящейся в ней расчётом. Впоследствии случаи применения БПЛА для поражения наземных объектов стали массовыми. В ходе проведения операций "Anaconda" и "Shock and Awe", БПЛА применялись даже для непосредственной огневой поддержки и это, по заявлению американских источников, явилось очередным шагом к «войне машин» против человека
[2,3]. В дальнейшем, по мере развития и внедрения боевой робототехники, количество подобных событий выросло многократно. В настоящее время счёт жертв беспилотников в зонах локальных конфликтах уже идёт на тысячи [4-6].
2.О некоторых проблемах развития боевой робототехники и источниках их возникновения
До настоящего времени на всех этапах развития роботов от дистанционно управляемых к беспилотным аппаратам, решение на применение оружия остаётся за человеком. Но в перспективе, эта функция может быть, и скорее всего, будет, делегирована БПЛА. Это решение объективно диктуется проблемами управления роботами на большом расстоянии и в сложных средах, а также требованиями оперативности решения боевых задач, неразрывно связанными с возрастанием масштабов и динамичности ведения современных военных действий. И его реализация изменит существующую ситуацию разделения полномочий и ответственности.
Аналогичная ситуация складывается и в других сферах применения робототехники в современном высокодинамичном мире. Что повышает актуальность контроля разработки автономных роботов и их составных частей, в первую очередь компонентов, отвечающих за автономность: алгоритмического, математического и программного обеспечения.
На практике реализация подобных решений, находящихся на грани юридических и морально-этических компетенций, ограничивается наличием ряда проблем, как технического, так и организационного характера. Без решения которых дальнейшее развитие боевой робототехники будет проблематично.
С научной точки зрения, наиболее очевидным алгоритмом решения подобных комплексных проблем является их декомпозиция на относительно автономные составные
части с дальнейшим поиском путей локализации каждой из них.
Анализ особенностей процесса роботизации поля боя позволяет провести декомпозицию проблемы на составляющие, определяющие ряд нерешенных вопросов в рассматриваемых областях деятельности:
- проблемы безопасности роботизированного вооружения для эксплуатантов и мирного населения (некомбатантов);
- правовые и морально-этические вопросы в части разрешения на самостоятельные действия и применение робота против человека;
- проблема разделения ответственности за результаты и ошибки применения между разработчиками и эксплуатантами, и ряд других.
Проблемы безопасности всегда сопровождают развитие сложных технических систем. Робототехника - не исключение. Начиная с 1979 года, зафиксировано более десяти случаев получения увечий и даже гибели людей при сбоях использования промышленных роботов. Но промышленные роботы системы, не имеющие функциональной задачи причинять вред. Боевые роботы намного опаснее и меры безопасности при их использовании должны быть совершенно иными. Первыми над этим
стали задумываться там, где наиболее активно применяют подобные системы [7-9]. Вопрос не праздный, тем более уже имеются прецеденты: 12 октября 2007 года несанкционированным огнём автоматической зенитной пушки GDF-005 "ОегПкоп" в Южной Африке были убиты 9 и ранены 14 военнослужащих, просто находившихся рядом
с орудием и случайно вызвавших срабатывание автоматики ПШ. Логично предположить, что чем больше будет на вооружении стран мира робототехнических систем, тем выше вероятность подобных случаев.
Впрочем, как отмечено ранее, проблема безопасности применения сопровождает любые сложные системы, в том числе роботизированные, и общие пути её решения активно разрабатываются: как технологические, так и организационные. С точки зрения разработки систем они регламентируются нормативными документами по производству
[11,12], а с точки зрения их использования, например, в гражданской сфере - правовыми документами по имущественным и неимущественным правам в соответствии с областью применения (Гражданским кодексом, Воздушным кодексом, Кодексами торгового мореплавания и внутреннего водного транспорта и т.п.).
Впрочем, и в гражданском секторе остаётся множество проблем. Правовые документы возлагают ответственность на эксплуатанта потенциально опасной техники. Реально, на транспорте, происходит делегирование ответственности экипажам, управляющим транспортными средствами, оставляя за предприятием-эксплуатантом проверку их годности и предрейсовый контроль состояния технических средств. В случае автономных беспилотников за эксплуатантами остаётся только последнее, а в рейсе вся надежда только на программное обеспечение транспортных средств, что у которого «под капотом» пользователю доподлинно неизвестно: остаётся только надежда на добросовестность разработчика программного обеспечения.
С учётом этого, и наряду с активным внедрением робототехнических систем в военном деле, с возрастанием мощности вооружения роботов, не менее актуальной стала проблема, характерная для боевых человеко-машинных систем: проблема парирования ошибок применения и ответственности в случае их возникновения. Напомним, что
подобные ошибки в математической статистике принято разделять на ошибки первого и второго рода.
В военном деле к ошибкам первого рода относят необоснованный отказ от применения оружия, приводящий к невыполнению боевой задачи, непоражению важной цели. Эта ошибка, как показывает практика, типична для ведения военных действий и не вызывает особой тревоги, конечно, если не влечёт за собой крупного ущерба от непораженного противника. Меры предотвращения такой ошибки, как правило, организационные: повышение ситуационной осведомлённости, автоматизации поддержки принятия решений и т.п.
Ошибка второго рода, это поражение цели, которую нельзя было поражать. К подобным ошибкам относят, например, «дружественный огонь» (Friendly fire). Последствия таких ошибок, как правило, намного страшнее, особенно, если в их результате пострадали некомбатанты.
Как ни печально это констатировать, применение боевых (ударных) робототехнических систем неизбежно влечёт за собой ошибки как первого, так и второго рода. Указанные ошибки характерны как для применения автономных роботов, так и для разомкнутых систем с участием в контуре управления человека. Кроме того, опасности причинения вреда возникают не только в процессе применения оружия, но и при автономном маневрировании роботов, их небоевом применении как потенциально-опасных систем.
Более того, ранее приведённые примеры [5,6] показывают, что подобные ошибки уже фиксируются в ходе локальных войн и вооруженных конфликтов. Соответственно, с развитием боевой робототехники масштаб ущерба от ошибок второго рода будет увеличиваться.
При появлении ошибок применения робототехнических систем возникает вопрос, которого не было для «обычной» боевой и специальной техники, кто виноват в них: пользователь системы, который поставил некорректную задачу или разработчик, создавший систему, неверно эту задачу интерпретировавшую? Причина этого вопроса кроется в самой структуре любого робота, представляющего собой совокупность технических и программных средств, управляемых по единому алгоритму.
Неразрывно связана с указанной проблемой ещё одна спорная ситуация - это наличие юридического и этического права предоставлять машинам возможность самостоятельно принимать решение на совершение безусловно опасных действий, например, на поражение объектов, в которых может находиться и/или при поражении которых может пострадать человек.
Боевая необходимость делегации боевым роботам функции принятия решений, как отмечалось ранее, становится всё более актуальной, что определяется рядом факторов:
1) Увеличивается радиус действия этих машин и разнообразие сред их применения (подводная, дальняя воздушная и надводная, наземная со сложным, в том числе урбанистическим, рельефом), затрудняя дистанционное управление ими. Проблема осложняется повышением разнообразия и эффективности средств радиоэлектронного подавления каналов управления техническими системами. Для неавтономных роботов, действующих на большом удалении от пунктов управления, этот фактор весьма чувствителен. Повышение автономности существенно снижает эффективность радиоэлектронного противодействия. Особенно, если предусмотреть алгоритмическое парирование потери каналов связи и навигации робототехнической системы;
2) Резко возрастают требования к оперативности поражения объектов противника, длительности цикла поражения, частью которого является время принятия решений;
3) Насыщение поля боя робототехническими системами при ограничении на количество привлекаемых операторов потребует организации группового применения роботизированного «роя», когда решение на маневрирование в составе группы, применение оборонительного оружия, будет приниматься «ведомыми» роботами автономно.
Одновременно, с развитием технологий искусственного интеллекта, создаётся технологическая возможность практического внедрения автономного принятия решений.
В период с апреля 2013 по август 2018 года указанная проблема неоднократно обсуждалась на совещаниях, проводимых под эгидой ООН в рамках уточнения
Конвенции о запрещении или ограничении применения различных видов вооружения t91. Совет безопасности ООН рекомендовал установить мораторий на развитие автономных боевых роботов (Lethal autonomous robotics - LAR). Но данное решение носит рекомендательный характер, оно не несёт статуса международного закона,
обязательного к исполнению J-131. Пользуясь этим и методологической неопределённостью проблемы, ведущие промышленные государства продолжают разработку боевых роботов, в том числе - частично и полностью автономных.
Тем более, что, как указано ранее, процесс повышения автономности боевых робототехнических систем определяется объективными факторами развития в ооруж е нного против о бо рс тв а .
Анализ показывает, что в основе указанной в статье проблемы лежит сама структура робототехнических систем, являющихся сложными изделиями, включающими технические средства и программное обеспечение, функционирующие в едином неразрывном цикле.
В связи с этим, если в «классическом» случае применения обычного оружия всю очевидно: производитель вооружения обособлен от результатов своего труда и все решения, а, следовательно, и ответственность, лежит на пользователе, то в боевой робототехнике всё не так очевидно. Программное обеспечение боевых роботов не просто является их неотъемлемой частью, оно обеспечивает реализацию алгоритмов их боевого применения: управление перемещением, оценку обстановки, расчёты на применение оружием и т.п. За человеком остаётся только постановка цели и выдача команды на применение оружия, и то пока...
Ещё более сложная ситуация с разработкой и эксплуатацией робототехнических систем, оснащённых средствами искусственного интеллекта , например, на основе самообучающихся нейронных сетей. Интеллектуализированные робототехнические системы уже не действуют путём выбора стандарта поведения из набора готовых алгоритмов, они способны модифицировать алгоритмы применения, создавать собственные, обучаясь по мере эксплуатации. И кто будет виноват в возникновении ошибок эксплуатации: «родители» такого робота, разрабатывающие структуру нейронной сети и активационные функции нейронов, «воспитатели», обеспечивающие их обучение, или эксплуатанты, ставящие задачи разной степени корректности.
В свою очередь, программное обеспечение робототехнических систем разрабатывается целой кооперацией исполнителей: постановщиками задач, алгоритмистами, программистами, тестировщиками.
Последние играют не менее важную роль, чем все остальные. Достаточно вспомнить классический случай некачественного тестирования автоматизированной системы противовоздушной обороны "See Wolf" фрегата "Broadsword", следствием которого явилась пропущенная алгоритмическая ошибка, проявившаяся уже в боевых условиях и
приведшая к потоплению эсминца "Cowentry" в ходе Фолклендского конфликта I-14!. К ошибкам программного обеспечения можно и отнести самосрабатывание автомата "Oerlikon" в 2007 году.
Любой из представителей коллектива разработчиков робототехнических систем может совершить ошибку, приводящую к критическим последствиям и, теоретически, должен разделять ответственность за неё наряду с эксплуатантами системы. В существующих нормативных документах в рамках решения этой проблемы прописаны только требования по организации тестирования робототехнических систем, валидации и верификации их программного обеспечения, а вот указаний о закреплении ответственности по этапам
разработки и эксплуатации указаний в них нет [11,12]. Отсылка к ГОСТам, регламентирующим проведение испытаний в целом, подразумевает, в лучшем случае, коллективную ответственность за формальные результаты их проведения. Учитывая, что с принятием «Закона о техническом регулировании» №184-ФЗ от 27.12.2002, статус ГОСТ существенно снижается, а технические регламенты в части создания и эксплуатации робототехники не разработаны, ситуация становится критичной.
И это ещё для относительно простого случая, при отсутствии злонамеренного программно-аппаратного воздействия на робототехническую систему. В случае применения боевых роботов ситуация будет однозначно сложнее и характеризоваться попытками противника физически или программно нарушить целенаправленную работу боевых робототехнических систем. Соответственно, в цепочку ответственных добавятся разработчики защитных систем комплекса.
Ситуация дополнительно осложняется тем, что в своей работе коллективы разработчиков тоже используют сторонние средства автоматизации процесса создания программного обеспечения, в том числе - работающие с кодом программ, автоматически генерирующие часть кода для решения задач, задаваемых в общем виде. Это удлиняет цепочку участников и ещё сильнее «размывает» проблему ответственности. И в очередной раз поднимает вопросы её юридического определения. Вопросы, ответов на которые пока нет.
3.Формулировка задачи поиска решения проблемы
Актуальность необходимости решения указанного перечня проблем, с учётом перспектив вполне вероятного массового применения роботов на поле боя в обозримом будущем
будет только возрастать [15,16]. Примером может служить армия США, в которой активно реализуется так называемая «Третья компенсационная стратегия», направленная на
активную роботизацию поля боя [17-19]. И вести войну по принципу «кровь - цена победы» будут всё меньше и меньше армий, развитые страны будут беречь своих граждан, обеспечивая бескровную победу. Соответственно, аналогичные проблемы возникают и в других областях деятельности.
Таким образом, анализируя текущее состояние проблемы роботизации поля боя можно сделать ряд выводов:
1) Введение реально действующего запрета на применение автономных боевых роботов
в обозримом будущем маловероятно, процесс их создания, учитывая потребности ведения динамичных и высокотехнологичных боевых действий, продолжится.
2) С ростом масштабов применения автономных робототехнических систем в различных сферах деятельности неизбежно увеличение количества ошибок их применения, как первого, так и второго рода. Организационно-технические меры по их снижению не будут давать полную гарантию от ошибок, лишь снижая вероятность их возникновения.
3) Первые два фактора неизбежно порождают морально-этическую и правовую проблему определения ответственности за приносимый роботами вред и разделения её между разработчиками и эксплуатантами боевых роботов.
Акцентируясь на последней проблеме, можно сделать вывод о том, что проблема этичности создания автономных роботов и юридической ответственности за возможные последствия их применения актуальна, но до настоящего времени не решена. То есть в настоящее время существует насущная научная задача, требующая скорейшего решения.
В общем виде данная задача может быть сформулирована как необходимость:
- разработки нормативных актов, регламентирующих принципы делегирования полномочий на самостоятельные действия (маневрирование и применение оружия) программному обеспечению автономных робототехнических систем;
- пров е де ния пра в ов ого а на лиз а в оз мож но сти приз на ния (ил и не приз на ния ) з а интеллектуализированными робототехническими системами возможности проявления собственной «воли» и ответственности за результаты её проявления специалистов, участвующих в разработке, обучении и эксплуатации роботов;
- уточнения системы нормативной документации по разработке и применению робототехнических систем в части юридического закрепления ответственности за различные этапы разработки и применения, а также за возникающие на них ошибки.
Сформулированная проблема является сложной научно-практической задачей, расположенной на стыке наук. Более того, решение задачи должно быть найдено не только и не столько для национальных правовых систем, сколько для системы международного права, обеспечив единые правила для всех. Для её решения требуется привлечение разнородных групп специалистов: юристов, техников, 1Т-специалистов. Но задача является актуальной и решение её объективно необходимо.
Все страны, включившиеся в процесс развития робототехники для различных сфер её применения, будут вынуждены решать сформулированную научную задачу. Россия - не исключение.
Заключение
Как показывает практика, в процессе работы любых сложных систем, в том числе робототехнических комплексов различного назначения, неизбежно приходится решать
целый ряд технологических [20, 21, 22] и организационных проблем [23, 24, 25, 26]. Как указано в отчете института SIPRI, одной из актуальных проблем обеспечения безопасности является угроза, потенциально возникающая при практическом
применении автономных боевых роботов I27!. Решение сформулированной в статье научно-практической задачи поможет обеспечить снижение данной угрозы, повысив безопасность современного мира в целом и каждой конкретной страны в частности.
Библиография
1. Военная мысль в терминах и определениях : в 3 т. / сост. Н. Н. Тютюнников. - М. : Перо, 2018. - Т. 3. Информатизация Вооруженных Сил. - 472 с.
2. Симулин А. А., Глотов Д. А., Ещенко В. И., Тиханычев О. В. Аспекты использования робототехники в военном деле // Risks and safety in rapidly changing world : Materials of the III international scientific conference (May 10-11, 2015). - Praha : Sociosfera-CZ, 2015. - Р. 67-71.
3. Hover and stare: FCS testing UAVS // Military.com. - URL:
https ://www.military.com/defensetech/2008/05/30/hover-and-stare-fcs-testing-uavs (date of access: 30.05.2008).
4. Мы убили 4700 человек, но это война. Американский сенатор раскрыл число жертв беспилотников. Новости TUT.BY. - URL: https://news.tut.by/world/336031.html (дата обращения: 21.09.2017).
5. Беспилотники США убивают большое число мирных жителей. Новости авиации и космонавтики. - URL: http://avianews.info/bespilotniki-ssha-ubivayut-bolshoe-chislo-mirnyh-zhitelej/ (дата обращения: 21.09.2017).
6. Мишени беспилотников в Афганистане: террористы или мирные жители? Мир. - URL: http://www.dw.com/ru/мишени-беспилотников-в-афганистане-террористы-или-мирные-жители/a-19200599 (дата обращения: 21.09.2017).
7. Sofge E. America's Robot Army: Are Unmanned Fighters Ready for Combat? // Popular Mechanics. Dec.18 2009. - URL:
https://www.popularmechanics.com/military/a2653/4252643/ (date of access: 1.04.2019).
8. Robot targets men in Iraq // Defense Tech. April 2008. — URL:
https ://www.military.com/defensetech/2008/04/17/robot-targets-men-in-iraq (date of access: 19.04.2008).
9. Report of the Special Reporter on extrajudicial, summary or arbitrary executions, Christof Heyns // UN General Assembly. -
URL:http://www.ohchr.org/Documents/HRBodies/HRCouncil/RegularSession/Session23/ A-HRC-23-47_en.pdf (date of access: 5.02.2015).
10. Tobiast T. Gibson. Ethics and new defense technology // The Hill. — URL: https ://thehill.com/blogs/pundits-blog/defense/234403-ethics-and-new-defense-technology (date of access: 30.01.2015).
11. ГОСТ Р 60.2.2.1-2016/ ИСО 13482: 2014 Роботы и робототехнические устройства. Требования по безопасности для роботов по персональному уходу. М.: Стандартинформ, 2016. - 78 с.
12. ГОСТ Р 60.1.2.2-2016/IS0 10218-2:2011. Роботы и робототехнические устройства. Требования по безопасности для промышленных роботов. - М. : Стандартинформ, 2016. - Ч. 2. - 70 с.
13. В ООН обсуждается вопрос запрета применения военных роботов // Новости HiTech. — URL: - http://android-robot.com/v-oon-obsuzhdaetsya-vopros-zapreta-primeneniya-voennyx-robotov (дата обращения: 06.10.2015).
14. Вудворд С. Фолклендская война. Мемуары командующего Фолклендской ударной группы. - Симферополь : Доля, 2005. - 415 c.
15. Чиров Д.С., Новак К.В. Перспективные направления развития робототехнических комплексов специального назначения // Вопросы безопасности. - 2018. - № 2. - С. 50-59. DOI: 10.25136/2409-7543.2018.2.22737.
16. Хрипунов С.П., Благодарящев И.В., Чиров Д.С. Военная робототехника: современные тренды и векторы развития // Тренды и управление. — 2015. — № 4.
- С. 410-422.
17. Ходаренок М.М., Калинин И. Третья стратегия: как будут воевать США // Сайт «Газетами». - URL: https://www.gazeta.ru/army/2017/11/28/11016068.shtml (дата обращения: 02.12.2017).
18. Army Equipment Program in support of President's Budget 2016 / US Army G-8, 2015. -56 p.
19. Capturing technology. Rethinking Arms Control. Conference Reader. - Berlin : German Federal Foreign Office, 2019. - 50 p.
20. Выпасняк В.И., Тиханычев О.В. О повышении эффективности применения высокоточного оружия в военных конфликтах локального и регионального масштаба // Вестник Академии военных наук. - 2008. - №4(25). - С. 43-48.
21. Тиханычев О.В. Ещё раз о некоторых проблемах применения боевых робототехнических систем // Вопросы безопасности. — 2018. - № 5. — С. 63-72. DOI: 10.25136/2409-7543.2018.5.25937.
22. Нестеров А. В. Возможны ли правоотношения и юридические взаимодействия между людьми и роботами? - М. : Препринт, 2016. - 14 с.
23. Лопатина Т. М. Некоторые аспекты проблемы моральной ответственности компьютерных систем // Правовые вопросы связи. - 2005. - №1. - С. 12-13.
24. Тиханычев О.В., Тиханычева Е.О. Проблемы использования потенциально опасных технологий в современном мире // Социосфера. - 2017. - № 2. - С. 33-36. DOI: 10.24044/sph.2017.2.6.
25. Bechel W. Attributing Responsibulity to Computer Systems // Metaphiiosophy. - 1985.
- № 16. - P. 189.
26. Johnson D. G. Computer Systems: Moral entities but not moral agents // Ethics and Information Technology. - 2006. - № 8. - P. 195-204.
27. SIPRI partners with the German Federal Foreign Office for conference on technology and arms control. Stockholm International Peace Research Institute. News and events. 18 March 2019. — URL: https://www.sipri.org/news/2019/sipri-partners-german-federal-foreign-office-conference-technology-and-arms-control(date of access: 19.02.2019).
