CC BY-NC
82Ещё раз о некоторых проблемах применения боевых робототехнических систем
Тиханычев Олег Васильевич
кандидат технических наук
старший научный сотрудник, ЗАО "НИИ проблем управления, информатизации и моделирования АВН"
123007, Россия, г. Москва, пр-д Хэрошзвский 1-Й, 5
И [email protected] Статья из рубрики "Фактор надежности в системах безопасности"
Аннотация.
Область исследования - применение робототехники в военном деле. Объектом исследование являются морально-этические и юридические проблемы, возникающие в данной предметной области, в первую очередь - в части автономного применения боевых роботов. Один из аспектов революции в военном деле - роботизация поля боя. Но реализация данной тенденции порождает определённые проблемы: в технологической, юридической и гуманитарной сфере. Как и для любого оружия, при применении боевых роботов могут происходить критичные ошибки, разделяемые специалистами на ошибки первого и второго рода. Но, если для обычного вооружения последствия этих ошибок предсказуемы, а ответственность за их результаты очевидна, то для случая применения боевых роботов ситуация намного сложнее. В статье, с применением общенаучных методов анализа и синтеза, исследованы основные аспекты данной проблемы. На основе обзорного анализа юридических и морально-этических проблем применения автономных боевых роботов, возможных последствий и причин появления ошибок первого и второго рода, возникающих при их боевом применении, в данной статье синтезирована постановка научной задачи решения проблемы разделения ответственности между разработчиками и эксплуатантами
Ключевые слова: морально-этические проблемы робототехники, юридические проблемы робототехники, применение оружия, применение боевых роботов, право и роботехника, автономные боевые роботы, роботизация поля боя, ошибочные решения, ошибки второго рода, разделение ответственности
DOI:
10.25136/2409-7543.2018.5.25937
Дата направления в редакцию:
13-05-2018
Дата рецензирования:
14-05-2018
Введение
Как показывает анализ исторического опыта, любые научные и технологические разработки рано или поздно находят применение в военной области. Не является исключением и такое направление, как робототехника. С учётом этого обстоятельства, писатели-фантасты и режиссёры утопий о будущем предсказывали потенциальную опасность, описывая случаи войны роботов с собственными создателями. Разумеется, это только фантастика. Да и роботы ранее никогда не применялись как боевые системы.
Конечно, можно возразить, что беспилотные средства как оружие применяются достаточно давно, с середины прошлого века. Но необходимо помнить, что эти средства - самонаводящиеся ракеты и управляемые бомбы, являются одноразовыми системами с ограниченными возможностями выбора цели. Это относится даже к самым совершенным из них, например, крылатым ракетам, оснащаемым системами управления с возможностью перенацеливания на конечном участке траектории. Все они являются не оружием, а боеприпасами, наводимыми в точку или на объект, указанный оператором. А
под боевыми роботами понимается именно оружие, участвующее в выборе цели и поражающее её дистанционно, в большинстве случаев без самоуничтожения. В этом заключается разница между ними.
И ещё одно важное замечание - робототехническая система, в обобщённой форме, состоит из двух основных компонентов: технических средств и программного обеспечения. И последнее, в отличие от остальных типов оружия, в том числе автоматизированных, в робототехнической системе превалирует. Что создаёт проблемы разработки и эксплуатации, которых не было в ходе применения «обычного» оружия и которые требуют решения.
1.Применение боевых роботизированных систем в современных вооруженных конфликтах
До последнего времени боевые роботизированные системы, отвечающие современному понятию определения «робот» применялись только там, где они способны были заменить человека в наиболее опасных видах деятельности: беспилотные самолёты-разведчики, мишени и ложные цели для системы противовоздушной обороны противника, роботы-саперы, беспилотные средства для подводных поисковых работ и т.п.
Организованное в полном соответствии с указанным принципом применение роботов на поле боя, например, в качестве разведывательных систем, позволило повысить эффективность ведения боевых действий. Но такое локальное решение, соответственно, обеспечивает и локальный прирост эффективности. В том числе, не решая проблему реализации одного из основных военно-технических принципов: поразить противника, находясь вне зоны его ответного поражения. Или, например, проблему сокращения длительности цикла поражения обнаруженных объектов, актуальность которой непрерывно растёт по мере повышения динамичности современных боевых действий.
Для решения указанных проблем логичным оказалось совместить вооружение и средства разведки на единой роботизированной платформе. Но что в таком случае делать с принятием решения на удар?
Этот вопрос в условиях высокодинамичных боевых действий не заставил себя ждать. При проведении операции «Несокрушимая свобода» (Enduring Freedom) беспилотным
летательным аппаратом (БЛА) MQ-1 «Хищник» Predator) была обнаружена автомобильная колонна, идентифицированная как подразделение противника. За время оценки обстановки и принятия оператором решения на удар колонна вышла из зоны применения оружия и не была обстреляна, хотя на борту БЛА имелись ракеты AGM-114K «Хеллфайр» (Hellfire) , позволявшие при своевременном получении команды выполнить задачу.
17 октября 2001 года произошло событие, практически незамеченное средствами массовой информации, но являющее собой определённую веху в истории взаимоотношения человека и созданных им машин: в ходе операции коалиционных сил США и НАТО в Афганистане зафиксирован первый опыт использования оснащенного управляемой ракетой БЛА «Предатор» для поражения зенитной установки с находящейся в ней расчётом. Впоследствии случаи применения БЛА для поражения наземных объектов стали массовыми. В ходе проведении операций «Анаконда» (Anaconda) и «Шок и трепет» (Shock and Awe) , БЛА применялись даже для непосредственной огневой поддержки и это, по заявлению американских источников,
явилось очередным шагом к «войне машин» против человека [2,3]. В дальнейшем, по мере развития и внедрения боевой робототехники, количество подобных событий выросло многократно. В настоящее время счёт жертв беспилотников в зонах локальных
конфликтах уже идёт на тысячи [4,5,6].
2.О некоторых проблемах развития боевой робототехники и источниках их возникновения
И пусть сейчас, хоть на простейшем уровне, разделение полномочий между машиной и человеком существует: до настоящего времени на всех этапах развития роботов от дистанционно управляемых к беспилотным аппаратам, решение на применение оружия всё-таки остаётся за человеком. Но в перспективе, эта функция может быть, и скорее всего будет, делегирована БЛА. Это решение объективно диктуется требованиями оперативности решения боевых задач, неразрывно связанное с возрастанием динамичности ведения современных военных действий. И его реализация изменит существующую ситуацию разделения полномочий и ответственности.
На практике реализация подобных решений, находящихся на грани юридических и морально-этических компетенций, ограничивается наличием ряда проблем, как технического, так и организационного характера. Проблем, без разрешения которых дальнейшее развитие боевой робототехники будет проблематично.
С научно точки зрения, наиболее очевидным алгоритмом решения подобных комплексных проблем является их декомпозиция на относительно автономные составные части с дальнейшим поиском путей локализации каждой из них.
Анализ особенностей составляющих процесса роботизации поля боя позволяет провести декомпозицию проблемы на составляющие, определяющие ряд нерешенных вопросов в рассматриваемых областях деятельности:
- проблемы безопасности роботизированного вооружения для эксплуатантов и мирного населения (некомбатантов);
- юридические и морально-этические вопросы в части разрешения на самостоятельные действия и применение робота против человека;
- проблема разделения ответственности за результаты и ошибки применения между
разработчиками и эксплуатантами, и ряд других.
Проблемы безопасности всегда сопровождают развитие сложных технических систем. Робототехника - не исключение. Начиная с 1979 года, зафиксировано более десяти случаев получения увечий и даже гибели людей при сбоях использования промышленных роботов. Но промышленные роботы системы, не имеющие функциональной задачи причинять вред. Боевые роботы намного опаснее и меры безопасности при их использовании должны быть совершенно иными. Первыми над этим
стали задумываться там, где наиболее активно применяют подобные системы [7,8,9]. Вопрос не праздный, тем более уже имеются прецеденты: 12 октября 2007 года несанкционированным огнём автоматической зенитной пушки GDF-005 «Эрликон» (Oerlikon ) в Южной Африке были убиты 9 и ранены 14 военнослужащих, просто
находившихся рядом с орудием и случайно вызвавшие срабатывание автоматики Логично предположить, что чем больше будет на вооружении стран мира робототехнических систем, тем выше вероятность подобных случаев.
Впрочем, как отмечено ранее, проблема безопасности применения сопровождает любые сложные системы, в том числе роботизированные, и общие пути её решения активно разрабатываются: как технологические, так и организационные. С точки зрения разработки систем они регламентируются нормативными документами по производству
[11,12], а с точки зрения их использования, например, в гражданской сфере - правовыми документами по имущественным и неимущественным правам в соответствии с областью применения (Гражданским кодексом, Воздушным кодексом, Кодексами торгового мореплавания и внутреннего водного транспорта и т.п.).
С активным внедрением робототехнических систем в военном деле, с возрастанием мощности вооружения роботов, не менее актуальной стала проблема, характерная для боевых человеко-машинных систем: проблема парирования ошибок применения и ответственности в случае их возникновения. Напомним, что подобные ошибки в математической статистике принято разделять на ошибки первого и второго рода.
Таблица - Характер ошибок, возникающих в ходе принятия решений на применение
оружия
Правильное решение на применение
H 0 H 1
Результат анализа обстановки H 0 Верно использован Неверно использован (ошибка второго рода)
H 1 Неверно отменён (ошибка первого рода) Верно отменён
В военном деле к ошибкам первого рода (см.таблицу) относят необоснованный отказ от применения оружия, приводящий к невыполнению боевой задачи, непоражению важной цели. Эта ошибка, как показывает практика, типична для ведения военных действий и не вызывает особой тревоги, конечно, если не влечёт за собой крупного ущерба от непораженного противника. Меры предотвращения такой ошибки, как правило, организационные: повышение ситуационной осведомлённости, автоматизации поддержки принятия решений и т.п.
Ошибка второго рода (см.таблицу), это поражение цели, которую нельзя было поражать. К подобным ошибкам относят, например «дружественный огонь» (Friendly fire ). Последствия таких ошибок, как правило, намного страшнее, особенно, если в их
результате пострадали некомбатанты.
Как ни печально это констатировать, применение боевых (ударных) робототехнических систем неизбежно влечёт за собой ошибки как первого, так и второго рода. Указанные ошибки характерны как для применения автономных роботов, так и для разомкнутых систем с участием в контуре управления человека. Кроме того, опасности причинения вреда возникают не только в процессе применения оружия, но и при автономном маневрировании роботов, их небоевом применении как потенциально-опасных систем.
Более того, ранее приведённые примеры [5,6] показывают, что подобные ошибки уже фиксируются в ходе локальных войн и вооруженных конфликтов. Соответственно, с развитием боевой робототехники масштаб ущерба от ошибок второго рода будет увеличиваться.
При появлении ошибок применения робототехнических систем возникает вопрос, которого не было для «обычной» боевой и специальной техники, кто виноват в них: пользователь системы, который поставил некорректную задачу или разработчик, создавший систему, неверно эту задачу интерпретировавшую? Причина этого вопроса кроется в самой структуре любого робота, представляющего собой совокупность технических и программных средств, управляемых по единому алгоритму.
Неразрывно связана с указанной проблемой ещё одна спорная ситуация - это наличие юридического и этического права предоставлять машинам возможность самостоятельно принимать решение на поражение объектов, в которых может находиться и/или при поражении которых может пострадать человек.
Боевая необходимость делегации боевым роботам функции принятия решений, как отмечалось ранее, становится всё более актуальной. Увеличивается радиус действия этих машин, резко возрастают требования к оперативности поражения объектов противника. Одновременно, с развитием технологий искусственного интеллекта, создаётся технологическая возможность внедрения подобного решения.
В апреле 2013 и мае 2014 года указанная проблема обсуждалась на совещаниях, проводимых под эгидой ООН в рамках уточнения Конвенции о запрещении или
ограничении применения различных видов вооружения Совет безопасности ООН рекомендовал установить мораторий на развитие автономных боевых роботов (Lethal autonomous robotics - LAR ).
Но указанное решение носит рекомендательный характер, оно не несёт статуса международного закона, обязательного к исполнению -Ш^. Пользуясь этим и методологической неопределённостью проблемы, ведущие промышленные государства продолжают разработку боевых роботов, в том числе - частично и полностью автономных.
Тем более, что, как указано ранее, процесс повышения автономности боевых робототехнических систем определяется объективными факторами развития в ооруж е нного против о бо рс тв а .
Во-первых , требованием кардинального сокращения длительности цикла разведки и поражения объектов противника в условиях современных высокодинамичных боевых действий. В современных конфликтах предельная величина этого цикла измеряется несколькими минутами и любая задержка при передаче и обработке команд может стать критичной.
Во-вторых , ростом уровня роботизации поля боя, определяющим кардинальное возрастание количества применяемых робототехнических систем при ограничении на максимальное число привлекаемых к управлению операторов.
И, в-третьих , повышением разнообразия и эффективности средств радиоэлектронного подавления каналов управления техническими системами. Для неавтономных роботов, действующих на большом удалении от пунктов управления ими, этот фактор весьма чувствителен. Повышение автономности существенно снижает эффективность радиоэлектронного противодействия. Особенно, если предусмотреть алгоритмическое парирование потери каналов связи и навигации робототехнической системы.
Возвращаясь к заявленной в статье проблеме: на кого будет возложена ответственность в случаях причинения роботами вреда своим военнослужащим или мирному населению? Разделение вины между изготовителем робототехнического средства, разработчиком программного обеспечения для него и оператором (эксплуатантом) системы становится актуальным как никогда. В то же время, юридически эта ситуация пока не отрегулирована.
Указанная проблема определяется самой структурой робототехнических систем, являющихся сложными изделиями, включающими технические средства и программное обеспечение, функционирующие в едином неразрывном цикле.
В связи с этим, если в «классическом» случае применения обычного оружия всю очевидно: производитель вооружения обособлен от результатов своего труда и все решения, а, следовательно, и ответственность, лежит на пользователе, то в боевой роботехнике всё не так очевидно. Программное обеспечение боевых роботов не просто является их неотъемлемой частью, оно обеспечивает реализацию алгоритмов их боевого применения: управление перемещением, оценку обстановки, расчёты на применение оружием и т.п. За человеком остаётся только постановка цели и выдача команды на применение оружия, и то пока...
Ещё более сложная ситуация с разработкой и эксплуатацией робототехнических систем, оснащённых средствами искусственного интеллекта , например, на основе самообучающихся нейронных сетей. Интеллектуализированные робототехнические системы уже не действуют путём выбора стандарта поведения из набора готовых алгоритмов, они способны модифицировать алгоритмы применения, создавать собственные, обучаясь по мере эксплуатации. И кто будет виноват в возникновении ошибок эксплуатации: «родители» такого робота, разрабатывающие структуру нейронной сети и активационные функции нейронов, «воспитатели», обеспечивающие их обучение, или эксплуатанты, ставящие задачи разной степени корректности.
В свою очередь, программное обеспечение робототехнических систем разрабатывается целой кооперацией исполнителей: постановщиками задач, алгоритмистами, программистами, тестировщиками.
Последние играют не менее важную роль, чем все остальные. Достаточно вспомнить классический случай некачественного тестирования автоматизированной системы противовоздушной обороны «Си Вулф» (See Wolf ) фрегата «Бродсворд», когда пропущенная алгоритмическая ошибка проявилась в уже боевых условиях и привела к потоплению эсминца «Ковентри» в ходе Фолклендского конфликта (май 2008 года). Типичная ошибка первого рода, совершенная робототехнической системой. Ошибка,
стоившая жизни нескольким десяткам британских моряков -U^i. Вышеописанный случай
самосрабатыванием автомата «Эрликон» - типичный пример ошибки второго рода.
Любой из представителей коллектива разработчиков робототехнических систем может совершить ошибку, приводящую к критическим последствиям и, теоретически, должен разделять ответственность за неё наряду с эксплуатантами системы. В существующих нормативных документах в рамках решения этой проблемы прописаны только требования по организации тестирования робототехнических систем, валидации и верификации их программного обеспечения, а вот указаний о закреплении ответственности по этапам
разработки и эксплуатации указаний в них нет [11,12]. Отсылка к ГОСТам, регламентирующим проведение испытаний в целом, подразумевает, в лучшем случае, коллективную ответственность за формальные результаты их проведения. Учитывая, что с принятием «Закона о техническом регулировании» №184-ФЗ от 27.12.2002, статус ГОСТ существенно снижается, а технические регламенты в части создания и эксплуатации робототехники не разработаны, ситуация становится критичной.
И это ещё для относительно простого случая, при отсутствии злонамеренного программно-аппаратного воздействия на робототехническую систему. В случае применения боевых роботов ситуация будет однозначно сложнее и характеризоваться попытками противника физически или программно нарушить целенаправленную работу боевых робототехнических систем. Соответственно, в цепочку ответственных добавятся разработчики защитных систем комплекса.
Ситуация дополнительно осложняется тем, что в своей работе коллективы разработчиков тоже используют сторонние средства автоматизации процесса создания программного обеспечения, в том числе - работающие с кодом программ, автоматически генерирующие часть кода для решения задач, задаваемых в общем виде. Это удлиняет цепочку участников и ещё сильнее «размывает» проблему ответственности. И в очередной раз поднимает вопросы её юридического определения. Вопросы, ответов на которые пока нет.
3.Формулировка задачи поиска решения проблемы
Актуальность необходимости решения указанного перечня проблем, с учётом перспектив вполне вероятного массового применения роботов на поле боя в обозримом будущем
будет только возрастать [15,16]. Примером может служить армия США, в которой активно реализуется так называемая «Третья компенсационная стратегия», направленная на активную роботизацию поля боя [17,18]. И вести войну по принципу «кровь - цена победы» будут всё меньше и меньше армий, развитые страны будут беречь своих граждан, обеспечивая бескровную победу.
Таким образом, анализируя текущее состояние проблемы роботизации поля боя можно сделать ряд выводов:
1)Введение реально действующего запрета на применение автономных боевых роботов в обозримом будущем маловероятно, этот процесс, учитывая потребности ведения динамичных и высокотехнологичных боевых действий продолжится.
2)С ростом масштабов применения боевых робототехнических систем неизбежно увеличение количества ошибок их применения, как первого, так и второго рода. Организационно-технические меры по их снижению не будут давать полную гарантию от ошибок, лишь снижая вероятность их возникновения.
3)Первые два фактора неизбежно порождают морально-этическую и юридическую
проблему определения ответственности за приносимый роботами вред и разделения её между разработчиками и эксплуатантами боевых роботов.
Акцентируясь на последней проблеме, можно сделать вывод о том, что проблема этичности создания автономных боевых роботов и юридической ответственности за возможные последствия их применения актуальна, но до настоящего времени не решена. То есть в настоящее время существует насущная научная задача, требующая скорейшего решения.
В общем виде данная задача может быть сформулирована как необходимость:
- разработки нормативных актов, регламентирующих принципы делегирования полномочий на применение оружия программному обеспечению автономных боевых робототехнических систем;
- проведения правового анализа возможности признания (или не признания) за интеллектуализированными робототехническими системами возможности проявления собственной «воли» и ответственности за результаты её проявления специалистов, участвующих в разработке, обучении и эксплуатации роботов;
- уточнения системы нормативной документации по разработке и применению робототехнических систем в части юридического закрепления ответственности за различные этапы разработки и применения, а также за возникающие на них ошибки.
Сформулированная проблема является сложной научно-практической задачей, расположенной на стыке наук. Более того, решение задачи должно быть найдено не только и не столько для национальных правовых систем, сколько для системы международного права, обеспечив единые правила для всех. Для её решения требуется привлечение разнородных групп специалистов: юристов, техников, IT-специалистов. Но задача является актуальной и решение её объективно необходимо.
Все страны, включившиеся в гонку робототехнического вооружения, будут вынуждены решать сформулированную научную задачу. Россия - не исключение.
Заключение
В процессе развития вооружения, в том числе роботизированного, неизбежно придётся решать целый ряд технических [19,20,21] и организационных проблем I"22,23,24,25"!, в том числе и тех, на которые обращается внимание в данной статье и для парирования которых и в ней сформулирована, хоть и в обобщённой форме, постановка задачи.
Библиография
1. Тютюнников, Н.Н. Военная мысль в терминах и определениях: в 3 т. / Сост. Н.Н. Тютюнников. - Т.3. Информатизация Вооруженных Сил. - М.: Издательство «Перо», 2018. - 472 с.
2. Симулин А.А. и др. Некоторые аспекты использования робототехники в военном деле // Сборники конференций НИЦ Социосфера. 2015. -№27. - С.67-71.
3. Hover and stare: FCS testing UAVS // Defense Tech. May 2008 [Электронный ресурс]. URL: htpp://defensetech.org/2008/05/09/ (дата обращения: 9.05.2008).
4. "Мы убили 4700 человек, но это война". Американский сенатор раскрыл число жертв беспилотников. Новости TUT.BY [Электронный ресурс]. URL: https://news.tut.by/world/336031.html (дата обращения 21.09.2017)
5- Беспилотники США убивают большое число мирных жителей. Новости авиации и космонавтики [Электронный ресурс]. URL: http://avianews.info/bespilotniki-ssha-ubivayut-bolshoe-chislo-mirnyh-zhitelej/ (дата обращения 21.09.2017)
6. Мишени беспилотников в Афганистане: террористы или мирные жители? Мир [Электронный ресурс]. URL: http://www.dw.com/ru/мишени-беспилотников-в-афганистане-террористы-или-мирные-жители/а-19200599 (дата обращения 21.09.2017)
7. Is our robot army ready for combat? // Defense Tech. April 2008 [Электронный ресурс]. URL: htpp://defensetech.org/2008/04/25/ (дата обращения: 25.04.2008).
8. Robot targets men in Iraq // Defense Tech. April 2008 [Электронный ресурс]. URL: htpp://defensetech.org/2008/04/13/ (дата обращения: 13.04.2008).
9. Report of the Special Reporter on extrajudicial, summary or arbitrary executions, Christof Heyns // UN General Assembly [Электронный ресурс].
URL:http://www.ohchr.org/Documents/HRBodies/HRCouncil/RegularSession/Session23/ A-HRC-23-47_en.pdf (дата обращения 5.02.2015).
10. The Sunday paper (tech ethics edition) // Defense Tech. January 2008 [Электронный ресурс]. URL: htpp://defensetech.org/2008/01/27/ (дата обращения: 30.01.2008).
11. ГОСТ Р 60.2.2.1-2016/ ИСО 13482: 2014 Роботы и робототехнические устройства. Требования по безопасности для роботов по персональному уходу. М.: Стандартинформ, 2016. - 78 с.
12. ГОСТ Р 60.1.2.2-2016/IS0 10218-2:2011. Роботы и робототехнические устройства. Требования по безопасности для промышленных роботов. Часть 2. М.: Стандартинформ, 2016. - 70 с.
13. В ООН обсуждается вопрос запрета применения военных роботов // Новости HiTech [Электронный ресурс]. URL: http://android-robot.com/v-oon-obsuzhdaetsya-vopros-zapreta-primeneniya-voennyx-robotov (дата обращения 06.10.2015)
14. Вудворд С. Фолклендская война. Мемуары командующего Фолклендской ударной группы. — Симферополь: Доля, 2005. 415 c.
15. Чиров Д.С., Новак К.В. — Перспективные направления развития робототехнических комплексов специального назначения // Вопросы безопасности. - 2018. - № 2. - С. 50-59. DOI: 10.25136/2409-7543.2018.2.22737
16. Хрипунов С.П., Благодарящев И.В., Чиров Д.С. Военная робототехника: современные тренды и векторы развития // Тренды и управление. 2015. № 4. С. 410-422.
17. Ходаренок М.М., Калинин И. Третья стратегия: как будут воевать США // Сайт «Газета.RU» [Электронный ресурс]. URL:
https ://www.gazeta.ru/army/2017/11/28/11016068.shtml (дата обращения 02.12.2017)
18. Army Equipment Program in support of President's Budget 2016 / US Army G-8, 2015. -56 p.
19. Выпасняк В.И., Тиханычев О.В. О повышении эффективности применения высокоточного оружия в военных конфликтах локального и регионального масштаба // Вестник Академии военных наук. - 2008. - №4(25). - С.43-48
20. Тиханычев О.В. Некоторые проблемы использования робототехники в военном деле // Современные научные исследования и инновации. 2016. №3 [Электронный ресурс]. URL: http://web.snauka.ru/issues/2016/03/65103
21. Нестеров А. В. Возможны ли правоотношения и юридические взаимодействия между людьми и роботами? М.: Препринт, сентябрь 2016. - 14 с.
22. Лопатина Т. М. Некоторые аспекты проблемы моральной ответственности компьютерных систем // Правовые вопросы связи. - 2005. - №1. - с.12-13
23. Тиханычев О.В., Тиханычева Е.О. Проблемы использования потенциально опасных технологий в современном мире // Социосфера. - 2017. - № 2. - С. 33-36. DOI: 10.24044/sph.2017.2.6
24. Bechel W. Attributing Responsibulity to Computer Systems. In: Metaphiiosophy, -№16, - 1985. - P.189
25. Deborah G. Johnson. Computer Systems: Moral entities but not moral agents. In: Ethics and Information Technology. 2006. - №8. - pp.195-204. DOI 10.1007/s10676-006-9111-
