находится в коммуникации, способны ограничить эмоциональную самооценку, необходимую для реализации самостоятельных действий, если агент признает, что его способности нечестные и незаслуженные. Таким образом, эффективность когнитивного улучшения как на индивидуальном, так и на групповом уровнях, зависит от психологических процессов внутри группы, которые, в свою очередь, направляются суждениями, высказываемыми членами группы относительно когнитивного улучшения. Это подтверждает и то обстоятельство, что исследования в эмпирической психологии показывают, как мнения непрофессионалов, как правило, зеркально отражают мнения, высказываемые в экспертных нормативных обсуждениях.
Следует осторожно относиться к суждениям о том, что когнитивное улучшение повысит и автономию, принимая во внимание, какую именно сферу автономии можно улучшить в принципе.
Р.Р. Белялетдинов
2020.04.003. БУЛАВИНОВА МП. «ЗНАЧИМЫЙ ЧЕЛОВЕЧЕСКИЙ КОНТРОЛЬ» КАК ОСНОВА ДЛЯ ЭТИЧЕСКОГО И ПРАВОВОГО РЕГУЛИРОВАНИЯ ПРИМЕНЕНИЯ АВТОНОМНЫ1Х СИСТЕМ. (Обзор).
Ключевые слова: автономные технологии; автономные системы вооружений; «человек в, над, вне управления»; человеческий контроль над автономными системами; значимый человеческий контроль; компатибилизм; моральная ответственность; пробел в ответственности.
Применение автономных систем в разных сферах вызывает сегодня не только множество политических, правовых, этических и моральных вопросов, но и критически важных тем, связанных с безопасностью и рисками. Особенно большое беспокойство связано с разработкой автономных систем вооружений (АСВ) (autonomous weapon systems)1, или роботов-убийц, и их использованием в военных конфликтах.
1 В российских публикациях - смертоносные автономные системы (САС). -Прим. авт.
Автономные системы вооружений - это «роботизированное оружие, способное действовать без дальнейшего вмешательства человека» [2]. В последнее время автономные и полуавтономные системы стали центральной темой дискуссий и совещаний экспертов по автономным технологиям и международному гуманитарному праву. Ученые, предприниматели, политики и представители НПО единодушны в том, что для предотвращения негативных последствий использования роботов общество должно немедленно задуматься об этических принципах разработки и регулирования систем, основанных на искусственном интеллекте (ИИ). В августе 2017 г. 116 руководителей технологических компаний привлекли всеобщее внимание к вопросам двойного применения ИИ и выступили за запрет использования полностью автономных систем вооружений [6, p. 2].
В общественных и научных дебатах можно выделить три основных этических возражения против развития АСВ: 1) в ближайшем будущем роботы еще не будут обладать способностью к сложным умозаключениям, требуемым законами ведения вооруженного конфликта, например, отличать военных от гражданских лиц, определять пропорциональность в применении военной силы или необходимость насильственных действий; передача таких решений роботам может вызвать тяжелые последствия; 2) с точки зрения моральных ценностей неправильно позволять машине контролировать жизнь и смерть человека, независимо от того, насколько технологически продвинута машина; 3) в случае военных преступлений или смертельных аварий наличие автономной системы оружия в операции может усложнить или вообще сделать невозможным возложение моральной и юридической ответственности на военнослужащих (так называемая проблема пробела в плане ответственности) (accountability gap). То есть если при использовании автономного оружия произойдет сбой, который приведет к тому, что будут поражены неправильные цели, ни один человек не будет привлечен к ответственности за эти действия.
Все эти возражения сводятся к единому принципу, согласно которому необходимо сохранять человеческий контроль над использованием силы, т.е. люди, а не компьютеры и алгоритмы, должны в конечном итоге контролировать и, следовательно, нести
моральную ответственность за соответствующие действия в военных операциях.
Особое внимание привлекает вопрос, связанный со степенью и типом контроля над автономными системами со стороны человека. Первоначально термин «значимый человеческий контроль» (meaningful human control) был выдвинут британской неправительственной организацией в статье 36 в 2013 г. (British NGO Article 36), и с тех пор он активно используется различными неправительственными организациями и представителями некоторых государств. Однако существуют серьезные теоретические и практические проблемы, связанные применением этого принципа в разработке АСВ, и прежде всего нет его четкого определения, непонятно, какие конкретные правовые нормы и руководящие принципы можно разработать на его основе. Поэтому прежде всего следует прояснить значение некоторых терминов и понятий, связанных с выражением «значимый человеческий контроль».
Понятие «автономная система» означает, что система выполняет сложные задачи в различных обстоятельствах без прямого вмешательства человека. По словам Пола Шара и Майкла Горо-витца, сотрудников Центра новой американской безопасности (Center for a new American Security), «автономность - это способность машины выполнять задачу без человеческого вмешательства. Таким образом, автономная система - это машина, будь то машинное или программное обеспечение, которая однажды активированная, выполняет задачу самостоятельно» [1, p. 2]. Понятие автономии простирается на большом континууме сложнейших систем - от ручных машин, автоматических устройств, простых автоматических систем до полностью автономных систем. Термин «автономный» (autonomous) следует отличать от терминов «автоматический» (automatic) и «автоматизированный» (automated). Автоматические системы, например бытовые электроприборы, работают в строго структурируемой и предсказуемой среде, автономные же системы могут функционировать в открытой среде, в неструктурированных и динамичных условиях. «Автономная система включает использование дополнительных датчиков и более сложного программного обеспечения для реализации более высокого уровня автоматизированного поведения в более широком диапазоне условий эксплуатации и факторов окружающей
среды, а также в более широком диапазоне функций или видов деятельности» [1, p. 3].
В литературе, посвященной применению ИИ и роботов во всех сферах жизни людей, и в частности в военных конфликтах, также широко используются термины «полностью автономная система» (fully autonomous system), «полуавтономная система» (semi-autonomous system), «человек (в, над, вне) управления» (human in, on, out of the loop).
Формулировки «человека в управлении», «человека над управлением» и «человека вне управления» были разработаны в первые дни дебатов по поводу использования АСВ с целью различать степени автономности системы, присущей различным существующим и разрабатываемым системам оружия.
Человек в управлении означает, что человек выбирает цель, а система оружия, используя комбинацию датчиков, навигационных средств и автоматизированных процессов, отслеживает и поражает ее. Этот принцип не является новым, он использовался военными с момента появления первых самонаводящихся торпед еще во время Второй мировой войны.
Человек над управлением: система может самостоятельно выбирать и поражать цели, но работает под непосредственным наблюдением человека, который в случае необходимости может вмешаться и отменить действие. Такие системы, сочетающие заданные параметры с входными сигналами со своих датчиков для идентификации разрешенных целей, до настоящего времени использовались исключительно в защитных системах - для защиты установок, кораблей или людей.
Человек вне управления - эта система работает, по крайней мере в некоторых обстоятельствах, абсолютно независимо. Она может самостоятельно выбирать и поражать цели без какого-либо одновременного контроля или возможности вмешательства со стороны человека.
Определение автономных, полуавтономных и полностью автономных систем, как правило, опирается на это различие степени человеческого участия в управлении. Термин «полностью автономное оружие» относится как к типам оружия вне управления, так и к типам оружия, которое позволяет человеку находиться в управлении, но фактически является оружием вне цикла, потому что контроль значительно ограничен.
В Министерстве обороны США (Department of Defense -DOD), однако, избегают терминологии «человек в / над / вне управления». Здесь определяют автономную систему вооружения как систему, которая «после активации может выбирать и поражать цели без дальнейшего вмешательства человека-оператора» [1, p. 6]. В директиве министерства DODD 3000.09 также используется термин «автономная система оружия под наблюдением человека», который определяется как «автономная система оружия, сконструированная таким образом, чтобы предоставить операторам возможность вмешиваться в боевые действия и прекращать их, в том числе в случае отказа системы оружия, прежде чем возникнут неприемлемые уровни ущерба» [1, p. 6].
«Значимый человеческий контроль» - центральное понятие во всех дискуссиях, касающихся автономных систем. Философским фундаментом этого понятия являются теоретические аспекты, изложенные в научной литературе, посвященной свободе воли и моральной ответственности, в частности в статье Ф.С. де Сио и Е. ван ден Ховена [6], и в концепции «направляющий контроль», разработанной Дж. Фишером и М. Равиццой в работе «Ответственность и контроль: Теория моральной ответственности»1. Этот теоретический фундамент не только вмещает соответствующие моральные соображения, но и имеет большое значение для разработки этического руководства, предназначенного для политиков, инженеров и технических дизайнеров автономных систем [6].
Ф.С. де Сио и Е. ван ден Ховен также опираются на понятия «ответственные инновации»2 (responsible innovations) и «ценностно-зависимая конструкция»3 (value-sensitive design), или «проектирование ценностей» (design for values). В соответствии с этими
1 Fischer J., Ravizza M. Responsibility and control: A theory of moral responsibility. - Cambridge, UK: Cambridge univ. press, 1998. - 277 p.
2 Friedman B., Kahn P.H., jr. Human values, ethics, and design // The humancomputer interaction handbook / Ed. by Jacko J.A., Sears A.; Erlbaum Associates Inc. -2003. - 1277 p. - P. 1177-1201.
3 Hoven, J., van den. ICT and value sensitive design // The information society: Innovation, legitimacy, ethics and democracy in honor of professor Jacques Berleur S.j. / Goujon P., Lavelle S., Duquenoy P., Kimppa K., Laurent V. (eds). - Boston, MA: IFIP International Federation for Information Processing: Springer, 2007. - Vol. 233. -P. 67-72. - DOI: https://doi.org/10.1007/978-0-387-72381-5_8
концептами при разработке технологии должны быть введены большие этические ограничения: 1) формирующие технологию на этапе проектирования - этапе, на котором это еще имеет значение, а не на этапе, когда технология уже внедрена; 2) выраженные в специальных терминах, т.е. в форме требований к проектированию и разработке систем и программного обеспечения.
В основе понятия «значимый человеческий контроль» лежат три идеи. Во-первых, простое присутствие человека или «нахождение в управлении» не является достаточным условием для контроля (военной) деятельности. Такой контроль недостаточен, поскольку можно присутствовать в управлении или влиять на некоторые части системы, но не иметь возможности влиять на другие части или просто не иметь достаточной информации. Во-вторых, контроль в смысле преднамеренных действий может также не являться достаточным условием для значимого контроля, например, если у человека нет психологической способности адекватно реагировать в сложившихся обстоятельствах и / или он не в состоянии оценить реальные возможности системы, с которой он взаимодействует. В-третьих, некоторые формы юридической ответственности (деликатная ответственность, строгая ответственность) требуют лишь относительно простых форм контроля над событиями, в то время как другие (уголовная ответственность) -более строгих условий контроля над информированностью, намерениями, способностями и возможностями; следовательно, независимо от того, насколько сильна политическая воля делегировать ответственность за поведение автономных систем кому-либо, атрибуты юридической ответственности, которые не основаны на соответствующих условиях контроля, могут оказаться не только морально несправедливыми, но и сложноприменимыми в суде. Снижение контроля над автономными системами вооружения может привести к пробелу в плане ответственности, или «вакууму ответственности» (accountability vacuum) [6].
Прежде чем «значимый человеческий контроль» может быть осуществлен и оценен, необходимо, по мнению Ф.С. де Сио и Е. ван ден Ховена, прояснить отношения между понятиями «контроль» и «моральная ответственность». Основной вопрос философских дискуссий на эту тему: какие условия нужны для того, чтобы человек мог контролировать и, следовательно, быть ответ-
ственным за свои действия? Инкомпатибилисты утверждают, что человек может быть морально ответственным лишь в том случае, если он обладает определенной силой и властью, позволяющими принимать решения и совершать действия, свободные от влияния биологических, психологических и социальных факторов. Компа-тибилисты, напротив, считают, что люди могут быть морально ответственными за свое поведение, даже если такой силой они не обладают. Традиционный компатибилизм Гоббса и Юма основывался на механистических взглядах относительно человеческого сознания, современные компатибилисты опираются на более сложное, комплексное понимание человеческого сознания и действия. Они не признают того, что ментальная каузальность достаточна для обоснования моральной ответственности, а ключевым моментом считают способность рационального контроля над действиями [6]. Их идеи, по словам Ф.С. де Сио и Е. ван ден Ховена, и могут стать основой для разработки понятия значимого человеческого контроля над АСВ.
Условия для направляющего контроля. Направляющий контроль реализуется при наличии двух условий. Механизм принятия решения, ведущего к определенному действию, должен: 1) быть умеренно «отзывчивым к доводам» (reason-responsive); 2) принадлежать самому агенту.
Первое условие означает, что агент должен действовать соответственно механизму принятия решения, который при наличии глубоких причин для действия может опознать эти причины и быть готовым совершить или не совершить действие в многочисленных обстоятельствах. Второе условие состоит в том, что механизм принятия решения должен быть частью самого агента, т.е. агент должен брать на себя ответственность за механизм, с помощью которого он принимает решение, т.е. это собственный механизм агента. Принятие на себя ответственности требует, чтобы агент видел, во-первых, что его решение имеет эффект во внешнем мире, во-вторых, что другие агенты морально реагируют на это решение, в-третьих, что эти два условия основаны на адекватных доказательствах агента [6].
Второе условие для направляющего контроля проводит различие между морально ответственными действиями и поведением, основанным на механизме «отзывчивости к доводам», которое
агент не считает своим, как, например, в случаях психологического манипулирования, внешнего управления, провоцирования и т.д. Таким образом, теория направляющего контроля объясняет, какие условия нужны для агента, чтобы он был морально ответственным за свои действия.
Идея моральной ответственности за действия может быть применима в более широком контексте, включающем различные артефакты и инженерные системы. Если рассматривать автономные системы как часть механизма, или процесса, принятия решений, то условия направляющего контроля могут послужить основой для оценки значимого человеческого контроля над (военными) действиями АСВ.
«Значимый человеческий контроль» включает три компонента: 1) люди-операторы принимают информированные, осознанные решения об использовании оружия; 2) люди-операторы обладают достаточной информацией, чтобы обеспечить законность предпринимаемых действий, и знают все о цели, оружии и контексте действий; 3) применяемое разработанное оружие прошло все испытания, а люди-операторы получили соответствующую подготовку, чтобы обеспечить эффективный контроль над его использованием.
Эти стандарты, по мнению Ф.С. де Сио и Е. ван ден Ховена, позволяют обеспечить операторов достаточной информацией при принятии ими осознанных решений, касающихся не только юридической, но и моральной ответственности за свои действия. Кроме того, тщательное проектирование и серьезные испытания оружия, надлежащая подготовка операторов, а также тщательная разработка этических, правовых, политических принципов использования АСВ будут служить гарантом того, что оружие будет управляемым и не нанесет неприемлемого вреда не только человеку, но и окружающей среде [6].
Применение принципа значимого человеческого контроля в отношении АСВ тесно связано также с исполнением законов вооруженного конфликта [2]. Теория справедливой войны показывает, при каких условиях применение силы может быть морально допустимым. Законы вооруженного конфликта, или «законы войны», содержат ряд принципов и правил, которые используются в применении оружия против врагов во время вооруженного конфликта:
1) принцип военной необходимости; 2) принцип различия, требующий, чтобы нападающая сторона проводила различие между гражданскими лицами и комбатантами; 3) правило пропорциональности при проведении атак; правило неприменения оружия, рассчитанного причинить ненужные страдания комбатантам; 4) правило о принятии мер предосторожности для сведения к минимуму жертв среди гражданского населения. Эти принципы и правила применяются к использованию всех видов оружия во время вооруженного конфликта, включая автономное оружие [2].
Что касается запрета на применение силы, теория справедливой войны занимается поиском разумных моральных разрешений и оправданий для применения силы [3].
1. Справедливость в объявлении войны (jus ad bellum). В традиционной формулировке jus ad bellum можно выделить шесть основных критериев: 1) правое дело; 2) соразмерность; 3) необходимость; 4) крайняя мера; 5) право (правильность) авторитета; 6) разумная вероятность успеха.
2. Справедливость в ведении войны (jus in bello). Традиционная формулировка jus in bello содержит три основных критерия:
1) различие; 2) соразмерность средств; 3) необходимость.
3. Правосудие после войны (jus post bellum). В отличие от первых двух, этот критерий разработан в меньшей степени. Существуют большие разногласия по поводу того, какие принципы должны быть включены. Брайан Оренд (Brian Orend), например, предлагает критерии, аналогичные тем, которые содержатся в jus ad bellum и jus in bello: 1) простая причина прекращения войны;
2) правильное намерение (в прекращении военных действий);
3) публичное заявление и власть общественности; 4) дискриминация; 5) пропорциональность [3, p. 12-13].
Концепция «значимый человеческий контроль» стала точкой слияния в ходе всех дискуссий относительно применения автономных систем. Однако многие вопросы, связанные с этой концепцией, многие нюансы остаются открытыми, что требует проведения дальнейших дискуссий и поиска согласия по этому вопросу.
На базовом уровне требование использования значимого человеческого контроля основано на двух предпосылках.
1. Машина, совершающая силовое действие и работающая без какого-либо человеческого контроля, неприемлема.
2. Нажатие человеком кнопки «огонь» в ответ на показания с компьютера без его осведомленности, осознанности и понимания является недостаточным, чтобы считаться «человеческим контролем».
Существуют разные точки зрения относительно того, где могут лежать границы необходимого человеческого контроля, поэтому возникают многочисленные вопросы. Значимый человеческий контроль над чем? Применяется ли это понятие к самой технологии или к более широкой ситуации, в которой технология может быть использована? В какой степени аспекты «человеческого контроля» могут быть запрограммированы в автономных технологиях? В какой степени современная практика, связанная с человеческим контролем, может формировать нормативные ожидания в будущем? Существует ли фундаментальный порог, необходимый для человеческого контроля, и можно ли оценить технологии с точки зрения одной или другой стороны этого порога?
Многие ответы на эти вопросы лежат в политическом поле, и различные эксперты предпочитают различные формулировки или классификации, основанные на более широких соображениях или интересах. Поэтому важно найти общие понятия, термины и принципы, которые устраивали бы всех экспертов - как ученых, инженеров, военных, так и широкую общественность.
Одной из отправных точек для понимания значимого человеческого контроля является рассмотрение принципов, посредством которых «человеческий контроль» над технологическими процессами и системами мог бы быть понят в общих терминах. Такие термины могут служить рабочими инструментами, которые значительно помогут в обсуждении разработки политических, этических мер в этой области [4].
Предсказуемость технологии: 1) разработанная технология должна быть предсказуемой в ее функционировании в пределах определенных понятных параметров; 2) это связано с вопросами проектирования, производства, хранения и обслуживания и с предоставлением точной информации в более широкие системы.
Надежность технологии: разработанная технология должна быть рассчитана: 1) на надежность; 2) на деградацию в случае неисправности, чтобы можно было предотвратить катастрофические последствия.
Предсказуемость и надежность - основные показатели, с помощью которых люди могут измерить, как правильно функционирует технология или система. Однако, учитывая то, что все инструменты когда-то ломаются, необходимо проектировать технологии безопасными на случай преднамеренных или непреднамеренных неисправностей.
Прозрачность технологии: 1) технология должна быть разработана таким образом, чтобы при необходимости можно было получить от нее информацию для пользователя о целях, подцелях, аргументации, решениях, которые система реализовывала, выполняя определенные действия; 2) в каждой системе должны быть четкие цели, подцели и ограничения, с тем чтобы операторы-люди могли их понять; 3) дизайн систем и пользовательских интерфейсов должен быть четким и понятным, предназначенным для практического пользователя, а не для идеального пользователя в лаборатории [4, р. 2].
Другими словами, прозрачность системы - это один из способов, с помощью которого дизайнеры и пользователи могут понять, что система выполняет все цели, подцели и ограничения, которые запланировали проектировщики, планировщики и операторы. Должны также сохраняться возможности для обратной связи между системой и ее оператором, подтверждающие то, что человек-оператор имеет достаточную степень ситуационной осведомленности в том, как работает система в определенной среде, а также в том, что система работает в рамках соответствующих параметров. В случае изменения цели пользователя, его намерений необходимы изменения контекста, с тем чтобы работа системы была согласована с новой целью. Все функции системы должны быть прозрачными и обеспечивать видимость того, что изменения произошли.
Предсказуемость, надежность и прозрачность технологии или системы способствует тому, чтобы пользователь хорошо понимал технологию, с которой работает. Однако эти технологические характеристики не могут сами по себе обеспечить необходимый контроль со стороны человека, который в значительной степени зависит от более широкого понимания ожидаемых результатов (включая и результаты, которых следует избегать) и контек-
ста, в котором технология будет работать (т.е. вещей в более широком контексте, с которыми она может взаимодействовать).
Такая информация обычно содержится в более широкой политической или социально-технической системе. Доверие к этой информации обусловлено многочисленными факторами - близостью к источнику, его достоверностью, отношением к самой системе (системам), проверяемостью информации, прозрачностью системных функций. Таким образом, достаточный уровень доверия к информации, обеспечивающей контроль со стороны человека, может зависеть также от других более широких систем, взаимодействующих с данной системой.
Своевременное действие человека и возможность своевременного вмешательства.
- От человека - пользователя технологии - требуется инициировать использование определенной технологии, контекстная информация должна быть доступна.
- Хотя некоторые системы могут работать быстрее - на уровнях, превышающих человеческий потенциал, должна быть возможность для своевременного вмешательства со стороны другой системы, процесса или человека.
- «Своевременность» может варьироваться от пикосекунд до часов или дней, в зависимости от технологии и контекста.
- Подотчетность (ответственность) концептуально и практически связана с возможностью для своевременного человеческого вмешательства.
Для человеческого контроля действие человека (или людей) -крайне необходимый элемент. На самом базовом уровне такие действия могут включать запуск и остановку процессов на основе контекстных суждений. Ключевым моментом является гарантия того, что оператор / операторы способны к действиям и вмешательству, и если этого не происходит, должны быть определены лица, ответственные за соблюдение мер контроля.
Ответственность (подотчетность) должна соответствовать определенному стандарту.
- Ответственность означает, что за инициированные процессы несут ответственность оператор / операторы.
- Ответственность должна стать условием понимания людьми того, что они столкнутся с последствиями за свои действия или бездействие.
- Хотя первичная ответственность лежит на лицах, чьи действия наиболее тесно связаны с технической системой, ответственность также распространяется на другие системы или организации, которые участвуют в производстве этих систем [4].
Этот принцип является не только способом определения ответственности человеческих агентов, он устанавливает рамки, которые направляют человеческих агентов к поведению, соответствующему определенным стандартам.
Таким образом, основными элементами для человеческого контроля являются: 1) предсказуемая, надежная и прозрачная технология; 2) точная информация для пользователя о желаемом результате, операции и функциях технологии и контексте использования; 3) своевременные действия человека и потенциал для своевременного вмешательства; 4) подотчетность по определенному стандарту.
Применение принципа значимого человеческого контроля в отношении автономных систем вооружений не может обойтись без рассмотрения процессов на разных этапах: разработки системы (ante bellum); ее использования (in bello); ее контроля (post bellum). Каждый этап обусловливает следующий, и на каждом из них есть системы, процессы и доктрины, предназначенные для обеспечения человеческого контроля.
Первый уровень охватывает все процессы для контролирования ante bellum, т.е. до начала военных действий: проектирование, разработка, приобретение, обучение применению силы. Применение силы подразумевает, что основное внимание уделяется тому, как человеческий контроль концептуализируется и внедряется во время всех этих процессов.
Поскольку системы вооружений разрабатываются, продаются и приобретаются как инструменты для достижения определенных целей и поскольку могут быть нежелательные последствия их применения, ожидается, что во время их проектирования и разработки будет соблюдаться принцип человеческого контроля.
При этом необходимо придерживаться подхода «ответственные инновации», согласно которому «к науке и технике нужно
подходить не только с технической стороны, но и с политической и социальной» [4, p. 4]. Наука, технологии и инновации находятся в социально-политических мирах, поэтому исследователи и инженеры обязаны обеспечить надежность и безопасность своих изобретений.
Воплощая принципы ответственных инноваций в жизнь, необходимо создать контекст, в котором социальная и политическая составляющие достигнут согласованности. Процессы проектирования и разработки технологии должны происходить именно в таком контексте, и принцип значимого человеческого контроля должен быть заложен в конструкции на этом этапе [4].
Второй уровень связан с человеческим контролем во время ведения военных действий (in bello), т.е. необходимостью поддержания контроля человека на уровне «атаки». Термин «атака» здесь используется в контексте международного гуманитарного права. Во многом это - требование обеспечить значительный контроль со стороны человека над атаками - процессами идентификации, выбора цели и применения силы. Это приводит к необходимости встраивать человека в управление в более широких системах.
На уровне in bello человеческий контроль означает, что оператор взвешивает не только все ожидания от использования определенной технологии в конкретном случае, но и риски нежелательных результатов. Эти оценки и суждения необходимы для соблюдения закона. Понимание оператором военной цели, выбор конкретной системы вооружений для достижения этой цели и контекста, в котором она будет использована, связаны с фактором предсказуемости и с соблюдением закона. Статья 57 Дополнительного протокола I Женевских конвенций гласит, что конфликтующие стороны обязаны принимать постоянные меры предосторожности в отношении гражданского населения и гражданских объектов. Операторы обязаны «контролировать» атаки, используя все меры предосторожности. Причем контроль должен осуществляться на всех уровнях ведения военных действий: тактическом, стратегическом и операционном [4].
Третий и последний уровень анализа ante bellum связан с ответственностью, или подотчетностью. Значимый контроль со стороны человека объединяет необходимость ответственного проектирования с использованием автономных систем в концептуальном и
практическом плане. Таким образом, два рассмотренных уровня внедрены в третий. Когда механизмы ante bellum или in bello выходят из строя, возникает острая необходимость в определении ответственности. Хотя многие считают, что меры ответственности необходимы только для наказания и сдерживания, они (эти меры) являются необходимыми характеристиками системы человеческого контроля и исполнения закона [4].
Существуют разные точки зрения относительно подотчетности автономных систем и контроля оператора: оператор должен быть ответственным только за случаи неосторожности; конечная цель должна заключаться в обеспечении четкого функционирования автономного оружия под контролем и в параметрах, заложенных ответственной командой; никто не может быть привлечен к ответственности за возможные результаты, и поэтому возникнет «пробел в ответственности».
Много вопросов, касающихся ответственности, возникают из-за размытости и неясности отношения к АСВ - как к инструментам или как к моральным и юридическим агентам. Это мешает соблюдению требования человеческого контроля над атаками в каждом конкретном случае [4, p. 6].
«Контроль» уже признан жизненно важным элементом в существующих структурах, отвечающих за ответственность (подотчетность). Ответственность командира требует его «эффективного контроля» над подчиненными: если командир не может осуществлять эффективный контроль, он не может быть привлечен к ответственности за халатность в соответствии с доктриной командования. Если рассматривать АСВ в качестве инструментов, а не агентов, то нет возможности использовать эту структуру для реализации требования контроля человека над прямыми атаками. В этом случае необходимо уточнить обязанности командиров и операторов в соответствии с существующими правовыми понятиями, такими как «строгая ответственность или неисполнение обязанностей».
Процесс разработки политики обычно требует очерчивания определенных границ или порогов и связанных с ними категорий, для того чтобы можно было управлять объектами или поведением. Создание таких границ служит для упрощения сложной реальности. Во многих законопроектах обозначены ключевые элементы
значимого человеческого контроля, а также требование применения этого принципа в контексте автономных систем вооружений. Это первый шаг к тому, чтобы обеспечить сохранение этих ключевых элементов на всех этапах разработки и использования военных технологий.
Дебаты по поводу правил и стандартов, которые должны применяться к разработке АСВ, все еще находятся на начальной стадии, как и сами системы. Есть еще много нерешенных вопросов, в том числе касающихся уровня, на котором должен потребоваться значимый человеческий контроль, того, является ли значимый человеческий контроль всеобъемлющей концепцией для обеспечения соблюдения законов войны или это совершенно новый отдельный принцип, а также того, является ли значимый человеческий контроль подходящей концепцией для регулирования человеческого контроля в АСВ. Необходимо дальнейшее обсуждение этих вопросов и всесторонний диалог, в котором участвовали бы не только эксперты, но и представители широкой общественности.
Список литературы
1. Cook A. Taming killer robots: Giving meaning to the «meaningful human control»: Standard for lethal autonomous weapon systems: JAG school paper No 1. - Maxwell AFB: Air univ. press, 2019. - 24 p.
2. Horowitz M.C., Scharre P. Meaningful human control in weapon systems: A primer: Working paper // Center for a new American security. - 2015. - March. -16 p.
3. Leveringhaus A. Ethics and autonomous weapons. - L.: Palgrave Macmillan, 2016. -VII, 131 p.
4. Meaningful human control, artificial intelligence and autonomous weapons: Briefing paper for delegates at the Convention on Certain Conventional Weapons (CCW) meeting of experts on Lethal Autonomous Weapons Systems (LAWS). -Geneva. - 2016. - 11-15 April. - 6 p.
5. Scharre P. Autonomous weapons and operational risk: Ethical autonomy project. -Wash., DC: Center for a new American security, 2016. - February. - 55 p.
6. Sio F.S., de, Hoven J., van den. Meaningful human control over autonomous systems: A philosophical account // Fronties in robotics and AI. - 2018. - Vol. 5:15. -Mode of access: https://doi.org/10.3389/frobt.2018.00015