ПРАВОВЫЕ ПРОБЛЕМЫ РАЗРАБОТКИ И ПРИМЕНЕНИЯ АВТОНОМНЫХ СИСТЕМ ВООРУЖЕНИЯ Текст научной статьи по специальности «Право»

УДК 341

DOI: 10.31249/iajpravo/2023.03.18

ЗАХАРОВ Т.В.1 ПРАВОВЫЕ ПРОБЛЕМЫ РАЗРАБОТКИ И ПРИМЕНЕНИЯ АВТОНОМНЫХ СИСТЕМ ВООРУЖЕНИЯ. (Обзор)

Аннотация. В обзоре представлены позиции российских и зарубежных ученых о применении систем искусственного интеллекта в военных целях, в частности автономных систем вооружений. Рассматриваются проблемы соответствия автономных систем вооружения нормам международного гуманитарного права, контроля автономных систем вооружений со стороны человека и ответственности государств в связи с применением систем искусственного интеллекта в военных целях.

Ключевые слова: международное право; международное гуманитарное право; принципы международного гуманитарного права; искусственный интеллект; автономные системы вооружений; смертоносные автономные системы (САС); международная ответственность государства.

ZAKHAROV T.V. Legal problems of development and application of autonomous weapons systems. (Review)

Abstract. The review presents the positions of Russian and foreign scientists on the use of artificial intelligence systems for military purposes, in particular autonomous weapons systems. The problems of compliance of autonomous weapons systems with the norms of international humanitarian law, control of autonomous weapons systems by humans are revealed. The problems of State

1 Захаров Тимофей Владимирович, научный сотрудник отдела правоведения ИНИОН РАН.

responsibility in connection with the use of artificial intelligence systems for military purposes are touched upon.

Keywords, international law; international humanitarian law; principles of international humanitarian law; artificial intelligence; autonomous weapons systems; lethal autonomous weapons (LAW); international State responsibility.

Для цитирования: Захаров Т.В. Правовые проблемы разработки и применения автономных систем вооружения. (Обзор) // Социальные и гуманитарные науки. Отечественная и зарубежная литература : ИАЖ. Сер. 4: Государство и право. - 2023. - № 3. - С. 208-219. DOI: 10.31249/iajpravo/2023.03.18

Введение

Применение средств искусственного интеллекта (ИИ) и, в частности, систем вооружения разной степени автономности все больше распространяется в современных вооруженных конфликтах. В то же время все более очевидно проявляется тот факт, что право вооруженных конфликтов и гуманитарное право принималось без учета такого применения развивающихся технологий. Особое значение приобретают вопросы контроля современных цифровых технологий человеком, распределения правовой ответственности за решения и действия, в которых человек принимает лишь опосредованное участие, исследуются тенденции развития современных вооруженных конфликтов, основные подходы к международно-правовому регулированию разработки и применения автономных систем вооружений и ИИ военного назначения.

Именно эти вопросы рассматриваются в статье М.В. Конохо-ва, научного сотрудника сектора международного права Института государства и права РАН [2]. Прежде всего, автор подчеркивает, что ИИ становится одной из важнейших технологий, применяемой для повышения потенциала вооруженных сил.

Основные направления использования технологий искусственного интеллекта в вооруженных конфликтах. ИИ позволяет в короткие сроки обрабатывать структурированные и неструктурированные данные значительных объемов в области различных систем военного назначения. В целях автоматизации отдельных процессов (поиска и обнаружения цели, наведения

оружия, вскрытия факта обнаружения себя противником) в вооружении и военной технике соответствующие функциональные устройства оснащаются специализированными вычислительными модулями, реализующими отдельные элементы ИИ [2, с. 80].

Характерными тенденциями современных вооруженных конфликтов, по мнению автора, являются сокращение временных параметров подготовки к ведению военных действий; повышение оперативности управления в результате перехода от строго вертикальной системы управления к глобальным сетевым автоматизированным системам управления войсками (силами) и оружием [2, с. 80-81].

Одним из основных направлений использования технологий ИИ в военной сфере рассматривается использование роботизированных средств как на поле боя, так и на удалении от него. Создание и применение в условиях современных вооруженных конфликтов новой роботизированной военной техники (принимающей решение самостоятельно или частично самостоятельно) будет являться решающим фактором в ходе современной вооруженной борьбы [2, с. 81].

Развитие роботехники предполагает разработку проектов по созданию и принятию на вооружение искусственных солдат: от робота-разведчика до робота-пехотинца, робота-«дрона», а также киборга, на основе сочетания живого существа, механизма и компьютера, мини-роботов различного назначения. С помощью миниатюрных устройств, созданных при вживлении наноэлектронных датчиков в организм насекомого (осы, пчелы или бабочки), можно создать как идеального разведчика, так и средство поражения личного состава противника. «Рой» подобных «убийц», выпущенных «на волю» с какого-либо устройства (самолета, вертолета, автомобиля), будет действовать самостоятельно, выбирая объект воздействия по заданной программе и используя для своих вычислений искусственную нейронную сеть [2, с. 82].

Автономные системы вооружений доказали свою эффективность и уже весьма широко применяются в условиях вооруженных конфликтов, а значит, их применение нуждается в надлежащем правовом регулировании как на международном, так и на внутригосударственном уровне, констатирует М.В. Конохов. При этом он подчеркивает, что несмотря на указанное обстоятельство, до

настоящего времени международно-правовой практикой не выработано понятие таких систем вооружений [2, с. 83]. Эти системы вооружений наделены относительной автономностью от действий человека, который обладает возможностью внесения корректировок в их работу. В целях повышения эффективности функционирования полуавтономных систем вооружений разработчики предлагают обособить их от человека, сделав автономными [2, с. 83].

Учитывая автономность управления оружием, эксперты при разработке понятийного аппарата предложили использовать определение «смертоносный» для обозначения такой системы (Ю.А. Скуратова, Е.Е. Королькова) [2, с. 83].

Правовые основы применения технологий искусственного интеллекта в вооруженных конфликтах. Наличие широкого спектра мнений по вопросам их автономности представляет определенные затруднения при выработке унифицированного подхода к международно-правовому регулированию. Автономность не предполагает наличие свободной воли как у людей, она реализуется благодаря заложенным алгоритмам. Принимая во внимание участие человека в производстве смертоносных автоматизированных систем (САС), некоторые ученые не видят проблемы в их использовании, так как считают, что контроль за применением силы остается у человека, который создает и программирует машину. Данное мнение представляется дискуссионным, так как в случае с применением полностью автономных систем вооружений контроль человека за принятием решений отсутствует.

В настоящее время на международных форумах обсуждается как возможность ограничения разработки и применения полностью автономных систем вооружения, так и возможность полного запрета на их разработку и применение [2, с. 84-85].

Одна из ключевых проблем применения САС состоит в установлении того, как и кем будут соблюдаться нормы международного гуманитарного права (МГП). Проблема программирования состоит в том, что машину нужно обучить не способности видеть знаки отличия и эмблемы, а способности оценить поведение и поступки человека в конкретной ситуации. В международном праве отсутствует специальный договор об использовании САС в вооруженном конфликте. Отчасти к таким ситуациям могут быть применены положения Женевских конвенций 1949 г. и оговорка

Мартенса, которая запрещает использовать оружие, если это противоречит принципам гуманности и требованиям общественного сознания. Согласно ч. 2 ст. 35 Дополнительного протокола I к Женевским конвенциям 1949 г. сторонам вооруженного конфликта запрещено применять оружие, способное причинить излишние повреждения или излишние страдания [2, с. 85-86].

По мнению М.В. Конохова, принятие как международного договора, так и дополнительного протокола (к Женевским конвенциям) по регулированию разработки и применения САС в нынешних условиях напряженности международных отношений весьма затруднительно. Тем не менее принятие соответствующих рекомендаций по установлению правил применения САС в контексте соблюдения норм международного гуманитарного права в формате норм «мягкого права» представляется вполне возможным как на глобальном, так и на региональных уровнях [2, с. 87].

Международный комитет Красного Креста (МККК) призывает отказаться от непредсказуемых автономных систем вооружений именно из-за их неизбирательного действия путем запрета автономных систем вооружений, которые разработаны и используются таким образом, что последствия их применения невозможно в достаточной мере понять, предвидеть или объяснить. Также МККК осуждает использование автономных систем вооружений для нанесения удара по людям. Данные предложения МККК, считает М.В. Конохов, заслуживают внимания экспертного и научного сообщества, так как базируются на основополагающих принципах международного гуманитарного права, связанных с недопущением излишнего вреда гражданским лицам и гражданским объектам [2, с. 89].

Одним из основных вопросов выступает также целесообразность делегирования процесса принятия решений о применении силы искусственному интеллекту. При правовом регулировании, полагает автор, следует учитывать то обстоятельство, что должен сохраняться контроль человека над применением оружия [2, с. 90].

Применение технологий искусственного интеллекта в вооруженных конфликтах в соответствии с международным гуманитарным правом. Авторский взгляд на сущность актуальных проблем в сфере современного международно-правового регулирования смертоносных автономных систем вооружений в сво-

ей статье [1] выражают Д.В. Иванов, А.М. Корженяк, Е.С. Лапихи-на. С их точки зрения, ответственность за использование САС должна быть возложена на лицо, которое управляет или программирует автономную систему. Конкретные формы и методы контроля за людьми предлагается оставить на усмотрение государств и их собственные стандарты в этой области [1, с. 10].

Важное значение в правовом регулировании применения САС имеет ст. 36 Дополнительного протокола I к Женевским конвенциям 1949 г., которая предусматривает, что каждое государство-участник обязано определить, будет ли применение нового оружия, средств или методов ведения войны, которые оно изучает, разрабатывает, приобретает или принимает на вооружение, при некоторых или всех обстоятельствах запрещено международным правом. В то же время ст. 36 не содержит ни критериев для отличия новых видов оружия от других видов вооружений, таких как те, которые прошли многоступенчатую модернизацию, ни предусматривает какой-либо конкретный формат отчетности [1, с. 12].

Все принципы и ограничения современного МГП в полной мере применимы к САС. На практике это означает, что такие системы, их технические характеристики и возможности, определяемые автономностью, а также их использование во время вооруженного конфликта должны соответствовать принципу защиты гражданского населения от последствий военных действий, принципу, который запрещает применение оружия, способного причинить чрезмерные увечья или ненужные страдания, не должны наносить широкомасштабный, долгосрочный и серьезный ущерб природной среде. Современное МГП основано на балансе между минимизацией негативных последствий ведения войны, т.е. ее «гуманизацией», и необходимостью обеспечения национальной безопасности. Сдвиг в сторону одного из них может привести к недостаточному уровню защиты гражданских лиц в вооруженном конфликте или ущемлению законных интересов безопасности [1, с. 12].

В центре внимания авторов также следующие ключевые аспекты рассматриваемой проблемы:

1) МГП подробно описывает правила ведения войны, и весь военный персонал обязан строго соблюдать эти правила и принципы МГП даже в случае боевых действий с применением САС.

Международное право также предусматривает возможность установить лицо, ответственное за военные преступления, в том числе совершенные с использованием автономных роботов. Современные средства управления и контроля позволяют фиксировать весь процесс использования боевого робота, что может упростить в будущем вопрос ответственности за возможные нарушения;

2) вопросы секретности и национальной безопасности всегда будут доминировать в каждом государстве, поэтому эффективный контроль над программным обеспечением систем вооружения армий различных стран мира невозможен как по политическим, так и по техническим причинам. Кроме того, нужна профессиональная экспертиза для того, чтобы определить САС, между тем использование автономного оружия может быть скрыто или засекречено. Важно сохранять баланс между соображениями гуманности и интересами национальной безопасности [1, с. 13].

Вопрос о САС остается спорным из-за отсутствия прототипов таких систем, сложности разработки определений и проведения четкого различия между военными и гражданскими технологиями. Необходимо подчеркнуть, что существующие положения МГП в полной мере применимы к САС, и нет никаких указаний на то, что необходимо адаптировать новые правовые нормы к «специфике» этих систем вооружений: вопрос скорее касается эффективного обеспечения соблюдения и имплементации норм и принципов МГП на национальном уровне (где возможен эффективный механизм обеспечения соблюдения и контроля) [1, с. 17].

Концепция «командования» и концепция «значимого человеческого контроля» автономных систем вооружения. Р. Лиивоя, профессор юридического факультета Квинслендского университета (Австралия), Е. Мэссингем, советник по вопросам политики юридического отдела МККК (Швейцария), С. Маккензи, научный сотрудник юридического факультета Квинслендского университета, рассматривают в своей статье проблемы контроля автономных систем вооружений, связанных с этим ограничений и функций таких систем, которые они могут выполнять на законных основаниях [4].

Одной из существующих концепций международного права, способных ограничивать использование САС, подчеркивают исследователи, является устоявшееся представление, о том, что во-

оруженные силы стороны, находящейся в конфликте, состоят из всех организованных вооруженных сил, групп и подразделений, находящихся «под командованием» лица, ответственного перед этой стороной за поведение своих подчиненных (ч. 1 ст. 43 Дополнительного протокола I к Женевским конвенциям 1949 г.). Наличие командования обуславливает признание за ними «прав воюющей стороны» [4, р. 642, 643].

Дискуссия в отношении САС в основном разворачивается вокруг уровня человеческого «контроля» таких систем, а не понятия «командования» ими. Однако представляется, что концепция «командования» может играть определенную роль в развитии правового регулирования. В частности, очевидно, что существует некоторое сходство между концепцией «командования» и концепцией «значимого человеческого контроля», однако их связь до конца не ясна [4, р. 669].

При обсуждении применимости САС на заседаниях Группы правительственных экспертов государств-участников Конвенции о «негуманном» оружии по смертоносным автономным системам вооружений, ряд государств высказали замечания о том, что САС должна быть частью цепочки командования для обеспечения соответствия праву вооруженных конфликтов. Другие отметили, что «командование и контроль» в отношении САС следует дополнительно изучить [4, р. 668-669].

В свете ч. 3 ст. 31 Венской конвенции о праве международных договоров 1969 г., последующая практика применения понятия командования ясно продемонстрировала признание увеличивающегося временного и географического разрыва между командиром и его подчиненными, в том числе в области контроля над военным средством, даже несмотря на то, что сохраняются некоторые опасения, когда речь заходит о развертывании летальных средств [4, р. 668].

Международная организация гражданской авиации (ИКАО) признала, что «летательный аппарат [без экипажа] - это беспилотный летательный аппарат... который управляется без командира воздушного судна на борту либо дистанционно и полностью управляется из другого места (земли, другого воздушного судна, космоса), либо запрограммирован и полностью автономен» [4, р. 671].

В Программе по гуманитарной политике и исследованию конфликтов Гарвардского университета, Руководстве по международному праву, применимому к воздушной и ракетной войне 2013 г. объясняется, что «автономно действующие» беспилотные летательные аппараты являются военными летательными аппаратами (концепция, которая требует командования в своем определении), «при условии, что их программирование было выполнено лицами, находящимися под контролем регулярных вооруженных сил» [4, p. 671].

Правовой статус и значение в военно-морском столкновении автономных беспилотных надводных и подводных судов обсуждается реже, хотя уже и существует большое разнообразие таких судов у многих государств. Однако ст. 29 Конвенции ООН по морскому праву недвусмысленно определяет «военный корабль», как судно, находящееся под командованием офицера, который состоит на службе правительства государства и фамилия которого занесена в соответствующий список военнослужащих или эквивалентный ему документ, и имеющее экипаж, подчиненный регулярной военной дисциплине [4, p. 672].

Требование о командовании, по мнению исследователей, следует рассматривать как правовой механизм для увязки военных средств с намерениями государства. Такой подход имеет важные последствия для использования автономных систем. Важно, считают они, сосредоточиться на том, можно ли понимать систему как действующую от имени государства, оценив, является ли лицо, которое решает (даже в общих чертах), куда направляется военное средство и что оно делает, когда попадает туда, частью государственного военного аппарата [4, p. 674].

Ответственность за использование технологий искусственного интеллекта в вооруженных конфликтах. Б. Бутен, старший научный сотрудник в области международного права Института Ассер (Asser institute) (Нидерланды), исследует условия и способы, при которых государство может понести ответственность за нарушения международного права, связанные с военным применением технологий искусственного интеллекта [3].

Системы искусственного интеллекта в силу присущих им характеристик (автономии и непредсказуемости) поднимают сложные вопросы подотчетности, которые уже давно обсуждаются

в областях права, этики технологий и информатики. В военном контексте международная юридическая наука поставила под сомнение возможность использования САС в соответствии с МГП, в частности с принципами пропорциональности и избирательности, с тем, что развертывание САС может привести к размытию в ответственности на индивидуальном уровне. Некоторые ученые видят более предпочтительной ответственность государства (дополняющую индивидуальную ответственность), влекущую за собой не только обязательство предоставить возмещение, но и обязательство прекратить противоправные действия и предоставить надлежащие заверения и гарантии их неповторения [3, р. 133-134].

Право ответственности государства напрямую связано с человеком - оно не предусматривает иного поведения (действия или бездействия), кроме поведения людей, действующих индивидуально или коллективно. Хотя вопрос атрибуции действия государству в контексте искусственного интеллекта может быть решен прямолинейно - государству приписываются любые официальные действия его вооруженных сил, такие характеристики искусственного интеллекта, как автономность, скорость, непредсказуемость и непрозрачность, усложняют процесс атрибуции [3, р. 139-140].

Исследования продемонстрировали, что, в частности, алгоритмы машинного обучения, которые генерируют прогнозы или рекомендации на основе выводов о закономерностях в больших данных со скоростью, недоступной человеческому мозгу, создают условия, когда оператор не обладает какой-либо значимой способностью влиять на конечный результат, когда сложно убедительно утверждать, что поведение людей-операторов имеет какое-либо значение [3, р. 140-141].

Решения и действия человека могут иметь значение на этапах разработки технологий, их закупок или стратегического и оперативного планирования. Поскольку на разработку военного искусственного интеллекта распространяются (гипотетические) международные обязательства государства, ответственность возникает, если такая разработка сопряжена с нарушением международного права. Такие обязательства включают обязанность уважать и обеспечивать соблюдение МГП, а также позитивные обязательства предпринимать активные шаги для обеспечения прав человека в пределах юрисдикции государства. На этапе заку-

пок существует обязанность проверить, что технология искусственного интеллекта была разработана в соответствии с обязательствами государства. На этапе развертывания систем военного искусственного интеллекта действует международное гуманитарное право [3, p. 141-146].

Особые характеристики технологий искусственного интеллекта могут потребовать усилий по интерпретации того, как действуют существующие нормы права. Б. Бутен полагает, мнение некоторых исследователей о том, что технологии искусственного интеллекта не регулируются и что право не в состоянии поспевать за быстрым развитием новых технологий, вводит в заблуждение. Вместо того чтобы стремиться к установлению новых правовых рамок для решения технологических проблем, следует сначала изучить, как существующие нормы могут быть применены [3, p. 144].

Обязательство обеспечивать соблюдение международного права может служить для определения границ того, следует ли разрабатывать технологии и каким образом. Если выясняется, что система технически не может быть приведена в соответствие с определенными принципами, то ее разработку следует либо остановить, либо переформатировать так, чтобы обеспечить достаточное вовлечение человека [3, p. 146].

В целом рамки доктрины международной ответственности государств, по-видимому, эффективны перед современными вызовами, возникающими в связи с технологиями искусственного интеллекта. Однако для того, чтобы ввести ее в действие, необходимы дальнейшие междисциплинарные исследования в области инженерии искусственного интеллекта, которые укрепили бы способность государств и корпораций обеспечивать соблюдение международного права при проектировании и развертывании систем военного искусственного интеллекта, а также при формировании подходов к управлению и политике. Это позволит перевести правовые принципы в военные и политические руководства, а также технические стандарты [3, p. 149-150].

Список литературы

1. Иванов Д.В., Корженяк А.М., Лапихина Е.С. Смертоносные автономные системы вооружений и международное право // Московский журнал международного права. - Москва, 2021. - № 3. - С. 6-19.

2. Конохов М.В. Автономные системы вооружений: актуальные проблемы международно-правового регулирования в контексте развития технологий искусственного интеллекта военного назначения // Право в Вооруженных Силах : Военно-правовое обозрение. - Москва, 2022. - № 9(302). - С. 80-90.

3. Boutin B. State responsibility in relation to military applications of artificial intelligence // Leiden journal of international law. - Leiden, 2023. - Vol. 36, N 1. -P. 133-150.

4. Liivoja R., Massingham E., McKenzie S. The legal requirement for command and the future of autonomous military platforms // International law studies. - Newport, 2022. - Vol. 99. - P. 638-675.