Эволюция роботов и право XXI в Текст научной статьи по специальности «Право»

Вестник Томского государственного университета. 2018. № 435. С. 215-233. DOI: 10.17223/15617793/435/28

УДК 340.1

А. В. Габов, И.А. Хаванова ЭВОЛЮЦИЯ РОБОТОВ И ПРАВО XXI ВЕКА

Проводится анализ правового режима роботов в России и за рубежом, оцениваются нормотворческие инициативы. По мнению авторов, в настоящее время ставить вопрос о наделении роботов правосубъектностью преждевременно, однако в перспективе он рано или поздно войдет в юридическую повестку. В статье предложены возможные модели будущего регулирования сферы робототехники.

Ключевые слова: робот; робототехника; искусственный интеллект; правосубъектность; цифровая экономика.

Робототехника в развитии

Робот - такой же результат развития человеческого общества в процессе его взаимодействия с природой, как и многие иные феномены искусственного мира. Академик В.С. Степин справедливо пишет, что основа взаимодействия человека с природой - практическая деятельность, в процессе которой он присваивает вещество и энергию природы (исходный материал), преобразуя их в формы, пригодные для своего потребления, а чтобы целенаправленно изменять исходный материал, человеку необходимы различные средства, которые служат проводниками воздействия на преобразуемый предмет и представляют собой усилители его естественных органов [1. С. 19-20]. Место робота в ряду таких средств очевидно: с его помощью человек, с одной стороны, хотел избавить себя от наиболее тяжелых, изнурительных видов деятельности, требующих объединения значительных ресурсов (эта идея видна уже в научно-фантастическом произведении «R.U.R.» К. Чапека - автора, из произведений которого и было заимствовано слово «робот»), с другой -преумножить свои возможности не за счет изменений в человеческой натуре. Такое функциональное назначение роботов прослеживается и в специальной литературе, где робототехника рассматривается как сформировавшаяся в 60-х гг. XX в. наука «о технических устройствах, способных заменять человека при выполнении сложной, однообразной, утомительной, небезопасной работы» [2. С. 11].

Первые роботы в полной мере отвечали этим подходам, представляя собой специальное оборудование - манипулятор (в некоторых документах слова «робот» и «манипулятор» - синонимы [3; 4.]), который управлялся по определенной программе, осуществляя установленный набор функций (действий). Эти роботы обладали строго ограниченной, контролируемой автономностью, и дальше их использования как оборудования, необходимого для улучшения производственных процессов, в практической плоскости речь не шла. Однако технологии развивались. Нейронные сети, способные опознавать изображения, понимать человеческую речь, самообучаться [5. С. 148], начали копировать принципы работы человеческого мозга. По мере совершенствования технологии искусственного интеллекта (artificial intelligence, AI), основное назначение которой - разработка алгоритмов, обеспечивающих компьютерное решение ко-

гнитивных задач, свойственных мозгу человека [6; 7. С. 70], развитие роботов приобрело новое направление. Они стали «социализироваться», встраиваясь в различные коммуникации в качестве субъектозамени-телей (робот-полицейский, робот-сиделка, робот-банковский служащий и т. д.) или помощников. В результате и в правовой науке появились суждения о том, что в некоторых отношениях робот выступает если не субъектом, то их участником [8. С. 85-102].

Отметим, что ряд экспертов относят искусственный интеллект к сфере робототехники, однако чаще его все-таки обособляют из-за способности к существованию без привязки к какому-либо устройству [9. С. 7-27]. В докладе Исследовательской службы Конгресса США от 26 апреля 2018 г., посвященном вопросам искусственного интеллекта, отмечается, что практически все открытые академические источники признают отсутствие общепринятого определения искусственного интеллекта во многом из-за существенно различающихся подходов. При этом исследователи, как правило, разграничивают понятия «робот» и «искусственный интеллект», и большинство из них сходятся во мнении, что искусственный интеллект является необходимым элементом автономной системы [10. С. 1, 4]. Х. Эй-денмюллер, рассматривающий робота как воплощенный искусственный интеллект (embodied AI), подчеркивает, что разумные роботы с возможностями машинного обучения (machine learning) не только используют огромный объем имеющихся данных, но и черпают их из собственного опыта и поступающей информации [11], адаптируя поведение и совершенствуя свои качества при взаимодействии с окружающим миром. Робот нового поколения, которого Н. Ричардс и У. Смарт определяют как небиологического автономного агента (non-biological autonomous agent) [12. С. 4], отличаясь высокой степенью автономности, действует как агент человека либо организации. Обобщив существующие подходы, Р. Кало определяет современных роботов как механические объекты, 1) воспринимающие мир, 2) обрабатывающие полученную информацию, 3) воздействующие на окружающую среду [13. С. 116, 118]. Идея современного робота, претендующего на «юридическую маску», состоит в том, что технология объединяет все три указанных качества. Отмечая воздействие на окружающую среду, мы имеем в виду, прежде всего, реальный мир, хотя дискуссии о пограничных состояниях виртуального и реального являются частью современного научно-правового дискурса [14. С. 35-40].

Такое проявление вовне может стать источником проблем, поскольку искусственный интеллект порождает сложные модели поведения. Программирование, ориентированное на развитие адаптивного потенциала и способностей робота к саморазвитию, в свою очередь, генерирует возможность непредсказуемой реакции с его стороны. Вместе с тем такие роботы способны к созданию оригинальных текстов, изображений (с неочевидностью их принадлежности какому-нибудь человеку), испытывая тем самым на прочность правовое регулирование интеллектуальной собственности [15. С. 66]; совершению действий, имеющих положительные правовые последствия (сделки); нанесению вреда действиями, которые осуществлены с высокой степенью самостоятельности (независимости) и не могут быть безусловно связаны с каким-либо физическим или юридическим лицом. В результате все больше экспертов приходят к выводу о необходимости устранения пробела в применении (распределении) ответственности за действия роботов, который не может быть преодолен с помощью существующих нормативных моделей [16. С. 175-183].

Последствия появления и развития разумных роботов для социальных отношений, общества в целом обсуждаются уже не только в связи с рисками и преимуществами автоматизации, но и в контексте угрозы утраты контроля за саморазвивающимся автономным искусственным интеллектом. Исследователи указывают на множество далеко идущих процессов, характеризуя их не иначе как «опасная ситуация», «волна потрясений», «разрыв ткани истории» [17; 18. С. 305310; 19]. Впрочем, нельзя не отметить и наличие альтернативной позиции: «искусственного интеллекта нет, не было и в ближайшее время не будет», а то, что называется искусственным интеллектом, - лишь компьютерная имитация некоторых человеческих функций [20]. Еще категоричнее С. Фокс, по мнению которого такие опасения не учитывают параллельно идущий процесс физического совершенствования человека: технологии, изменяющие природные способности людей, повышают их потенциал, и киборги превосходят по возможностям роботов. Соответственно, дебаты о будущем, сконцентрированные на роботах, некорректны, они не учитывают потенциал киборгов, число которых будет неуклонно увеличиваться [21].

И, тем не менее, какие бы споры ни сопровождали развитие феномена искусственного интеллекта, следует констатировать две важные для нашего исследования тенденции:

1) разделение «мира» роботов в результате развития технологий, прежде всего искусственного интеллекта, на две группы:

- часть современных роботов - это оборудование, манипуляторы, выполняющие ограниченный набор функций и обладающие ограниченной автономностью;

- другая часть - умные (sophisticated), саморазвивающиеся роботы с высокой степенью (уровнем) автономности (далее - «разумные роботы»);

2) постепенная и неуклонная социализация разумных роботов. Эта тенденция может быть обозначена

так: от производственного оборудования до помощника (а где-то уже и субъектозаместителя) в определенных отношениях. В литературе в отношении роботов, созданных для взаимодействия с людьми, нередко используется термин «социальный робот» (social robot) [11].

Философами признается формирование двух реальностей: мира «естественного» и мира «искусственного» [22. С. 3, 9]. И нарастающая «самостоятельность» искусственного мира нередко определяет содержание фундаментальных проблем в различных сферах человеческого бытия. Важно отметить, что для научного дискурса разумные роботы уже обозначены как вызов, ведущие ученые указывают на необходимость выяснения социальных и психологических последствий внедрения «самопрограммирующихся роботов» в различные сферы жизнедеятельности [23. С. 5-31]. Более того, по мнению ряда исследователей, пришло время для признания универсального когнитивного разнообразия (universal cognitive diversity), поскольку без нового подхода, не сфокусированного на примере человека, будет сложно понять проблемы, с которыми мир столкнется при появлении интеллекта, превосходящего по возможностям человеческий [24].

Робот в российском праве

Изначально робот рассматривался в праве исключительно как объект, т. е. часть внешнего для субъекта (человека и коллективных образований, в том числе имеющих статус «юридического лица») мира вещей, которые могли быть присвоены (созданы, уничтожены, переданы в результате сделки и т. д.). Такой подход господствует и сегодня: в юридическом смысле робот - имущество, а не «persona»; объект, а не субъект правоотношений. Тем не менее в последние годы все активнее развивается дискуссия о возможной субъектности робота, в которой уже выявились несколько направлений.

Первый и самый сложный блок вопросов, обсуждаемых в связи с развитием разумных роботов, -определение их правового положения как объекта или субъекта [25-30]. Вторая часть правового дискурса менее футуристична. Ее исходная посылка: робот -объект права. Однако объект объекту рознь, и право должно учитывать уникальные черты разумных роботов и специфические риски, которые возникают в связи с их развитием [16; 31]. Третья составляющая дискуссии - предложение различного рода норм, направленных на развитие робототехники. В рамках этого направления не обсуждаются фундаментальные вопросы теории права, скорее, преобладают различные организационные аспекты при понимании того, что главный вопрос о пользе / вреде роботов решен: они признаются необходимыми и полезными. Таким образом, полемика о месте робота в праве включает очень широкий круг вопросов: от фундаментальных до организационных.

В отечественной юридической доктрине до последнего времени (в данном случае «до последнего» следует понимать практически буквально: мы не найдем публикаций до 2016-2017 гг.) вопрос о право-

вом положении робота не обсуждался. Или, точнее, такого предмета обсуждения просто не существовало. Право рассматривало робота исключительно как «оборудование». Например, в советский период в отдельных актах [32] встречается указание на различные виды роботов в зависимости от их функций, особенностей устройства («промышленный робот», «роботы промышленные с контурным программным управлением», «роботы бытовые», «электромагнитные или пневматические роботы» и т. д.). В силу отсутствия специфики объекта нормы, относящиеся к робототехнике, содержались в основном в стандартах и классификаторах. В законах роботы даже не упоминались, что объективно соответствовало как состоянию технологического развития, так и уровню общественных отношений того периода.

После 1991 г. российские нормативные акты, сохраняя понимание робота как оборудования («средства», «технического устройства», «устройства»), следуют советской традиции [33], во многих из них используется и прежняя терминология, основанная на функциях робота [34] («промышленный робот», «конвейерный робот», «терапевтический робот», «робот для подъема и размещения» (ГОСТ Р ИСО 9999-2014) или на особенностях его устройства («мобильный робот» ГОСТ Р 54344-2011). Однако нельзя не указать и на существенные отличия от советского периода.

Во-первых, терминология обновляется: «робото-техническое средство», «робототехнический комплекс» (ГОСТ Р 54344-2011.); вводится определение робота. Национальный стандарт «Роботы и робото-технические устройства...» (ГОСТ Р 60.0.0.2-2016) рассматривает робота (robot), подобно международному стандарту, как «исполнительное устройство с двумя или более программируемыми степенями подвижности, обладающее определенным уровнем автономности и способное перемещаться во внешней среде с целью выполнения поставленных задач» [35]. Понятие «автономность» (autonomy) документ определяет как способность выполнять поставленные задачи в зависимости от текущего состояния и восприятия окружающей среды без вмешательства человека.

Во-вторых, закрепляются понятия, отражающие нарастание автономности машин: «безлюдные технологии» (технологии, осуществляемые без непосредственного участия человека) (ГОСТ Р 54344-2011), «интернет вещей» (концепция вычислительной сети, соединяющей вещи (физические предметы), оснащенные встроенными информационными технологиями для взаимодействия друг с другом или с внешней средой без участия человека), «индустриальный интернет» (концепция построения информационных и коммуникационных инфраструктур на основе подключения к сети «Интернет» промышленных устройств, оборудования, датчиков, сенсоров, систем управления технологическими процессами, а также интеграции данных программно-аппаратных средств между собой без участия человека) [36].

В-третьих, в последние два-три года появляется сразу несколько документов стратегического планирования, направленных на развитие технологий искусственного интеллекта; специальные программы,

предусматривающие нормативные изменения в этой области; соответствующие поручения. Они формируют политико-правовой базис для развития права -именно на их основе и с учетом их содержания готовятся проекты нормативных правовых актов. К числу интересующих нас положений1 [37], в частности, следует отнести:

- признание необходимости развития высоких технологий в сфере робототехники и искусственного интеллекта в качестве стратегического направления (Стратегия национальной безопасности Российской Федерации (п. 70) [38]; Стратегия развития информационного общества в Российской Федерации на 20172030 гг. (п. 36) [36]);

- отнесение робототехники к числу важнейших «сквозных технологий» (применяемых во всех отраслях). В Послании Президента Российской Федерации Федеральному Собранию Российской Федерации от 1 декабря 2016 г. отсутствие таких технологий признано угрозой «зависимого, уязвимого положения» для любой страны. Программа «Цифровая экономика Российской Федерации» [39] в число основных сквозных цифровых технологий включает: нейротехноло-гии и искусственный интеллект, компоненты робототехники и сенсорику;

- постановка задач по созданию в кратчайшие сроки передовой нормативной базы в рассматриваемой сфере (Послание Президента Российской Федерации Федеральному Собранию Российской Федерации от 1 марта 2018 г.), с признанием необходимости ее постоянного обновления и построения на «гибком подходе к каждой сфере и технологии» [40]. Такая работа должна способствовать признанному необходимым снятию барьеров для разработки и широкого применения робототехники, искусственного интеллекта, беспилотного транспорта, электронной торговли, технологий обработки больших данных. Согласно Программе «Цифровая экономика Российской Федерации» разработка проектов нормативных правовых актов, обеспечивающих «регулирование правовых вопросов, связанных с использованием робототехники, инструментов искусственного интеллекта», должна быть осуществлена ко II кварталу 2019 г.

Таким образом, наблюдается явное возрастание внимания к теме робототехники и искусственного интеллекта на государственном уровне, включение этой предметной тематики в сферу права, с конкретными планами по созданию специального регулирования. Намечаются (пока в самом общем виде) его принципы («гибкий подход к каждой сфере и технологии»). При этом документы стратегического, программного и порученческого характера являются очень общими, в них отсутствует терминологическое единство, что отчасти обусловлено слабой разработанностью принципиальных вопросов в правовой доктрине. Нельзя не заметить также, что вопросы робототехники и искусственного интеллекта в указанных документах к 2018 г. «растворились» в рамках более общего предмета - «цифровой экономики». Так, в Перечне поручений от 16 марта 2018 г. по реализации Послания Президента Российской Федерации Федеральному Собранию Российской Федерации от

1 марта 2018 г. слова «робототехника» и «искусственный интеллект» не упоминаются, поглощаясь более общим направлением «цифровая экономика» [41].

Несмотря на зримые технологические достижения, долгое время ни теоретиками, ни практиками не ставились вопросы ни о совершенствовании юридической модели робота как объекта прав, ни об изменении его места в субъект-объектной парадигме. Такое положение дел стало представлять очевидный «разрыв» между правом и реальными потребностями участников общественных отношений, вызванный отмеченным разделением «мира» роботов на обычные машины и разумных роботов. Расположение последних в субъект-объектной системе координат стало, в частности, приобретать крайне важное практическое следствие, как мы уже отмечали, в наиболее чувствительной области юридической ответственности. П.М. Морхат не без оснований замечает, что до недавнего времени проблема определения ответственности за действия машины разрешалась традиционно: «такая машина должна была рассматриваться исключительно как инструмент лица, обладающего или управляющего ей. Не возникало вопроса о личной ответственности такой машины или ее правосубъектности, поскольку машины не были способны осуществлять автономную или полуавтономную деятельность» [27. С. 128].

В 2016 г. группой российских юристов и представителей бизнеса был предложен направленный на устранение наметившегося «разрыва» проект закона «О внесении изменений в Гражданский кодекс Российской Федерации в части совершенствования правового регулирования отношений в области робототехники» [42]. Он появился на фоне отсутствия какой-либо юридической доктрины в области робототехники и искусственного интеллекта и содержал довольного много противоречивых новаций. Главной целью разработчиков было вовсе не комплексное регулирование вопросов робототехники, а поиск нового места разумных роботов, названных «роботизированными агентами». Авторы предлагали разделить мир роботов на собственно роботов и таких агентов. «Просто» роботы обозначались как имущество (с учетом специфики - источник повышенной опасности). Сложнее (и противоречивее) определялось положение роботизированного агента. В отношении него даже использовалось понятие «правоспособность», предоставлялась хоть ограниченная, но все-таки субъектность (правосубъектность). Роботизированный агент, по мысли авторов проекта, мог иметь обособленное имущество и отвечать им по своим обязательствам; от своего имени приобретать и осуществлять гражданские права и нести гражданские обязанности, быть истцом и ответчиком в суде. При этом слово «субъект» впрямую к роботизированному агенту не применялось (интересно, что некоторые авторы текста в обсуждениях для объяснения своей позиции именовали его «квазисубъектом, наделенным ограниченной правоспособностью»).

Законопроект подвергся критике, иногда обоснованной, а порой - не в полной мере корректной, однако должный эффект он произвел: правовое положение

робота стало предметом дискурса юристов. И как бы ни пытались иногда иронизировать над излишне футуристическими взглядами его авторов, плотину «прорвало», и в 2016-2018 гг. наблюдался небывалый всплеск активности ученых, возросло число работ о правовом положении робота [25, 28-31]. Спектр оценок предложенного проекта весьма разнообразен. Так, согласно точке зрения А. А. Иванова, «признание роботов-агентов субъектами права предполагает, что они обладают сознанием и волей, достаточными для участия в гражданском обороте», однако сейчас они не в состоянии оторваться от человеческого интеллекта [30]. В качестве возможного варианта им было предложено признание роботов-агентов «имуществом особого рода». Г.А. Гаджиев предположил, что по мере совершенствования искусственного интеллекта может возникнуть потребность в признании юридической личности роботов-агентов как «особой разновидности юридических лиц» («дополнение в виде слова «агент» означает, что такие роботы являются представителями кого-либо - физического или, чаще, юридического лица») [25. С. 21-22]. Впрочем, в отношении текущего периода его позиция, скорее, отличается сдержанностью: «Когда появится субъект, обладающий сознанием, совестью человека, тогда и настанет время для признания его субъектом правоотношений. Смогут ли программисты и специалисты в области вычислительной техники создать робота-агента, выполняющего множество социальных ролей? Если да, тогда и возникнет потребность в юридической маске» [Там же. С. 29]. Мнение В.В. Архипова,

B.Б. Наумова состоит в том, что к роботам «могут быть применимы различные аналогии - от правил, применимых к животным (в том числе в случаях ответственности владельца источника повышенной опасности) или к юридическим лицам» [43]. О.А. Ястребов, соглашаясь с тем, что рассуждения о наделении правами субъектов, не принадлежащих к человеческому роду, полезны с точки зрения анализа самой возможности использования аналогии, тем не менее не видит смысла в рассуждениях об эволю-ционности регулирования в сфере искусственного интеллекта «в силу отсутствия в этой области непрерывности и повторяемости, присущих процессу эволюции». Он оперирует понятием «электронное лицо», понимая под ним «персонифицированное единство норм права, которые обязывают и уполномочивают искусственный интеллект (электронный индивид), обладающий критериями "разумности"» [28.

C. 46, 50].

Важный эффект упомянутого законопроекта состоял в том, что после всплеска публикаций дискуссии не прекратились: в той или иной форме вопрос обсуждался в рамках мероприятий по тематике Legal tech. Это свидетельствует о признании проблемы юридическим сообществом, и, значит, до непосредственных правовых решений не так далеко. Некоторые авторы полагают, что они должны быть формализованы в 10-15-летний срок, в противном случае «связанные с этим коллизии станут источником многих социальных противоречий и напряженности» [44]. В целом сформулированные в ходе дискуссии подхо-

ды к развитию правового регулирования в сфере робототехники могут быть представлены следующим образом:

- решение проблем в рамках существующих правовых конструкций (робот - имущество);

- применение права по аналогии;

- изменение подхода к правовой оценке разумных роботов: консервативный вариант - признать их имуществом со специфическими особенностями; инновационный вариант - признать определенную категорию роботов «лицами».

Анализируя как проект, так и различные точки зрения, высказанные по предметам, которые в нем затронуты, можно заметить, что даже мнения конструктивных критиков, признающих пользу законодательных перемен, пронизаны мыслью, что предложенная модель исходит из преувеличенного представления об уровне развития искусственного интеллекта. Позиции авторов, допускающих юридическое «олицетворение» роботов, весьма разнятся и, скорее, пока формируют лишь общий абрис в отсутствие отчетливого представления о системе и последовательности нормативных перемен.

Робот в зарубежных правопорядках

Теперь обратимся к законодательству и юридической доктрине зарубежных стран. Здесь вопросы правового положения роботов стали разрабатываться раньше, чем в России (хотя и не значительно), причем соответствующие решения находили свое место и непосредственно в законах. Так, в Южной Корее в 2008 г. был принят Закон об умных роботах [45], в котором они понимаются как механические устройства, воспринимающие окружающую среду, распознающие обстоятельства, в которых функционируют, и наделенные способностью самостоятельно передвигаться. Документ в большей степени определяет развитие робототехники, включая меры государственной поддержки; он не затрагивает весь спектр проблем (дискурса), изложенный выше, концентрируясь на вопросах развития робототехники.

Весьма практично поступила Эстония, где в 2017 г. в Закон о дорожном движении от 17 июня 2010 г. [46] были внесены изменения, регулирующие особенности правового режима «самодвижущегося робота», который определяется как передвигающееся на колесах или иной ходовой части в контакте с поверхностью земли, частично или полностью автоматическое или дистанционно управляемое транспортное средство, использующее датчики, камеры или иное оборудование для получения информации об окружающей среде, способное, используя эту информацию, передвигаться (частично или полностью) без контроля водителя. Схожие подходы мы наблюдаем в Германии, где 16 июня 2017 г. был принят Восьмой закон о внесении изменений в Закон о дорожном движении [47], разрешивших вопросы передвижения автомобилей со значительной или полностью автоматизированной функцией вождения. Среди закрепленных в законе качеств таких автомобилей - возможность для водителя перевести управление на себя либо деактивировать соответствующее устройство.

Значимым событием в мире робототехники стало объявление в октябре 2017 г. на мероприятии «Инвестиционная инициатива будущего» (г. Эр-Рияд) о том, что человекоподобный робот Sophia, разработанный Hanston Robotics, получил подданство королевства Саудовская Аравия [48]. Более конкретные сведения о последствиях данного акта не раскрывались, хотя экспертов интересовало, получил ли робот какие-то права или правительство лишь собирается разработать систему прав для роботов. Некоторые из них подвергли критике данное решение, посчитав неправильным предоставлять гражданство роботу в ситуации, когда нарушаются права человека [49].

Как хорошо видно из предыдущего изложения, в зарубежных правопорядках имеется гораздо более существенное продвижение в части учета изменений в «мире» роботов. Во многом это следствие того, что имеющие значение для права вопросы гораздо раньше начали осмысливаться различными исследователями.

Уже во второй половине 1980-х - начале 1990-х гг. в ряде зарубежных публикаций вопрос о правах робота был переведен из области научной фантастики в область права. Так, Л. Солум в работе 1992 г. задался вопросом, может ли искусственный интеллект стать лицом в юридическом смысле (legal person) [50. С. 1231-1287]. И хотя, по мнению ученого, на тот момент проблема имела сугубо теоретический характер в силу технологических причин, был исследован широкий спектр вопросов правосубъектности искусственного интеллекта (возможность выступать в качестве trustee, обладать конституционными правами и т.д.). Представьте себе, - размышлял Л. Солум, -что искусственный интеллект (одно из наделенных им устройств) будет утверждать, что он человек (person) и поэтому должен иметь конституционные права [50. С. 1257]. Ответ на этот «гипотетическое» обращение, по мнению ученого, зависит от существа таких прав. Например, им приведены аргументы в пользу предоставления права на свободу слова, поскольку это способствовало бы генерированию полезной информации. Однако самые сложные вопросы, пока не нашедшие окончательного решения, касались наделения искусственных сущностей правами не для реализации человеческих потребностей, а ради защиты самой искусственной индивидуальности (искусственного интеллекта).

Указанный автор в своих рассуждениях отталкивался от одной из классических американских работ -исследования Дж. Грэя, содержащего обстоятельный и весьма интересный раздел о правосубъектности [51. С. 27-62], где отдельное внимание было уделено вопросам наделения ею неживых объектов (inanimate thing). Немало наблюдений Л. Солума, в свою очередь, стали важной отправной точкой для последующей дискуссии о комплексе прав агентов с искусственным интеллектом (artificially intelligent agents) как юридических лиц [52. С. 22]. Например, при всех различиях, особенно заметных при сравнении физических лиц и корпораций, правосубъектность обычно предполагает возможность иметь права собственности, выступать истцом и ответчиком в суде [50. С. 1231, 1239].

В том же 1992 г. Л. Уэйн предельно конкретизирует предмет дискурса: будем мы рассматривать автономные машины в качестве простых орудий их собственников или как неодушевленных зависимых юридических агентов (legal agents) принципала-человека [53. С. 105-106]. Данный автор склонен поддержать идею, что автономная техника, наделенная искусственным интеллектом, эволюционирует к точке, когда у некоторых машин появятся обязанности. Сущности, порождающие своеобразные юридические результаты, по его мнению, представляют собой «юридических агентов» и в какой-то степени несут самостоятельную ответственность за свои действия. Однако в связи с тем, что такие устройства порождают ответственность иного характера, нежели люди, выполняющие аналогичные задачи, их правильнее рассматривать как «неполные» юридические лица («incomplete» legal persons) [53. С. 107]. Данный подход впоследствии будет поддержан П. Асаро, допускающим наделение роботов как квазиагентов (quasi-agents) или квази-персон (quasi-persons) правами и обязанностями лишь частично [54]. Логика подобного «усеченного» варианта субъектности во многом подпитывается отсутствием у машин сознания и воли, а также «искусственностью» их интеллекта.

В более развернутом виде вопрос о правосубъектности роботов поставил футуролог Г. Дворски [55], отметив, что развитие искусственного интеллекта и робототехники приближает нас к моменту, когда сложные машины будут соответствовать возможностям человека во всех смыслах, включая интеллект, сознание и эмоции. И тогда придется решить, являются ли они лицами (субъектами права). Постановка вопроса более чем ясна, в ее основе - понимание прогресса, который с неизбежностью приведет к появлению такого класса машин, который «задаст» человечеству вопросы онтологического характера. Однако ответы, которые даются на этот вопрос в различных источниках, разнятся. Часть авторов, подобно Г. Дворски, полагают, что когда развитие машин достигнет определенного уровня, уже не будет веских причин отказывать роботам в правах, поскольку это было бы «равносильно дискриминации и рабству». В обосновании наряду с технологическими аспектами прослеживается морально-этическая сторона, которая, заметим, едва ли не превалирует. Тот же морально-этический посыл, но несколько в другом аспекте, мы находим у В. Хартзога. Ссылаясь на исследования К. Дарлинг [56], чьи работы подтвердили склонность человека к формированию эмоциональных связей с человекоподобными роботами, ученый предупреждает, что насилие над ними влияет на людей. Кто-то, ударив ножом такого робота, может проявить тем самым антигуманные качества, что скажется и на его жизни, и на жизнях других людей. И с этой точки зрения целесообразно наделить роботов правами [57]. В научной литературе можно встретить и обобщенное представление о возможных специальных правах робота, например: не быть отключенным (против его «воли»), право на полный и беспрепятственный доступ к своему коду, право не подвергаться экспериментам, право на создание своей копии, право на неприкосновенность «частной жизни» [58].

В этих рассуждениях невольно проявляется многолетняя дискуссия о правах животных, которых именно гуманизм не позволяет считать безликим имуществом. В некоторых источниках авторы как раз прибегают к этой аналогии. Так, А. Сиддик обращает внимание, что признание прав за животными является напоминанием о том, что не только люди могут быть наделены правами [59]. В пользу наделения правами роботов выдвигаются и иные аргументы гуманистического свойства [60]. Вместе с тем часть исследователей убеждены, что машина останется машиной, она никогда не превзойдет человека и никогда не получит (не должна получить) никаких прав, и уж тем более прав, присущих человеку. Сторонники данной позиции готовы рассматривать роботов в юридическом смысле не более чем рабами, но уж никак не «партнерами» людей [61]. Признание машины сознательным существом, - высказывают опасения эксперты, - обязало бы уважать основные права робота. И - при таком допущении - человечество, следуя логике развития, было бы обречено на исчезновение в результате естественного отбора [62].

Пока явных плодов этой дискуссии на уровне национального законодательства не наблюдается, и право идет по весьма рациональному пути признания необходимости отражения особенностей разумных роботов в правовых нормах именно как машин -объектов прав. Пожалуй, впервые в юридическом дискурсе вопрос о правилах взаимодействия роботов и людей, ранее бывший предметом обсуждения писателей-фантастов (А. Азимов с его тремя законами [63. С. 62-63] и другие), был переведен в практическое русло в принятой 16 февраля 2017 г. Парламентом Европейского Союза резолюции «Нормы гражданского права о робототехнике» с рекомендациями для Ев-рокомиссии (European Parliament resolution with recommendations to the Commission on Civil Law Rules on Robotics) (далее - Резолюция о роботах) [54]. Резолюция, ориентированная на разработку законодательства в ближайшие 10-15 лет, предложила характеристики умных автономных роботов (autonomous robots), этический кодекс для их производителей, подпитав дискуссию о наделении роботов в перспективе особым правовым статусом (status of electronic persons), когда наиболее совершенные из них смогут создаваться как электронные лица (персоны) и нести ответственность за причиненный ущерб, если принимают решения автономно или иным образом самостоятельно взаимодействуют с третьими лицами. Среди характеристик умного робота упомянуты способности: 1) становиться автономным; 2) самообучаться; 3) адаптировать поведение.

Специалисты неоднозначно восприняли тезис о наделении роботов правовым статусом, особенно фактическое предоставление прав, тем более «прав человека» [62; 65]. Р. Бикерстаф образно охарактеризовал «причудливыми видениями», основанными на научной фантастике, предложения об электронных лицах [66]. В апреле 2018 г. более 150 экспертов, среди которых специалисты по искусственному интеллекту и робототехнике, лидеры отрасли, специалисты в области права, медицины и этики, разместили От-

крытое письмо Еврокомиссии [67], отметив, что не стоит спешить с наделением роботов статусом электронной личности, такое решение неприемлемо ни с этической, ни с правовой позиций. 25 апреля 2018 г. Еврокомиссия представила ряд мер по развитию робототехники [68], и многие ученые вздохнули с облегчением, поскольку, как заметил Т. Бурри, она не поддалась призывам Европарламента предоставить правосубъектность искусственному интеллекту [69].

10 апреля 2018 г. европейскими государствами была подписана Декларация о сотрудничестве в сфере искусственного интеллекта [70]. Сходные процессы наблюдаются и в Евразийском экономическом союзе (ЕАЭС). В соответствии с Распоряжением Евразийского межправительственного совета от 7 марта 2017 г. № 2 [71] к группе «отраслей будущего», имеющих высокую степень приоритетности как для большинства государств - членов ЕАЭС, так и для ряда ключевых игроков глобального научно-технологического развития (стран и / или компаний), отнесено производство роботов-помощников, свободно передвигающихся и взаимодействующих с людьми. В Указе Президента Российской Федерации от 7 мая 2018 г. № 204 «О национальных целях и стратегических задачах развития Российской Федерации на период до 2024 года» отмечается (в части развития цифровой экономики) необходимость внедрения национального механизма осуществления согласованной политики государств - членов ЕАЭС.

Робот и право будущего.

Некоторые выводы

Понятия «субъект права», «лицо», «правосубъектность», «правоспособность», по справедливому выражению Г. А. Гаджиева - «"входной билет" в юридический мир» [25. С. 17]. Предоставляет его позитивное право, соответственно, выстраивание субъект-объектной реальности (признание кого-либо субъектом, равно как и признание кого-либо, чего-либо объектом) - это результат сознательной деятельности человека. Человек является первичным и главным субъектом, то есть тем, кто имеет возможность разделять все остальные явления в мире в логике «объект-субъект», именно он (и только он в настоящее время) наделяет тех или иных представителей растительного или животного мира, природные объекты, искусственные (антропогенные) объекты или вымышленные объекты свойством субъекта [26. С. 108].

Поиск оснований для возникновения новой субъ-ектности показывает, что все сводится к вопросу удовлетворения практических потребностей общества: универсального научно обоснованного теста на субъ-ектность не существует. И здесь нельзя не отметить справедливость следующей мысли: субъект права -это социально-правовая реальность. Для права не имеют значения физические свойства человека или организационный, имущественный, людской субстрат юридического лица, а важны лишь их правовые свойства, качества, собственно, и определяющие их как субъектов права [72. С. 24, 109, 120]. Не случайно ряд исследователей, апеллируя к правосубъектности кор-

пораций, подчеркивают, что присвоение отдельного юридического статуса конкретной сущности (реальности) - не более чем фикция, необходимая для адекватного урегулирования отношений в обществе, обеспечения согласованности внутри правовых систем. И если дело доходит до причинения вреда правовым и нравственным устоям человечества, причина этого - в развитии искусственного интеллекта, а вовсе не в наделении его постфактум самостоятельным юридическим статусом [52].

Признавая свободу общества в разрешении вопроса о том, кто есть субъект права, а кто (или что) его объект, тем не менее, стоит уточнить: распространяется ли этот подход (или следует ли его распространить) в полной мере на роботов. Главный вопрос, который возникает в отношении возможного наделения их субъектностью, таков: зачем в принципе роботу субъектность? Этот вопрос можно поставить и несколько иначе: что не устраивает участников отношений в роботе-объекте настолько, чтобы присваивать ему статус субъекта?

При ответе на вопрос «зачем» - особенно в зарубежных публикациях - хорошо прослеживается гуманистический аспект (см. выше), именно соображения гуманизма для многих авторов - основание для изменения правового положения робота. Нам представляется, что соответствующих рассуждений пока весьма мало для того, чтобы на их основе радикально изменять правовое положение робота в сложившейся субъект-объектной систем координат, а возражений для такого изменения более чем достаточно как с практической, так и с онтологической позиций. В частности, велик риск «размывания» фигуры лица, ответственного за причинение вреда: за «маску» робота могут прятаться его реальные причинители. Совершенно очевидно, что для настоящего этапа развития искусственного интеллекта наделение разумных роботов правосубъектностью приведет институт ответственности в кризисное состояние. Вместе с тем уже упоминавшийся Т. Бурри, равно как и авторы Открытого письма Еврокомиссии, уверены, что такая юридическая индивидуальность не является необходимой для решения проблем ответственности, закон не знает недостатка в механизмах для ее установления в ситуациях риска и неопределенности [69]. Сделать ответственным лицом робота, а безответственными -людей, которые являются его творцами, операторами, хозяевами и т. д., - вряд ли идеальная модель для XXI в., по крайне мере (пофантазируем), его первой половины.

Поэтому сложно подвергнуть сомнению тезис Резолюции о роботах: на сегодняшний день ответственность должна лежать на человеке, а не на роботе. Это важно в контексте возмещения ущерба, обеспечения обратной связи, своевременного внесения изменений в технологии. От идеи о полной юридической автономии робота придется отказаться, в том числе исходя из соображений безопасности. Мы должны признать, что пока даже самый технически развитый робот не может принимать решения, требующие моральных суждений, на которые способен только человек. В безнадежной ситуации, когда самодвижущийся

(беспилотный) автомобиль, вовлеченный в аварию, вынужден делать выбор (столкновение более двух машин, травмы большего числа людей или угроза жизни детей), моральное суждение человека-водителя может подсказать решение, - пусть менее рациональное, но позволяющее защитить детей как наиболее уязвимых участников отношений.

Если подойти к вопросу о наделении роботов правосубъектностью в другом упомянутом нами аспекте - «что не устраивает», то вот здесь очевидна более продуктивная линия рассуждений. «Не устраивает», как думается, то, что появился феномен, который нельзя в полной мере отнести только к категории механизмов - он сам программирует свое поведение (хотя и в известных рамках); «не устраивает» то, что разумный робот способен к самообучению, которое осуществляется, в том числе исходя из его собственного опыта, и это не позволяет «назначить» ответственным за деяния робота ни его разработчика, ни программиста, ни владельца. «Не устраивает» то, что отсутствуют системные юридические решения по дальнейшему развитию разумных роботов, а это порождает страх утраты контроля как за технологиями, так и за людьми, которые их могут использовать вовсе не для блага общества, а во вред ему, отдельным его членам и группам. Наконец, «не устраивает» то, что умный робот может внешне почти не отличаться от человека, а мы уже упоминали, что люди относятся к антропоморфным роботам как к себе подобным [57; 73], и к тому же быть в очень высокой степени социализирован (робот-помощник). В. Хартзог верно подметил, что, возможно, главная причина, по которой мы уязвимы для роботов, - то, что мы им доверяем [74. С. 791]. Все эти аспекты (а это, как видно, не только ответственность, но и определенные морально-этические вопросы) современное право не учитывает.

Следует ли для решения этих вопросов ставить сегодня вопрос о субъектности роботов? Нам представляется это нецелесообразным. Пока их можно достаточно успешно решать в рамках совершенствования действующего регулирования. Примечательно, что некоторые исследователи изыскивают возможности отнесения искусственного интеллекта к юридическим лицам и в рамках существующих законов. В частности, Ш. Байерн продемонстрировал, как корпоративное право США может быть использовано для создания компании, контролируемой искусственным интеллектом, в результате чего последний, по мнению ученого, приобретает правосубъектность на основе действующих норм [75].

В целом же можно отметить, что даже у противников фундаментального (универсального) закона о роботах [66], которые подобно Дж. Штраубу постоянно напоминают юридическому сообществу, что именно отсутствие регулирования позволило Интернету в полной мере развить свой потенциал [76], нет сомнений в необходимости совершенствования законодательства. По образному выражению О. Этциони, «лошадь» искусственного интеллекта покинула конюшню, и лучше всего попытаться управлять ею (искусственный интеллект не должен быть вооружен,

и его следует снабдить неуязвимым, надежным «выключателем») [77]. Данный автор убежден, что не следует пытаться обуздать быстро развивающуюся отрасль в целом, регулирование должно быть сосредоточено лишь на сферах с наиболее ощутимым воздействием (например, безопасность при применении автономных транспортных средств). Его подход созвучен выводам О. А. Ястребова о том, что хотя многие отрасли российского права успешно справляются с проблематикой автономных роботов, обозначились приоритетные для введения регулирования сферы: безопасность, юридическая ответственность, защита прав потребителей, интеллектуальная собственность и т.д. [78. С. 283].

Такая тактика нормативного «продвижения» не вызывает возражений при условии, что изменения будут носить комплексный, взаимосвязанный характер, а это невозможно без выработки хотя бы самых общих принципов с осознанием динамики регулятор-ных усилий. Например, по мнению Х. Эйденмюллера, правовое регулирование в рассматриваемой сфере должно быть: 1) предметным (учитывать специфику роботов) и контекстно-зависимым (с глубоким пониманием микро- и макроэффектов их поведения в конкретных сферах); 2) существующие правовые категории - с учетом изменения - могут применяться к роботам и регулированию соответствующих отношений; 3) законы в сфере робототехники формируются исходя из характера общества, под влиянием его глубинных нормативных моделей (основ); и если эта структура прагматична, в недалеком будущем умные роботы (smart robots) должны быть наделены правосубъектностью, получить возможность приобретать имущество (владеть им) и заключать договоры. Доводы против обращения с роботами как с людьми опираются на гносеологические и онтологические аргументы: могут ли машины думать и что значит быть человеком [11].

Заметим, что даже при наличии высокого уровня физической автономии разумный робот не обязательно может (и должен) быть наделен автономией юридической. Можно согласиться с тем, что на современном этапе даже самые «продвинутые» разумные роботы должны быть признаны «имуществом особого рода» [30]. В рамках этой модели, которая, как нам представляется, сама по себе достаточно революционна, можно решить практические вопросы, возникающие в связи с развитием роботов. Она в полной мере отражает реальность, в которой роботы перестали быть только манипуляторами с заранее известной программой и требуется урегулировать множество вопросов, связанных с разумными роботами. Например, О. Этциони предложены три правила, вдохновленные законами А. Азимова, согласно которым система искусственного интеллекта должна: 1) подчиняться всему спектру законов, которые применяются к оператору-человеку. Это предотвратит оправдание незаконных действий на том основании, что они совершены искусственной сущностью; 2) четко раскрывать, что это не человек, чтобы предотвратить в том числе потенциальное мошенничество; 3) исключать хранение или раскрытие конфиденциальной инфор-

мации без явного одобрения ее источника. Это необходимая предосторожность, так как искусственный интеллект способен запрашивать, поглощать (усваивать), анализировать и использовать информацию намного быстрее людей [77].

Однако все эти рассуждения касаются исключительно текущего этапа. Между тем искусственный интеллект становится все более совершенным, а потому в будущем вопрос о субъектности вновь может стать не предметом теоретических рассуждений, а практической проблемой для правовой системы. Сложно сказать, что может послужить импульсом для этого, достаточно ли, чтобы наука получила доказательства, того, что появился субъект, обладающий сознанием человека [25. С. 29], или это может произойти при наличии каких-то иных обстоятельств. Однако понятно, что для права возникнет вопрос, который перед ним ставился в истории не так часто: создать нового субъекта права.

Первый возможный путь - «отождествление» робота с человеком. Теоретически представить такое решение возможно, особенно с учетом стремления ученых создать в максимальной степени человекоподобного робота (андроида). Именно человек, как справедливо отмечается исследователями, является естественной отправной точкой для анализа правосубъектности [79. С. 22]. Впрочем, для этого юридического концепта есть и существенное возражение: интеллект робота не естественный, а искусственный, это не живое существо в биологическом смысле, а потому в лице робота перед нами все-таки нечто иное, а не человек, робот не наделен естественными правами. Его права вторичны, производны от человека. М. Бенасайяг отмечает абсурдность вопроса о том, может ли машина заменить собой человека. По его мнению, смысл явлениям придает живое существо, а не математические расчеты; машина не способна осмыслить свои действия [80. С. 15-16]. Отметим, что многим экспертам робот видится - даже в перспективе - не как «электронный человек», истинный юридический актор. Они более склонны рассматривать его как вымышленную интеллектуальную конструкцию.

Скорее всего, на определенном этапе развития технологий придется пойти по пути создания юридической личности (юридического лица в его классическом понимании). С советского времени мы тяготеем к узкому определению юридического лица как некой организации (ст. 48 Гражданского кодекса Российской Федерации), между тем есть и иная точка зрения, согласно которой юридическое лицо - это лицо, не являющееся человеком («всякое отвлеченное понятие, которому присваиваются права и обязанности» [81. С. 50], «все лица в юридическом смысле, которые не суть человеческие существа» [82. С. 17], «все то, что не будучи человеком способно состоять правовым субъектом» [83. С. 1-2]). Через конструкцию юридического лица в принципе можно наделить субъектно-стью любой феномен (природный объект, живое существо, вымышленного субъекта).

При использовании такого приема может возникнуть ложное чувство определенности, связанное с восприятием конструкции юридического лица в сего-

дняшних представлениях о нем. Оно состоит в том, что за искусственно сконструированным лицом, не существующим в реальности, всегда «проглядывает» человек. Соответственно, он и остается истинным действующим лицом. Ошибочность данного предположения заключается в том, что разумный робот -вовсе не аналог животного или какого-либо известного правовой науке искусственного (вымышленного) лица. В силу своей разумности, автономности, чело-векоподобности он не похож ни на что, известное ранее. Это новый участник социальной жизни, способный - независимо от человека и непредсказуемо для него - действовать во внешнем мире. И при всей стандартности подхода к созданию нового субъекта его реализация невозможна без формирования новых институтов, очертания которых еще не столь отчетливы и будут открываться для юридической действительности по мере развития действительности технологической. Среди проблем, затрудняющих законодательные решения в сфере искусственного интеллекта, в литературе обоснованно отмечаются опережающее развитие технологий (по сравнению с регулированием) и ограниченность механизмов обеспечения соблюдения правовых норм [84].

При этом несложно подобрать термин для обозначения нового субъекта: «электронное лицо», «механическое лицо», «биомеханическое лицо» - строго говоря, большого значения это не имеет. Важно, каким объемом прав это производное от человека лицо будет им наделено. Не потерял актуальности тезис Л. Уэйна об иерархии правовых статусов роботов, когда наиболее продвинутые устройства смогут подняться выше статуса юридического агента и - по аналогии с корпорациями - быть наделены достаточно весомым объемом прав и обязанностей [53. С. 109]. Видимо, разные роботы получат различный объем прав. Так, электронное / механическое лицо определенного (высокого) уровня интеллекта и главное -автономности может быть наделено правами на ма-шинно-генерируемое произведение, что позволит учесть специфику указанных прав, особенности их реализации и доступа к таким произведениям. Важно и то, как будет описана имущественная сфера, возможности этого лица (к примеру, обязательность наделения фондами, поддерживаемыми на установленном в законе уровне, при отсутствии которых может вставать вопрос о прекращении существования такого лица).

Еще большее значение будет иметь, каким образом и насколько за этой новой личностью будет «проглядывать» человек или в перспективе его присутствие будет в максимально возможной степени «стерто»? Пока представляется возможным следующее решение: каждому сложному, наиболее конструктивно-развитому электронному / механическому лицу должен назначаться «опекун», что позволит в том числе разрешать вопросы судебного представительства. Для определенной категории роботов это должны быть квалифицированные лица, несущие ряд обязанностей публичного характера. Такая конструкция поможет исключить коллизии между множественностью субъектов, которые имеют отношение к роботу

и потенциально ответственны за последствия его действия (бездействия). Все указанные изменения повлекут совершенствование не только гражданского законодательства, но и норм различных публичных отраслей законодательства.

Особый вопрос - сам порядок «рождения» новой личности. В силу ее производного характера и специфики появления здесь должно быть жесткое регулирующее начало: новое лицо может считаться возникшим и наделенным правами с момента создания, который следует отсчитывать не ранее даты регистрации в специальном реестре с присвоением индивидуального названия (номера), что позволяло бы установить характеристики лица, идентифицировать физических и / или юридических лиц, которые являются его производителями (создателями), владельцами, «учителями», пользователями (операторами). Без решения этих основополагающих вопросов сложно достичь консенсуса в отношении модели ответственности. Причем если в настоящее время распространенной идеей является введение ответственности за действия робота, то нам представляется не менее проблемным его непонятное (непрогнозируемое) бездействие. В Резолюции о роботах отдано предпочтение двум принципам: объективной ответственности и управления рисками. Однако такое решение не является единственно возможным, экспертами обсуждаются и иные конструкции, в том числе подходы, близкие модели уголовной ответственности корпораций [85].

По мнению ряда исследователей, в отличие от уголовного права, систему гражданского права возможно приспособить для введения ответственности роботов. При этом страны, которым известен институт уголовной ответственности корпораций, справятся с этой проблемой быстрее [86]. Государства, чья доктрина сопротивляется идее распространения уголовной ответственности на корпорации, будут вырабатывать иные механизмы, поскольку основные теоретические возражения убедительны и в отношении искусственного интеллекта. Ведь даже если предположить, что робот способен на суждения, он, по крайней мере на сегодняшний день, не имеет собственной цели и не понимает социальных (не говоря уже о нравственных) последствий своих действий. Роботы неспособны к осознанию противоправности своего поведения. Их можно научить принимать решения на основе оценки собственных возможностей, отказываться от выполнения задачи, если это обусловлено причинением ущерба, однако специалисты так и не ответили на главный вопрос: сможет ли робот воспринять систему принятия решений, основанную на морали, учитывая, что человеческие ценности сложны и их трудно даже конкретизировать [87]. Здесь мы подходим к вопросу о необходимости разделения машинной этики (что пока еще ближе к области научной фантастики) и этики для создателей роботов. В Резолюции о роботах отмечается, что этические законы адресованы разработчикам, производителям и операторам, поскольку их невозможно преобразовать в машинный код.

Упомянутые идеи, несмотря на сложность реализации, все-таки не подрывают веру в реальность раз-

работки нормативных моделей. Однако следует отметить вот какую мысль: пока мы рассуждаем о том, следует ли наделять робота правосубъектностью, пришло ли для этого время и т.д., может так случиться, что такая субъектность возникнет фактически. В сущности, именно эти опасения и высказывают И. Маск, С. Хокинг и другие известные ученые, футурологи, практики, когда указывают на риски, возникающие в связи с бесконтрольным развитием искусственного интеллекта. Такая фактическая субъект-ность может привести к тому, что новые сущности могут начать воспроизводить собственную «жизнь», по своему автономному усмотрению формируя субъект-объектную реальность [26. С. 116-117]. Это гораздо серьезнее, нежели вопрос о субъектности робота. Должны ли и как, если должны, разрабатываться технологии, которые помогут выходу искусственного интеллекта из-под контроля человека? Проблема (во многом не правовая, а этическая) уже давно обсуждается учеными, правда, пока без системного понимания того, к чему вообще могут привести эксперименты с искусственным интеллектом. Весьма интересен в данном контексте взгляд Ю.Н. Харари, оценивающего создание небиологических существ в качестве одного из способов изменения законов природы, вытеснения естественного отбора продуманным дизайном [88. С. 482, 492].

К числу острых этических проблем относится, в частности, разработка автономных роботизированных систем для военных целей. В данной нише развития искусственного интеллекта непопулярны законы А. Азимова, основное начало которых - непричинение роботом вреда человеку. Вместе с тем и новых согласованных подходов пока не предложено, несмотря на активную дискуссию экспертов [89-91]. Некоторые из них даже проявляют оптимизм [89. С. 19], отмечая, что если мы начнем уже сейчас учитывать этические нормы при конструировании такого оружия, то постепенное движение к полной машинной автономии может быть использовано для того, чтобы служить целям закона на поле битвы.

Боевые автономные роботизированные системы (Lethal autonomous robotics (LARs), Lethal autonomous weapons (LAWs)) способны выбирать и поражать цели без вмешательства оператора. Вместе с тем, как отмечает П. Асаро, в международном гуманитарном праве содержится имплицитное требование: решения о применении смертоносной силы должны приниматься человеком, и этот процесс не может делегироваться машинам [92]; машина, независимо от того, насколько она совершенна технически, не сможет заменить присутствие истинно нравственного агента (человека), обладающего совестью и способностью к моральному суждению [89].

В 2013 г. в международной повестке в рамках многостороннего форума впервые был заострен вопрос о контроле над роботизированными вооружениями. Это произошло после того, как специальный докладчик ООН по вопросу о внесудебных казнях, казнях без надлежащего судебного разбирательства или произвольных казнях К. Хейнс подготовил доклад, в котором рекомендовал ввести национальный мораторий на ав-

тономное оружие и учредить группу высокого уровня по данным вопросам. В документе отмечалось, что перспектива появления указанного оружия будет «стирать различие между вооружениями и воинами, поскольку такие системы будут автономно принимать решения о своем использовании». Контролируемая автономия означает присутствие оператора «над контуром управления» (в отличие от «в контуре» или «вне контура»). Такой оператор контролирует и может отменить решения робота. Однако возможность отмены может в реальности быть весьма ограничена, поскольку процесс принятия решения роботами зачастую измеряется наносекундами, и информационная база таких решений может быть недоступна для контролера [93].

27-31 августа 2018 г. в Женеве под эгидой ООН прошли переговоры Группы правительственных экспертов по смертоносным автономным системам (Group of Governmental Experts on Lethal Autonomous Weapons Systems (LAWS)) [94], где были согласованы несколько принципов, на которых мог бы базироваться подход международного сообщества. Одним из ключевых является необходимость сохранить ответственность человека за принятие решений о применении данных систем (ответственность не может быть передана машинам) [95]. Основной проблемой в дискуссии, по мнению России, продолжает оставаться отсутствие реально работающих образцов автономных систем вооружений, трудность проведения разграничения между гражданскими и военными разработками, основанными на одних и тех же технологиях. Здесь необходим сбалансированный, взвешенный учет как гуманитарных озабоченностей, так и законных оборонных интересов государств [96].

Заметим, что социальные роботы, получившие широкое распространение, также порождают немало этических проблем, многие из которых затрагивают сферу права. Так, в Докладе независимого эксперта для Совета по правам человека при ООН (2017 г.) отмечается, что «использование ассистивных технологий и робототехники при уходе за пожилыми людьми может повысить их достоинство или, наоборот, унизить его». По мере того, как технические средства становятся более сложными и автономными, возникает необходимость интеграции правозащитного подхода в процесс их разработки, планирования и внедрения [97]. Несмотря на известную фантастичность проблематики, важные ориентиры могут быть намечены в соответствии с общепризнанными принципами международного права и конституционными основами: каждый имеет право на жизнь; достоинство личности охраняется государством, и ничто не может быть основанием для его умаления и т.д. В целом следует отметить, что значение конституционных принципов здесь многоаспектно:

1) идентификация основных прав и свобод человека, обязательных для соблюдения, даже если при этом сдерживаются инновационные процессы. Вспомним, например, закон о временном запрете на клонирование человека [98];

2) установление пределов в использовании технологий (гарантии безопасности). При наличии угрозы причинения вреда подлежащим защите конституционным ценностям ответственное отношение состоит в

запрете (моратории) на разработку, производство, распространение определенных робототехнических устройств;

3) выявление приоритетных целей и направлений развития: предоставление благоприятного режима технологиям, гарантирующим реализацию основных прав (стимулирование), и наоборот, создание правового заслона для технологий, не соответствующих этим целям.

В заключение от вопроса о том, каким образом следует регулировать отношения, которые связаны с роботами в праве, перейдем к не менее важному аспекту: как изменится само наше представление о праве в связи с развитием умных роботов

Относительно существующего подхода приведем мнение Г.Ф. Шершеневича: «...правовые нормы имеют своей задачей определить поведение человека относительно других людей» [99. С. 36]. Соответственно, когда мы пытаемся урегулировать взаимодействие людей (физических / юридических лиц) по поводу роботов, это, безусловно, вопросы права. Но как относиться (и как квалифицировать) к взаимодействию нескольких разумных роботов между собой без участия человека?

Право создавалось людьми и для людей, что предопределило его структуру, набор специфических средств и способов воздействия, сложное сочетание с другими регуляторами, например моралью. Если учитывать особенности искусственного интеллекта, возникают сомнения в применимости к подобным отношениям такого инструмента социального регулирования, содержащего много допущений. Следует признать, что роботы воспримут систему норм, которая будет заложена в них человеком. То есть они вберут в себя правила, рожденные человечеством исходя из его уникального социального опыта. Вместе с тем разумные роботы смогут осваивать мир и развивать собственное представление о правилах бытия, накапливая опыт, адаптируя изначально заданную систему норм и создавая нечто, отличное от нее. Человечество заметит рождение этого феномена, когда появится достаточно значительная общность сходных по характеристикам разумных роботов, существенным образом влияющих на жизнь людей, способных к самоидентификации себя как единого «сообщества» и выстраивающих взаимоотношения с учетом «своих» правил-алгоритмов. Тогда есть вероятность возникновения проблемы взаимодействия норм «естественных» и «искусственных», и человечеству, привыкшему к вербальной форме выражения права, возможно, придется осваивать иные, в том числе цифровые, формы.

И здесь, конечно, надо внимательно анализировать некоторые новые веяния в юридической доктрине, в частности, тенденцию к использованию математических методов в праве. Сторонники данного подхода исходят из того, что право стремится к полной формализации, и «система права в идеале состоит из типографских высказываний, соединенных правилами логики» [100]. Критики такой позиции не без оснований отмечают, что «важной внутренней причиной, которая препятствует машинизации права, является.

воля человека» [101. С. 37]. Однако этот контраргумент убедителен, когда мы рассуждаем о праве, допущение же возникновения нового регулятора позволяет предположить, что алгоритмический подход не лишен определенных перспектив.

Технологии и их развитие - давно уже не просто цель регулирования, они - самостоятельный актор, «провоцирующий» новые формы и расширяющий возможности регуляции, обогащающий юридический инструментарий. Однако есть и опасение, что мы попадаем в рабство к алгоритмам, которые все чаще воздействуют на нашу жизнь. Некоторые из них опосредуют каналы коммуникации и рекламы в социальных сетях, в поисковых системах или на новостных сайтах. Другие используются для принятия жизненно важных решений в таких областях, как кредитование, занятость, образование и даже правосудие. Общественность лишь относительно недавно осознала, каким образом ее судьба может регулироваться системами, которые она не понимает и не может контролировать. В известной книге Ф. Паскуале описывает это как «общество черного ящика» (black box society) [102. С. 3]. Отсюда все более частые призывы к регулированию алгоритмического процесса принятия решений. Дополнительный импульс им придало вступление в силу 25 мая 2018 г. Общего Регламента ЕС о защите персональных данных (General Data Protection Regulation, GDPR) [103]. В соответствии с положениями статьи 22 данного документа субъект данных должен иметь право не подпадать под действие решения, основанного исключительно на автоматической

обработке, которое порождает юридические последствия (воздействует) в отношении него или нее.2 При оценке предложенных принципов (санация данных (data sanitization) и алгоритмическая прозрачность (algorithmic transparency)) в литературе высказываются аргументы в пользу «аудита алгоритмов» [104].

Противники негативного отношения к алгоритмам отмечают, что призывы к ограничениям, особенно что касается искусственного интеллекта, проистекают из распространенных, но ошибочных представлений о том, что такие технологии создают стимулы для их использования во вред людям и что существующие законы недостаточны для эффективного надзора. Получившие известность истории о потенциальном вреде алгоритмов (например, алгоритмы оценки риска в системе уголовного правосудия, которые демонстрируют расовую предвзятость) таких экспертов не убеждают. Они уверены, что вероятность реализации рисков завышена, рыночные механизмы не позволят системам с неудачными решениями получить широкое распространение, а самое главное - регуляторные запреты будут вести к ограничению инноваций [105]. В научной литературе немало таких мнений-опасений стагнации искусственного интеллекта вследствие «за-регулированности» [106]. Заметим, однако, что его развитие не является самоцелью. При правовом регулировании важно найти тонкую грань между преимуществами и социально-экономическими рисками роботизации. Мы не должны построить общество, в котором машина станет нормой, а человек - исключением.

ПРИМЕЧАНИЯ

1 Отметим, что вопросы робототехники и искусственного интеллекта в различной степени затрагивались и в иных документах, в частности, в поручениях Президента Российской Федерации (к примеру, см.: поручение Пр-1566, п. 3б [37]).

2 Данное положение не применяется, если решение необходимо для заключения или исполнения договора между субъектом данных и контролером данных; допускается законодательством ЕС или государства - члена ЕС, под действие которого подпадает контролер и которое также устанавливает приемлемые меры защиты прав, свобод и законных интересов субъекта данных или основывается на прямом согласии субъекта данных.

ЛИТЕРАТУРА

1. Степин В.С. Цивилизация и культура. СПб. : СПб ГУП, 2011. 408 с.

2. Воротников С. А. Информационные устройства робототехнических систем. М. : Изд-во МГТУ им. Н.Э. Баумана, 2005. 384 с.

3. Постановление Госкомтруда СССР, Секретариата ВЦСПС от 26 июня 1989 г. № 213/11-39 «О внесении дополнений в Единый тарифно-

квалификационный справочник работ и профессий рабочих, выпуск 2, утвержденный постановлением Госкомтруда СССР и Секретариата ВЦСПС от 16 января 1985 г. № 17/2-54, с дополнениями, утвержденными постановлением Госкомтруда СССР и Секретариата ВЦСПС от 23 июня 1986 г. № 234/14-55». URL: www.consultant.ru

4. Концепция совершенствования организации и нормирования труда в условиях перехода к рыночной экономике, утвержденная постанов-

лением Госкомтруда СССР от 14 ноября 1990 г. № 429 «О концепции совершенствования организации и нормирования труда в условиях перехода к рыночной экономике». URL: www.consultant.ru.

5. Макаров И.М., Топчеев Ю.И. Робототехника: история и перспективы. М. : Наука; Изд-во МАИ, 2003. 349 с.

6. Рассел С., Норвиг П. Искусственный интеллект: современный подход. М. : ООО «И.Д. Вильямс», 2018. 1408 с.

7. Хайкин С. Нейронные сети: полный курс. 2-е изд. М. : ООО «И.Д. Вильямс», 2018. 1104 с.

8. Хабриева Т.Я., Черногор Н.Н. Право в условиях цифровой реальности // Журнал российского права. 2018. № 1. С. 85-102.

9. Keisner A., Raffo J., Wunsch-Vincent S. Robotics: Breakthrough Technologies, Innovation, Intellectual Property // Foresight and STI Governance.

2016. Vol. 10, № 2. P. 7-27.

10. Hoadley D., Lucas N. Artificial Intelligence and National Security. Congressional Research Service. April 26, 2018. 142 p.

11. Eidenmueller H. The Rise of Robots and the Law of Humans (March 26, 2017). Oxford Legal Studies Research Paper. 2017. № 27. Available at SSRN. URL: https://ssrn.com/abstract =2941001 or http://dx.doi.org/10.2139/ssrn.2941001 (дата обращения: 15.08.2018).

12. Richards N.M., Smart W.D. How should the Law Think about Robots? // Robot Law. Ed. by R. Calo, A.M. Froomkin, I. Kerr. Cheltenham, UK. Northampton, USA. Edward Elgar Publishing. 2016. 402 p.

13. Calo R. Robotics and the new cyberlaw. 2014. . URL: https://www.researchgate.net/ publication/272547345_Robotics_and_the_New_Cyberlaw (дата обращения: 28.08.2018).

14. Хаванова И. А. Виртуальное и реальное: теория потоков в контексте налогово-правового регулирования // Финансовое право. 2017. № 4. С. 35-40.

15. Ролинсон П., Ариевич Е.А., Ермолина Д.Е. Объекты интеллектуальной собственности, создаваемые с помощью искусственного интеллекта: особенности правового режима в России и за рубежом // Закон. 2018. № 5. С. 63-71.

16. Matthias A. The responsibility gap: Ascribing responsibility for the actions of learning automata II Ethics and information technology. 2GG4. № 6 (3). P. 175-1S3.

17. Stephen Hawking: Transcendence looks at the implications of artificial intelligence - but are we taking AI seriously enough? II Independent. Thursday 1 May 2G14. URL: https:IIwww.independent.co.uk/news/scienceIstephen-hawking-transcendence-looks-at-the-implications-of-artificial-intelligence-but-are-we-taking-9313474.html (дата обращения: G1.G9.2G1S).

1S. Форд М. Роботы наступают: развитие технологий и будущее без работы. М. : Альпина нон-фикшн, 2G16. 43G c.

19. Маск И. Интервью, данное на World Government Summit в Дубае. URL: https:IIwww.youtube.com/watch?v=0Nbs6QRClqQ (дата обращения: G1.G9.2G1S).

2G. Новицкая Ю., Каляев И. Миф об искусственном интеллекте. Беседа с членом-корреспондентом РАН, профессором Игорем Каляевым. URL: http:IIzavtra.ru/blogsImif-ob-iskusstvennom-intellekte.; http:IIwww.ras.ruIdigestIshowdnews.aspx?id=Sd311S16-7c7S-4S92-a2G2-1ccbf29S3bG9 (дата обращения: 15.GS.2G1S).

21. Fox S. Cyborgs, Robots and Society: Implications for the Future of Society from Human Enhancement with In-The-Body Technologies II Technologies. 2G1S. URL: https:IIwww.mdpi.com/journalItechnologies (дата обращения: 15.GS.2G1S).

22. Пушкарев А.В. Философские основания искусственного интеллекта : дис. ... канд. философских наук. Уфа, 2G17. 164 с.

23. Cтепин В.С., Аршинов В.И., Гусейнов А.А., Лекторский В.А., Пружинин Б.И., Федотова В.Г. Анализ структуры и динамики науки в социокультурном контексте. Материалы обсуждения избранных трудов В.С. Стенина II Вопросы философии. 2G17. № 12. С. 5-31.

24. Yampolskiy R.V., Fox J. Artificial General Intelligence and the Human Mental Model. In Singularity Hypotheses: A Scientific and Philosophical Assessment. Edited by Amnon Eden, Johnny Seraker, James H. Moor, and Eric Steinhart. Berlin : Springer. 2G12. URL: https:IIintelligence.org/filesIAGI-HMM.pdf (дата обращения: 15.GS.2G1S).

25. Гаджиев Г.А. Является ли робот-агент лицом? (Поиск правовых форм для регулирования экономики) II Журнал российского права. 2G1S. № 1. С. 15-3G.

26. Габов А.В. Правосубъектность: традиционная категория права в современную эпоху II Вестник Саратовской государственной юридической академии. 2G1S. № 2(121). С. 1G5-121.

27. Морхат П.М. Искусственный интеллект: правовой взгляд: Научная монография. М. : Буки Веди, 2G17. 257 с.

2S. Ястребов О.Я. Правосубъектность электронного лица: теоретико-методологические подходы II Труды Института государства и права РАН. 2G1S. Том 13. № 2. С. 36-55.

29. Архинов В.В., Наумов В.Б. О некоторых вопросах теоретических оснований развития законодательства о робототехнике: аспекты воли и правосубъектности II Закон. 2G17. № 5 . С. 157-17G.

3G. Иванов А.А. Мечтают ли андроиды об электроовцах? (15.G2.2G17). URL: https:IIzakon.ruIblogI2G17IG2I15Imechtayut_li_androidy _ob_elektroovcah (дата обращения: 26.GS.2G1S).

31. Незнамов А.В., Наумов В.Б. Вопросы развития законодательства о робототехнике в России и в мире II Юридические исследования. 2G17. № S. С. 14-25.

32. Классификатор ЕСКД. Класс 44. Оборудование технологическое специфическое», утвержденное постановлением Госстандарта СССР от б сентября 1979 г. № 1GG; «ГОСТ 26329-S4 (СТ СЭВ 4292-S3). Государственный стандарт Союза ССР. Машины вычислительные и системы обработки данных. Допустимые уровни шума технических средств и методы их определения», утв. Постановлением Совмина РСФСР от 3G июня 19S7 г. № 275 «О мерах но дальнейшему совершенствованию работы жилищно-коммунального хозяйства в РСФСР»; «Общесоюзный классификатор. Стандарты и технические условия. ОКСТУ 1 SG G11», утвержденный решением Госстандарта СССР от 13 ноября 19SG г. № 3S. URL: www.consultant.ru

33. «ГОСТ Р 54344-2G11. Национальный стандарт Российской Федерации. Техника ножарная. Мобильные робототехнические комплексы для проведения аварийно-спасательных работ и пожаротушения. Классификация. Общие технические требования. Методы испытаний», утвержденный введенный в действие Приказом Росстандарта от 2S июня 2G11 г. № 15S-CT; «ОК G29-2G14 (КДЕС Ред. 2). Общероссийский классификатор видов экономической деятельности», утвержденный приказом Росстандарта от 31 января 2G14 г. № 14-ст; «ГОСТ Р ИСО 9999-2G14. Национальный стандарт Российской Федерации. Вспомогательные средства для людей с ограничениями жизнедеятельности. Классификация и терминология», утвержденный и введенный в действие приказом Росстандарта от 23 сентября 2G14 г. № 1177-ст; «ГОСТ Р 6G.G.G.2-2G16. Национальный стандарт Российской Федерации. Роботы и робототехнические устройства. Классификация», утвержденный и введенный в действие приказом Росстандарта от 29 ноября 2G16 г. № 1S42-CT.

34. ОК G29-2G14 (КДЕС Ред. 2). Общероссийский классификатор видов экономической деятельности, утвержденный приказом Росстандарта от 31 января 2G14 г. № 14-ст.

35. ISO S373:2G12 «Robots and robotic devices. Classification». URL: https:IIwww.iso.org/standardI55S9G.html (дата обращения: G1.G9.2G1S).

36. Стратегия развития информационного общества в Российской Федерации на 2G17-2G3G годы, утвержденная Указом Президента Российской Федерации от 9 мая 2G17 г. № 2G3. URL: www.consultant.ru

37. Перечень поручений но итогам встречи с участниками форума «Интернет-предпринимательство в России», состоявшейся 1G июня 2G14 года. URL: http:IIkremlin.ru/actsIassignmentsIordersI46152 (дата обращения: G1.G9.2G1S))

3S. Стратегия национальной безопасности Российской Федерации Утверждена Указом Президента Российской Федерации от 31 декабря 2G15 г. № 6S3. URL: www.consultant.ru

39. Программа «Цифровая экономика Российской Федерации», утверждена распоряжением Правительства Российской Федерации от 2S июля 2G17 г. № 1632-р. URL: www.consultant.ru

4G. Указ Президента Российской Федерации от 7 мая 2G1S г. № 2G4 «О национальных целях и стратегических задачах развития Российской Федерации на период до 2G24 года». URL: www.consultant.ru

41. Перечень поручений от 16 марта 2G1S но реализации Послания Президента Российской Федерации Федеральному Собранию Российской Федерации от 1 марта 2G1S г. URL: www.consultant.ru

42. Проект закона «О внесении изменений в Гражданский кодекс Российской Федерации в части совершенствования правового регулирования отношений в области робототехники». URL: IIhttps:IIvk.com/ doc342G_439923163?hash=Ga76aafed49c254276& dl=a16c15f566c9bef73f (дата обращения: 26.GS.2G1S).

43. Архинов В.В., Наумов В.Б. Информационно-правовые аспекты формирования законодательства о робототехнике II Информационное нраво. 2G17. № 1. С. 19-27.

44. Шустиков В. Коллизии «нрава роботов». URL: http:IIsk.ruInewsIbIpressIarchiveI2G17IG5I25Ikollizii-_1c2G_prava-robotov_1d2G_.aspx (дата обращения: 25.GS.2G1S).

45. Закон об умных роботах. URL: http:IIelaw.klri.re.krIeng_mobileIviewer.do?hseq=17399&type=part&key=1S (дата обращения: 25.GS.2G1S).

46. Закон о дорожном движении от 17 июня 2G1G г. https:IIv1.juristaitab.ee IsitesI www.juristaitab.ee/filesIelfinderIru-seadusedI%DG%97%DG%9G%DG%9A%DG%9E%DG%9D%2G%DG%9E%2G%DG%94%DG%9E%DG%AG%DG%9E%DG%96% DG%9D%DG%9E%DG%9C%2G%DG%94%DG%92%DG%9S%DG%96%DG%95%DG%9D%DG%9S%DG%9S% 2GG2.G7. 2G1S.pdf (дата обращения: 25.GS.2G1S).

47. Закон о дорожном движении от 16 июня 2G17. URL: https:IIwww.bgbl.de/xaverIbgblI start. xav?start = %2F%2F

*%5B%4Gattr_id%3D%27bgbl117s164S.pdf%27%5D#_bgbl_%2F%2F*%5B%4Gattr_id%3D%27bgbl117s164S.pdf%27%5D_153356G692

63G (дата обращения: G6.GS.2G1S).

48. Cuthbert O. Saudi Arabia becomes first country to grant citizenship to a robot. URL: http://www.arabnews.com/node/1183166/saudi-arabia (дата обращения: 26.08.2018).

49. Greene T. Opinion: Saudi Arabia was wrong to give citizenship to a robot. URL: https://thenextweb.com/artificial-intelligence/2017/10/31/opinion-saudi-arabia-was-wrong-to-give-citizenship-to-a-robot/ (дата обращения: 26.08.2018).

50. Solum L. Legal Personhood for Artificial Intelligences // North Carolina Law Review, (April 1992). URL: http://scholarship.law.unc.edu/cgi/viewcontent.cgi?article=3447&context=nclr (дата обращения: 26.08.2018).

51. Gray J. The nature and sources ofthe Law. New York. The Columbia University Press. 1909. 349 p.

52. Filipe M. The Legal Status of Artificially Intelligent Robots: Personhood, Taxation and Control (June 1, 2017). Available at SSRN. URL: https://ssrn.com/abstract= 2985466 or http://dx.doi.org/ 10.2139/ssrn.2985466 (дата обращения: 26.08.2018).

53. Wein L. The Responsibility of Intelligent Artifacts: Toward an Automation Jurisprudence // Harvard Journal of Law & Technology. 1992. Vol. 6, Fall Issue. P. 103-154.

54. Asaro P.M. Robots and Responsibility from a Legal Perspective. 2007. URL: http://www.peterasaro. org/writing/ASARO%20Legal%20Perspective.pdf (дата обращения: 21.08.2018).

55. Dvorsky G. When will robots deserve human rights. URL: https://gizmodo.com/when-will-robots-deserve-human-rights-1794599063 (дата обращения: 27.08.2018 г.).

56. Darling K. Extending Legal Rights to Social Robots. 2012. URL: http://robots.law.miami.edu/wp-content/uploads/2012/03/Darling_Extending-Legal-Rights-to-Social-Robots.pdf (дата обращения: 27.08.2018 г.).

57. Callahan M. Should robots have rights? URL: https://phys.org/news/2017-12-robots-rights.html (дата обращения: 21.08.2018).

58. Dvorsky G. When the Turing Test is not enough: Towards a functionalist determination of consciousness and the advent of an authentic machine ethics. URL: http://www.sentientdevelopments.com/2012/03/when-turing-test-is-not-enough-towards.html (дата обращения: 21.08.2018).

59. Siddique A. Robot rights? URL: https://www.citylawsociety.co.uk/single-post/2017/12/18/ROBOT-RIGHTS (дата обращения: 21.08.2018).

60. Renstrom J. Should Robots Have Rights? URL: https://www.thedailybeast.com/should-robots-have-rights (дата обращения: 21.08.2018).

61. Bryson J. Robots Should Be Slaves // http://www.cs.bath.ac.uk/~jjb/ftp/Bryson-Slaves-Book09.html (дата обращения: 21.08.2018).

62. Nevejans N. European civil law rules in robotics: study for the JURI Committee. European Parliament. Directorate-General for Internal Policies, Policy Department C, Citizens' Rights and Constitutional Affairs, Legal Affairs. 2016. URL: http://www.europarl.europa.eu/RegData/etudes/ STUD/ 2016/571379/IPOL_STU(2016)571379_EN.pdf (дата обращения: 21.08.2018).

63. Азимов А. Runaround / I, Robot = Я, робот. СПб. : Антология, 2018. 320 с.

64. European Parliament resolution of 16 February 2017 with recommendations to the Commission on Civil Law Rules on Robotics (2015/2103(INL)). URL: http://www.europarl.europa.eu/sides/getDoc.do?type =TA&language=EN&reference=P8-TA-2017-0051#BKMD-12 (дата обращения: 01.08.2018). Перевод на русский язык доступен: http://robopravo.ru/riezoliutsiia_ies (дата обращения: 21.08.2018).

65. Caytas J. European Perspectives on an Emergent Law of Robotics (April 4, 2017). Columbia Journal of European Law : Preliminary Reference (Apr. 4, 2017). Available at SSRN. URL: https://ssrn.com/abstract=2956958/ (дата обращения: 21.08.2018).

66. Bickerstaff R. Do we need robot law?. URL: https://www.britac.ac.uk/events/do-we-need-robot-law (дата обращения: 15.08.2018).

67. Open letter to the European commission artificial intelligence and robotics. URL: http://www.robotics-openletter.eu/ (дата обращения: 21.08.2018).

68. Artificial intelligence: Commission outlines a European approach to boost investment and set ethical guidelines. URL: http://europa.eu/rapid/press-release_IP-18-3362_en.htm (дата обращения: 21.08.2018).

69. Burri T. The EU is right to refuse legal personality for Artificial Intelligence. URL: https://www.euractiv.com/section/digital/opinion/the-eu-is-right-to-refuse-legal-personality-for-artificial-intelligence/ (дата обращения: 29.08.2018).

70. Declaration of cooperation on Artificial Intelligence. URL: https://ec.europa.eu/ jrc/communities/ sites/ jrccties/ files/ 2018aideclarationatdigitaldaydocxpdf.pdf (дата обращения: 29.08.2018).

71. Распоряжение Евразийского межправительственного совета от 7 марта 2017 г. № 2 «О сферах экономики, обладающих интеграционным потенциалом в Евразийском экономическом союзе, и мерах, направленных на его использование». URL: www.consultant.ru

72. Архипов С.И. Субъект права: теоретическое исследование. СПб. : Изд-во Р. Асланова «Юридический центр Пресс». 2004. 469 с.

73. Darling K., Nandy P., Breazeal C. Empathic Concern and the Effect of Stories in Human-Robot Interaction (February 1, 2015). Proceedings of the IEEE International Workshop on Robot and Human Communication (ROMAN), 2015. Available at SSRN. URL:: https://ssrn.com/abstract=2639689 (дата обращения: 21.08.2018).

74. Hartzog W. Unfair and Deceptive Robots // 74 Md. L. Rev. 785 (2015). P. 785-829.

75. Bayern Sh. The Implications of Modern Business-Entity Law for the Regulation of Autonomous Systems // 19 Stanford Technology Law Review 93 (2015). P. 93-112.

76. Straub J. Does regulating artificial intelligence save humanity or just stifle innovation? (October 23, 2017). URL: https://theconversation.com/does-regulating-artificial-intelligence-save-humanity-or-just-stifle-innovation-85718 (дата обращения: 31.08.2018).

77. Etzioni O. How to Regulate Artificial Intelligence. URL: https://www.nytimes.com/2017/09/01/opinion/artificial-intelligence-regulations-rules.html (дата обращения: 31.08.2018).

78. Ястребов О.А. Искусственный интеллект в правовом пространстве: концептуальные и теоретические подходы // Правосубъектность: общетеоретический, отраслевой и международно-правовой анализ : сб. материалов к XII Ежегодным научным чтениям памяти проф. С.Н. Братуся. М. : Статут, 2017. С. 271-283.

79. Zimmerman E. Machine Minds: Frontiers in Legal Personhood (February 12, 2015). Available at SSRN. URL: https://ssrn.com/abstract=2563965 or http://dx.doi.org/10.2139/ssrn.2563965 (дата обращения: 31.08.2018).

80. Бенасайяг М. Мышление за пределами мозга // Искусственный интеллект: перспективы и угрозы. Курьер ЮНЕСКО. Июль-сентябрь 2018 г. URL: http://unesdoc.unesco.org/ images /0026/ 002652/265211r.pdf (дата обращения: 31.08.2018).

81. Пахман С. О задачах предстоящей реформы акционерного законодательства. Речь, написанная для произнесения в торжественном собрании Императорского Харьковского университета, 30 августа 1861 года. Харьков : В Университетской Типографии, 1861. 159 с.

82. Кавелин К. Права и обязанности по имуществам и обязательствам. В применении к русскому законодательству. Опыт систематического обозрения. С.-Петербург : Типография М.М. Стасюлевича, 1879. 143 с.

83. Азаревич Д. А. Юридические лица // Временник Демидовского юридического лицея. Книга двадцать восьмая. Ярославль : В типографиях: Губернского Правления, Земской Управы и г. Фальке в Ярославле, 1882. С. 1-84.

84. Guihot M., Matthew A. F., Suzor N. P. Nudging robots: Innovative solutions to regulate artificial intelligence. Vanderbilt Journal of Entertainment & Technology Law. 2017. URL: http://www.jetlaw.org/wp-content/uploads/2017/12/2_Guihot-Article_Final-Review-Complete_Approved.pdf (дата обращения: 01.09.2018).

85. Hallevy G. The Criminal Liability of Artificial Intelligence Entities - from Science Fiction to Legal Social Control // Akron Intellectual Property Journal: 2010. Vol. 4, is. 2. Article 1. P. 171-201.

86. Gless S., Silverman E., Weigend T. If Robots Cause Harm, Who Is to Blame? Self-Driving Cars and Criminal Liability (January 29, 2016). Available at SSRN: https://ssrn.com/abstract=2724592 or http://dx.doi.org/10.2139/ssrn.2724592 (дата обращения: 01.09.2018).

87. Muehlhauser L., Salamon A. Intelligence explosion: Evidence and import. In Singularity hypotheses: A scientific and philosophical assessment, ed. A. Eden, J. Seraker, J. H. Moor, and E. Steinhart. The Frontiers Collection. Berlin : Springer. 2012. URL: https://intelligence.org/files/IE-EI.pdf (дата обращения: 01.09.2018).

88. Харари Ю.Н. Sapiens. Краткая история человечества / Юваль Ной Харари; пер. с англ. Л. Сумм. М. : Синдбад, 2017. 570 с.

89. Anderson K., Waxman M. Law and Ethics for Robot Soldiers (April 5, 2012). Policy Review, 2012; Columbia Public Law Research Paper No.

12-313; American University, WCL Research Paper № 2012-32. Available at SSRN. URL: https://ssrn.com/abstract=2046375 (дата обращения: 01.09.2018).

90. Anderson K., Waxman M. Law and Ethics for Autonomous Weapon Systems: Why a Ban Won't Work and How the Laws of War Can (April 10, 2013). Stanford University, The Hoover Institution (Jean Perkins Task Force on National Security and Law Essay Series), 2013; American University, WCL Research Paper 2013-11; Columbia Public Law Research Paper 13-351. Available at SSRN. URL: https://ssrn.com/abstract=2250126 or http://dx.doi.org/10.2139/ssrn.2250126 (дата обращения: 01.09.2018).

91. Anderson K., Waxman M. Debating Autonomous Weapon Systems, Their Ethics, and Their Regulation Under International Law (February 28, 2017). Roger Brownsword, Eloise Scotford, Karen Yeung, eds., The Oxford Handbook of Law, Regulation, and Technology (Oxford University Press, July 2017), Chapter 45; Columbia Public Law Research Paper No. 14-553; American University, WCL Research Paper No. 2017-21. Available at SSRN. URL: https://ssrn.com/abstract=2978359 (дата обращения: 01.09.2018).

92. Asaro P. On Banning Autonomous Weapon Systems: Human Rights, Automation, and the Dehumanisation of Lethal Decision-making // International Review of the Red Cross. Volume 94. Number 886. Summer 2012. P. 687-709.

93. Promotion and protection of all human rights, civil, political, economic, social and cultural rights, including the right to development. Report of the Special Rapporteur on extrajudicial, summary or arbitrary executions, Christof Heyns (9 April 2013). URL: https://www.ohchr.org/Documents/HRBodies/HRCouncil/RegularSession/Session23/A-HRC-23-47_en.pdf (дата обращения: 30.08.2018).

94. https://www.unog.ch/80256EE600585943/(httpPages)/F027DAA4966EB9C7C12580CD0039D7B5 (дата обращения: 05.09.2018).

95. Emerging Commonalities, Conclusions and Recommendations. URL: https://www.unog.ch/80256EDD006B8954 /(httpAssets)/EB4EC9367D3B63B1C12582FD0057A9A4/$file/GGE+LAWS+August_EC,+C+and+Rs_final.pdf (дата обращения: 05.09.2018).

96. Рассмотрение различных аспектов новых технологий в сфере создания смертоносных автономных систем вооружений в контексте целей и задач Конвенции (Представлено Российской Федерацией). Женева, 13-17 ноября 2017 г. URL: https://www.unog.ch /80256EDD006B8954/ (httpAssets)/ E9178CB855E3D8EDC12581D70065EF31 /$file/ 2017_GGEonLAWS_WP_Russian.pdf (дата обращения: 01.08.2018).

97. Доклад Независимого эксперта по вопросу об осуществлении пожилыми людьми всех прав человека для Совета по правам человека при ООН // A/HRC/36/48. Совет по правам человека. Тридцать шестая сессия. 11-29 сентября 2017 г. URL: http://digitallibrary.un.org/record/1304243/files/A_HRC_36_48-RU.pdf (дата обращения: 01.09.2018).

98. Федеральный закон от 20 мая 2002 г. № 54-ФЗ (ред. от 29.03.2010) «О временном запрете на клонирование человека». URL: www.consultant.ru

99. Шершеневич Г.Ф. Общая теория права. Лекции профессора Московского университета Г.Ф. Шершеневича, читанные в Московском Коммерческом институте в 1909/10 академ. году. Редактированное автором издание Студ. комиссии общ-ва взаимопом. С.К.И. Б\г, 1910. 320 с.

100. Переверзев С., Подолин А. Социальная математика = право. Новый язык юридической науки. URL: http://speranskylabs.ru/ (дата обращения: 01.09.2018).

101. Иванов А. А. О глубине машинизации права // Закон. 2018. № 5. С. 35-41.

102. Pasquale F. The Black Box Society: The Secret Algorithms That Control Money and Information // Harvard University Press. 2015. 311 p.

103. Регламент Европейского парламента и Совета Европейского Союза № 2016/679 от 27 апреля 2016 г. «О защите физических лиц при обработке персональных данных и о свободном обращении таких данных, а также об отмене Директивы 95/46/ЕС».

104. Goodman B. A Step Towards Accountable Algorithms? Algorithmic Discrimination and the European Union General Data Protection // 29th Conference on Neural Information Processing Systems. Barcelona, Spain. 2016. URL: http://www.mlandthelaw.org/papers/goodman1.pdf (дата обращения: 01.09.2018).

105. Joshua N., Castro D. How Policymakers Can Foster Algorithmic Accountability. 2018. May 21. URL: https://itif.org/ publica-tions/2018/05/21/how-policymakers-can-foster-algorithmic-accountability (дата обращения: 01.09.2018).

106. Guidelines on Regulating Robotics. 2014. URL: http://www.robolaw.eu/ RoboLaw_files/ documents/robolaw_d6.2_ guidelinesregulatingrobot-ics_20140922.pdf (дата обращения: 15.08.2018).

Статья представлена научной редакцией «Право» 31 октября 2018 г.

EVOLUTION OF ROBOTS AND THE 21ST-CENTURY LAW

Vestnik Tomskogo gosudarstvennogo universiteta - Tomsk State University Journal, 2018, 435, 215-233. DOI: 10.17223/15617793/435/28

Andrey V. Gabov, Institute of Legislation and Comparative Law under the Government of the Russian Federation (Moscow, Russian Federation). E-mail: gabov@izak.ru

Inna A. Khavanova, Institute of Legislation and Comparative Law under the Government of the Russian Federation (Moscow, Russian Federation). E-mail: ahavanov@mail.ru.

Keywords: robot, robotics, artificial intelligence, legal personality, digital economy.

The aim of this article is evaluation of the legal regime of robotics in Russia and abroad, and determination of the directions of the development of legal regulation of this sphere of robotics on its basis. This aim determines the objectives of the research. A dialectical method of science allowed the authors to conduct analysis and evaluation of the legal regime of robotics. Using a historical method, the authors identified tendencies of the evolution of robotics and particularities of the legal regime of robots in Russia and abroad. A comparative legal method allowed the authors to give evaluation of already existing regulatory initiatives, to determine social, legal, ethical problems and risks, to suggest possible models of regulating the sphere of robotics.

The authors come to following conclusions. Nowadays, it is too early to raise the issue of giving robots a legal status. At present, even the most "advanced" intellectual robots should be admitted as "sui generis property". In the frame of this model, which seems revolutionary enough itself to the authors of this article, it is possible to decide practical problems arising with evolution of robots. Artificial intelligence becomes more and more advanced, that is why in the nearest future the question on subjectivity may be not only a theoretical matter, but a practical problem for the legal system. It is apparent that there is a question for law to create a new subject of law. Meanwhile, it is highly likely that at one point of technological evolution it will be necessary to head down the way of creation of a legal person (legal entity in its classical understanding). Throughout the construction of legal entity it is possible to endue any phenomenon (natural object, creature, fictional subject) with subjectivity. Every functional well developed electronic/ mechanic individual should have a "tutor", which will allow to deal with problems of legal representation. For certain categories of robots there should be qualified persons responsible for a range of duties of public nature. The authors come to a conclusion that it is necessary to find a delicate balance between advantages and socio-economic risks of robotics in the context of legal regulation. We should not build a society where a robot is a norm and man is an exception.

REFERENCES

1. Stepin, V.S. (2011) Tsivilizatsiya i kul'tura [Civilization and culture]. St. Petersburg: SPb GUP.

2. Vorotnikov, S.A. (2005) Informatsionnyye ustroystva robototekhnicheskikh sistem [Information structure of robotic systems]. Moscow: Moscow

State Technical University.

3. USSR. (1986) Resolution of the USSR State Labor Committee, Secretariat of the All-Union Central Council of Trade Unions No. 213/11-39 of June

26, 1989 "On Amendments to the Unified Tariff and Qualification Reference Book of Work and Professions of Workers, Issue 2, approved by a resolution of the State Committee on Labor of the USSR and the Secretariat of the All-Union Central Council of Trade Unions No. 17/2-54 of 16 January 1985, with supplements approved by the decision of the USSR State Labor Committee and the Secretariat of the All-Union Central Council of Trade Unions No. 234/14-55 of 23 June 1986". [Online] Available from: www.consultant.ru. (In Russian).

4. US SR. (1990) The concept of improving the organization and rationing of labor in the transition to a market economy, approved by the US SR State

Labor Committee Resolution No. 429 of November 14, 1990, "On the concept of improving the organization and rationing of labor in the transition to a market economy". [Online] Available from: www.consultant.ru. (In Russian).

5. Makarov, I.M. & Topcheyev, Yu.I. (2003) Robototekhnika: istoriya iperspektivy [Robotics: history and prospects]. Moscow: Nauka; Izd-vo MAI.

6. Russel, S. & Norvig, P. (2018) Iskusstvennyy intellekt: sovremennyy podkhod [Artificial Intelligence: A Modern Approach]. Translated from Eng-

lish. Moscow: OOO "I.D. Vil'yams".

7. Khaykin, S. (2018) Neyronnyye seti: polnyy kurs [Neural networks: a full course]. 2nd ed. Moscow: OOO "I.D. Vil'yams".

8. Khabriyeva, T.Ya. & Chernogor, N.N. (2018) The Law in the Conditions of Digital Reality. Zhurnal rossiyskogo prava — Journal of Russian Law.

1. pp. 85-102. (In Russian).

9. Keisner, A., Raffo, J. & Wunsch-Vincent, S. (2016) Robotics: Breakthrough Technologies, Innovation, Intellectual Property. Foresight and STI

Governance. 10(2). pp. 7-27. DOI: 10.17323/1995-459X.2016.2.7.27

10. Hoadley, D. & Lucas, N. (2018) Artificial Intelligence and National Security. Congressional Research Service. April 26.

11. Eidenmueller, H. (2017) The Rise of Robots and the Law of Humans (March 26, 2017). Oxford Legal Studies Research Paper. 27. Available at SSRN. [Online] Available from: https://ssrn.com/abstract=2941001. (Accessed: 15.08.2018). DOI: 10.2139/ssrn.2941001

12. Richards, N.M. & Smart, W.D. (2016) How should the Law Think about Robots? Calo, R., Froomkin, A.M. & Kerr, I. (eds) Robot Law. Cheltenham, UK; Northampton, USA: Edward Elgar Publishing.

13. Calo, R. (2014) Robotics and the new cyberlaw. [Online] Available from: https://www.researchgate.net/publication/ 272547345_Robotics_and_the_New_Cyberlaw. (Accessed: 28.08.2018).

14. Khavanova, I.A. (2017) Virtual and Real: Flow Theory in the Context of Tax Regulation. Finansovoye pravo — Financial Law. 4. pp. 35-40. (In Russian).

15. Rolinson, P., Ariyevich, E.A. & Ermolina, D.E. (2018) Ob"yekty intellektual'noy sobstvennosti, sozdavayemyye s pomoshch'yu iskusstvennogo intellekta: osobennosti pravovogo rezhima v Rossii i za rubezhom [Intellectual property created using artificial intelligence: features of the legal regime in Russia and abroad]. Zakon. 5. pp. 63-71.

16. Matthias, A. (2004) The responsibility gap: Ascribing responsibility for the actions of learning automata. Ethics and Information Technology. 6 (3). pp. 175-183.

17. The Independent. (2014) Stephen Hawking: Transcendence looks at the implications of artificial intelligence - but are we taking AI seriously enough? The Independent. Thursday 1 May. [Online] Available from: https://www.independent.co.uk/news/science/stephen-hawking-transcendence-looks-at-the-implications-of-artificial-intelligence-but-are-we-taking-9313474.html. (Accessed: 01.09.2018).

18. Ford, M. (2016) Roboty nastupayut: razvitiye tekhnologiy i budushcheye bez raboty [Robots are coming: technology development and the future without work]. Translated from English. Moscow: Al'pina non-fikshn.

19. Mask, I. (2017) Interv'yu, dannoye na World Government Summit v Dubaye [Interview given at the World Government Summit in Dubai]. [Online] Available from: https://www.youtube.com/watch?v=0Nbs6QRClqQ. (Accessed: 01.09.2018).

20. Novitskaya, Yu. & Kalyayev, I. (2015) Mif ob iskusstvennom intellekte. Beseda s chlenom-korrespondentom RAN, professorom Igorem Kal-yayevym [Myth about artificial intelligence. Interview with Corresponding Member of the Russian Academy of Sciences, Professor Igor Kal-yaev]. [Online] Available from: http://zavtra.ru/blogs/mif-ob-iskusstvennom-intellekte; http://www.ras.ru/digest/showdnews.aspx?id=8d311816-7c78-4892-a202-1ccbf2983b09. (Accessed: 15.08.2018).

21. Pushkarev, A.V. (2017) Filosofskiye osnovaniya iskusstvennogo intellekta [Philosophical foundations of artificial intelligence]. Philosophy Cand. Dis. Ufa.

22. Fox, S. (2018) Cyborgs, Robots and Society: Implications for the Future of Society from Human Enhancement with In-The-Body Technologies. Technologies. [Online] Available from: https://www.mdpi.com/journal/technologies. (Accessed: 15.08.2018).

23. Stepin, V.S. et. al (2017) The Analyses of Structure and Dynamics of Science in Social-Cultural Context. Materials of the Discussion of V.S. Stepin's Selected Works. Voprosy filosofii. 12. pp. 5-31. (In Russian).

24. Yampolskiy, R.V. & Fox, J. (2012) Artificial General Intelligence and the Human Mental Model. In: Eden, A., Seraker, J, Moor, J.H. & Steinhart, E. (eds) Singularity Hypotheses: A Scientific and Philosophical Assessment. Berlin: Springer. [Online] Available from: https://intelligence.org/files/AGI-HMM.pdf. (Accessed: 15.08.2018).

25. Gadzhiyev, G.A. (2018) Whether the Robot-Agent is a Person? (Search of Legal Forms for the Regulation of Digital Economy). Zhurnal rossiyskogo prava — Journal ofRussian Law. 1. pp. 15-30. (In Russian).

26. Gabov, A.V. (2018) Legal personality: Traditional category of law in the modern era. Vestnik Saratovskoy gosudarstvennoy yuridicheskoy akade-mii. 2(121). pp. 105-121. (In Russian).

27. Morkhat, P.M. (2017) Iskusstvennyy intellekt: pravovoy vzglyad [Artificial Intelligence: A Legal View]. Moscow: Buki Vedi.

28. Yastrebov, O.Ya. (2018) Legal Capacity of Electronic Person: Theoretical and Methodological Approaches. Trudy Instituta gosudarstva i prava RAN—Proceedings of the Institute of State and Law of RAS. 13(2). pp. 36-55. (In Russian).

29. Arkhipov, V.V. & Naumov, V.B. (2017) O nekotorykh voprosakh teoreticheskikh osnovaniy razvitiya zakonodatel'stva o robototekhnike: aspekty voli i pravosub"yektnosti [On some issues of the theoretical basis for the development of legislation on robotics: aspects of the will and legal personality]. Zakon. 5. pp. 157-170.

30. Ivanov, A.A. (2017) Mechtayut li androidy ob elektroovtsakh? [Do androids dream of electric sheep?]. 15 February. [Online] Available from: https://zakon.ru/blog/2017/02/15/mechtayut_li_androidy _ob_elektroovcah. (Accessed: 26.08.2018).

31. Neznamov, A.V. & Naumov, V.B. (2017) On the regulation of robotics in Russia and in the world. Yuridicheskiye issledovaniya — Legal Studies. 8. pp. 14-25. (In Russian). DOI: 10.25136/2409-7136.2017.8.23292

32. USSR. (1979) Unified System for Design Documentation Classifier. Class 44. " Specific technological equipment", approved by the Decree of the

USSR GosStandartNo. 100 of September 6, 1979. [Online] Available from: www.consultant.ru. (In Russian).

33. "GOST R 54344-2011. National standard of the Russian Federation. Fire equipment. Mobile robotic systems for rescue and fire fighting. Classification. General technical requirements. Test Methods, approved by the Order of RosStandart No. 158-st of June 28, 2011. (In Russian).

34. OK 029-2014 (NACE Ed. 2). All-Russian classifier of types of economic activity, approved by the Order of RosStandart No. 14-st of January 31, 2014. (In Russian).

35. ISO 8373:2012 "Robots and robotic devices. Classification". [Online] Available from: https://www.iso.org/standard/55890.html. (Accessed: 01.09.2018).

36.

37.

38.

39.

40.

41.

42.

43.

44.

45.

46.

47.

48.

49.

50.

51.

52.

53.

54.

55.

56.

57.

58.

59.

60.

61.

62.

63.

64.

65.

Russian Federation. (2017) Strategiya razvitiya informatsionnogo obshchestva v Rossiyskoy Federatsii na 2017—2030 gody, utverzhdennaya Ukazom Prezidenta Rossiyskoy Federatsii ot 9 maya 2017 g. № 203 [Strategy for the development of the information society in the Russian Federation for 2017-2030, approved by Decree of the President of the Russian Federation No. 203 of May 9, 2017]. [Online] Available from: www.consultant.ru. (In Russian).

Kremlin.ru. (2014) Perechen' porucheniy po itogam vstrechi s uchastnikami foruma "Internet-predprinimatel 'stvo v Rossii", sostoyavsheysya 10 iyunya 2014 goda [The list of instructions following a meeting with the participants of the forum "Internet Entrepreneurship in Russia", held on June 10, 2014]. [Online] Available from: http://kremlin.ru/acts/assignments/orders/46152. (Accessed: 01.09.2018).

Russian Federation. (2015) Strategiya natsional'noy bezopasnosti Rossiyskoy Federatsii Utverzhdena Ukazom Prezidenta Rossiyskoy Federatsii ot 31 dekabrya 2015 g. № 683 [National Security Strategy of the Russian Federation Approved by Decree of the President of the Russian Federation No. 683 of December 31, 2015]. [Online] Available from: www.consultant.ru. (In Russian).

Russian Federation. (2017) Programma "Tsifrovaya ekonomika Rossiyskoy Federatsii", utverzhdena rasporyazheniyem Pravitel'stva Rossiyskoy Federatsii ot 28 iyulya 2017 g. № 1632-r [The program "Digital Economy of the Russian Federation", approved by the Decree of the Government of the Russian Federation da No. 1632-r of July 28, 2017]. [Online] Available from: www.consultant.ru.

Russian Federation. (2017) Ukaz Prezidenta Rossiyskoy Federatsii ot 7 maya 2018 g. № 204 "O natsional'nykh tselyakh i strategicheskikh zadachakh razvitiya Rossiyskoy Federatsii na period do 2024 goda " [Decree of the President of the Russian Federation No. 204 of May 7, 2018, "On the national goals and strategic objectives of the development of the Russian Federation for the period up to 2024"]. [Online] Available from: www.consultant.ru.

Russian Federation. (2017) Perechen' porucheniy ot 16 marta 2018 po realizatsii Poslaniya Prezidenta Rossiyskoy Federatsii Federal'nomu Sobraniyu Rossiyskoy Federatsii ot 1 marta 2018 g. [The list of instructions of March 16, 2018, on the implementation of the Address of the President of the Russian Federation to the Federal Assembly of the Russian Federation of March 1, 2018]. [Online] Available from: www.consultant.ru.

VkK.com. (n.d.) Proyekt zakona "O vnesenii izmeneniy v Grazhdanskiy kodeks Rossiyskoy Federatsii v chasti sovershenstvovaniya pravovogo regulirovaniya otnosheniy v oblasti robototekhniki" [The draft law "On Amendments to the Civil Code of the Russian Federation in terms of improving the legal regulation of relations in the field of robotics"]. [Online] Available from: https://vk.com/doc3420_439923163? hash=0a76aafed49c254276.

Arkhipov, V.V. & Naumov, V.B. (2017) Informational and Legal Aspects of Drawing up Robotics Legislation. Informatsionnoye pravo — Information Law. 1. pp. 19-27. (In Russian).

Shustikov, V. (2017) Kollizii "prava robotov" [Collisions of the "rights of robots"]. [Online] Available from: http://sk.ru/news/b/press/archive/2017/05/25/kollizii-_1c20_prava-robotov_1d20_aspx. (Accessed: 25.08.2018).

Elaw.klri.re.kr. (n.d.) Zakon ob umnykh robotakh [The law on smart robots]. [Online] Available from: http://elaw.klri.re.kr/eng_mobile/ view-er.do?hseq=17399.

V1.juristaitab.ee. (2010) Road Traffic Act of 17 June 2010. [Online] Available from: http://www.juristaitab.ee/files/elfinder/ru-sea-

dused/%D0%97%D0%90%D0%9A%D0%9E%D0%9D%20%D0%9E%20%D0%94%D0%9ED0%A0%D0%9E%D0%96%D0%9D%D0%9E% D0%9C%20%D0%94%D0%92%D0%98%D0%96%D0%95%D0%9D%D0%98%D0%98%2002.07.2018.pdf. (Accessed: 25.08.2018). (In Russian).

Bgbl.de. (2017) Road Traffic Act of 16 June 2017. [Online] Available from: https://www.bgbl.de/xaver/bgbl/start.xav?

start=%2F%2F*%5B%40attr_id%3D%27bgbl117s1648.pdf%27%5D#_bgbl_%2F%2F*%5B%40attr_id%3D%27bgbl117s1648.pdf%27%5D

_1533560692630. (Accessed: 06.08.2018).

Cuthbert, O. (2017) Saudi Arabia becomes first country to grant citizenship to a robot. [Online] Available from: http://www.arabnews.com/node/1183166/saudi-arabia. (Accessed: 26.08.2018).

Greene, T. (2017) Opinion: Saudi Arabia was wrong to give citizenship to a robot. [Online] Available from: https://thenextweb.com/artificial-intelligence/2017/10/31/opinion-saudi-arabia-was-wrong-to-give-citizenship-to-a-robot/. (Accessed: 26.08.2018).

Solum, L. (1992) Legal Personhood for Artificial Intelligences. North Carolina Law Review. April. [Online] Available from: http://scholarship.law.unc.edu/cgi/viewcontent.cgi?article=3447&context=nclr. (Accessed: 26.08.2018). Gray, J. (1909) The nature and sources of the Law. New York. The Columbia University Press.

Filipe, M. (2017) The Legal Status of Artificially Intelligent Robots: Personhood, Taxation and Control. June 1, 2017. Available at SSRN. [Online] Available from: https://ssrn.com/abstract=2985466. (Accessed: 26.08.2018). DOI: 10.2139/ssrn.2985466

Wein, L. (1992) The Responsibility of Intelligent Artifacts: Toward an Automation Jurisprudence. Harvard Journal of Law & Technology. 6. Fall Issue. pp. 103-154.

Asaro, P.M. (2007) Robots and Responsibility from a Legal Perspective. [Online] Available from: http://www.peterasaro.org/writing/ASARO% 20Legal%20Perspective.pdf. (Accessed: 21.08.2018).

Dvorsky, G. (2017) When will robots deserve human rights. [Online] Available from: https://gizmodo.com/when-will-robots-deserve-human-rights-1794599063. (Accessed: 27.08.2018).

Darling, K. (2012) Extending Legal Rights to Social Robots. [Online] Available from: http://robots.law.miami.edu/wp-content/uploads/2012/03/Darling_Extending-Legal-Rights-to-Social-Robots.pdf. (Accessed: 27.08.2018).

Callahan, M. (2017) Should robots have rights? [Online] Available from: https://phys.org/news/2017-12-robots-rights.html. (Accessed: 21.08.2018).

Dvorsky, G. (2012) When the Turing Test is not enough: Towards a functionalist determination of consciousness and the advent of an authentic machine ethics. [Online] Available from: http://www.sentientdevelopments.com/2012/03/when-turing-test-is-not-enough-towards.html. (Accessed: 21.08.2018).

Siddique, A. (2017) Robot rights? [Online] Available from: https://www.citylawsociety.co.uk/single-post/2017/12/18/ROBOT-RIGHTS. (Accessed: 21.08.2018).

Renstrom, J. (2017) Should Robots Have Rights? [Online] Available from: https://www.thedailybeast.com/should-robots-have-rights. (Accessed: 21.08.2018).

Bryson, J. (2010) Robots Should Be Slaves. [Online] Available from: http://www.cs.bath.ac.uk/~jjb/ftp/Bryson-Slaves-Book09.html. (Accessed: 21.08.2018).

Nevejans, N. (2016) European civil law rules in robotics: study for the JURI Committee. European Parliament. Directorate-General for Internal Policies, Policy Department C, Citizens' Rights and Constitutional Affairs, Legal Affairs. [Online] Available from: http://www.europarl. europa.eu/RegData/etudes/ STUD/2016/571379/IPOL_STU(2016)571379_EN.pdf. (Accessed: 21.08.2018). Azimov, A. (2018) Runaround /1, Robot. St. Petersburg: Antologiya.

European Parliament. (2017) European Parliament resolution of 16 February 2017 with recommendations to the Commission on Civil Law Rules on Robotics (2015/2103(INL)). [Online] Available from: http://www.europarl.europa.eu/sides/getDoc.do?type=TA&language=EN&reference= P8-TA-2017-0051#BKMD-12. (Accessed: 01.08.2018).

Caytas, J. (2017) European Perspectives on an Emergent Law of Robotics (April 4, 2017). Columbia Journal of European Law: Preliminary Reference. Apr. 4. Available at SSRN. [Online] Available from: https://ssrn.com/abstract=2956958/. (Accessed: 21.08.2018).

66. Bickerstaff, R. (2017) Do we need robot law? [Online] Available from: https://www.britac.ac.uk/events/do-we-need-robot-law. (Accessed: 15.08.2018).

67. Robotics-openletter.eu. (n.d.) Open letter to the European Commission. Artificial Intelligence and Robotics. [Online] Available from: http://www.robotics-openletter.eu/. (Accessed: 21.08.2018).

68. Europa.eu. (2018) Artificial intelligence: Commission outlines a European approach to boost investment and set ethical guidelines. [Online] Available from: http://europa.eu/rapid/press-release_IP-18-3362_en.htm. (Accessed: 21.08.2018).

69. Burri, T. (2018) The EU is right to refuse legal personality for Artificial Intelligence. [Online] Available from: https://www.euractiv.com/section/digital/opinion/the-eu-is-right-to-refuse-legal-personality-for-artificial-intelligence/. (Accessed: 29.08.2018).

70. Ec.europa.eu. (2018) Declaration of cooperation on Artificial Intelligence. [Online] Available from: https://ec.europa.eu/jrc/communities/sites/ jrccties/files/2018aideclarationatdigitaldaydocxpdf.pdf. (Accessed: 29.08.2018).

71. Consultant.ru. (2017) Rasporyazheniye Evraziyskogo mezhpravitel 'stvennogo soveta ot 7 marta 2017 g. № 2 "O sferakh ekonomiki, obladayush-chikh integratsionnym potentsialom v Evraziyskom ekonomicheskom soyuze, i merakh, napravlennykh na ego ispol 'zovaniye" [Decree of the Eurasian Intergovernmental Council no. 2 of 7 March 2017 "On the spheres of economy possessing integration potential in the Eurasian Economic Union and measures to use it"]. [Online] Available from: www.consultant.ru.

72. Arkhipov, S.I. (2004) Sub"yekt prava: teoreticheskoye issledovaniye [Subject of law: A theoretical study]. St. Petersburg: Izd-vo R. Aslanova "Yuridicheskiy tsentr Press".

73. Darling, K., Nandy, P. & Breazeal, C. (2015) Empathic Concern and the Effect of Stories in Human-Robot Interaction. Proceedings of the IEEE International Workshop on Robot and Human Communication (ROMAN). February 1, 2015. Available at SSRN. [Online] Available from:: https://ssrn.com/abstract=2639689. (Accessed: 21.08.2018).

74. Hartzog, W. (2015) Unfair and Deceptive Robots. 74 Md. L. Rev. 785 pp. 785-829.

75. Bayern, Sh. (2015) The Implications of Modern Business-Entity Law for the Regulation of Autonomous Systems. 19 Stanford Technology Law Review. 93 pp. 93-112.

76. Straub, J. (2017) Does regulating artificial intelligence save humanity or just stifle innovation? October 23. [Online] Available from: https://theconversation.com/does-regulating-artificial-intelligence-save-humanity-or-just-stifle-innovation-85718. (Accessed: 31.08.2018).

77. Etzioni, O. (2017) How to Regulate Artificial Intelligence. [Online] Available from: https://www.nytimes.com/2017/09/01/opinion/artificial-intelligence-regulations-rules.html. (Accessed: 31.08.2018).

78. Yastrebov, O.A. (2017) [Artificial Intelligence in the Legal Space: Conceptual and Theoretical Approaches]. Pravosub"yektnost': obshcheteoret-icheskiy, otraslevoy i mezhdunarodno-pravovoy analiz [Legal personality: general theoretical, sectoral and international legal analysis]. Materials for XII Annual Readings in Memory of Professor S.N. Bratus. Moscow: Statut. pp. 271-283. (In Russian).

79. Zimmerman, E. (2015) Machine Minds: Frontiers in Legal Personhood. Available at SSRN. [Online] Available from: https://ssrn.com/abstract=2563965 or http://dx.doi.org/10.2139/ssrn.2563965. (Accessed: 31.08.2018).

80. Benasayyag, M. (2018) Myshleniye za predelami mozga [Intelligence beyond brain]. [Online] Available from: http://unesdoc.unesco.org/images/0026/002652/265211r.pdf. (Accessed: 31.08.2018).

81. Pakhman, S. (1861) O zadachakh predstoyashchey reformy aktsionernogo zakonodatel'stva. Rech', napisannaya dlya proizneseniya v torzhestvennom sobranii Imperatorskogo Khar'kovskogo universiteta, 30 avgusta 1861 goda [On the tasks of the forthcoming reform of corporate legislation. Speech written for the solemn assembly of Imperial Kharkov University]. Kharkov: V Universitetskoy Tipografii.

82. Kavelin, K. (1879) Prava i obyazannosti po imushchestvam i obyazatel'stvam. Vprimenenii k russkomu zakonodatel'stvu. Opyt sistematicheskogo obozreniya [Rights and obligations for property and obligations. In application to the Russian legislation. Experience of a systematic review]. St. Petersburg: Tipografiya M.M. Stasyulevicha.

83. Azarevich, D.A. (1882) Yuridicheskiye litsa [Legal entities]. Vremennik Demidovskogo yuridicheskogo litseya. Book 28. Yaroslavl: V tipografi-yakh: Gubernskogo Pravleniya, Zemskoy Upravy i g. Fal'ke v Yaroslavle. pp. 1-84.

84. Guihot, M., Matthew, A. F. & Suzor, N.P. (2017) Nudging robots: Innovative solutions to regulate artificial intelligence. Vanderbilt Journal of Entertainment & Technology Law. [Online] Available from: http://www.jetlaw.org/wp-content/uploads/2017/12/2_Guihot-Article_Final-Review-Complete_Approved.pdf. (Accessed: 01.09.2018).

85. Hallevy, G. (2010) The Criminal Liability of Artificial Intelligence Entities - from Science Fiction to Legal Social Control. Akron Intellectual Property Journal. 4(2). pp. 171-201.

86. Gless, S., Silverman, E. & Weigend, T. (2016) If Robots Cause Harm, Who Is to Blame? Self-Driving Cars and Criminal Liability. January 29. Available at SSRN. [Online] Available from: https://ssrn.com/abstract=2724592. (Accessed: 01.09.2018). DOI: 10.2139/ssrn.2724592

87. Muehlhauser, L. & Salamon, A. (2012) Intelligence explosion: Evidence and import. In: Eden, A. Seraker, J., Moor, J.H. & Steinhart, E. (eds) Singularity hypotheses: A scientific and philosophical assessment. The Frontiers Collection. Berlin: Springer. [Online] Available from: https://intelligence.org/files/IE-EI.pdf. (Accessed: 01.09.2018).

88. Harari, Yu.N. (2017) Sapiens. Kratkaya istoriya chelovechestva [Sapiens : a Brief History of Humankind]. Translated from English by L. Summ. Moscow: Sindbad.

89. Anderson, K. & Waxman, M. (2012) Law and Ethics for Robot Soldiers. Policy Review. Columbia Public Law Research Paper No. 12-313. American University, WCL Research Paper 2012-32. Available at SSRN. [Online] Available from: https://ssrn.com/abstract=2046375. (Accessed: 01.09.2018).

90. Anderson, K. & Waxman, M. (2013) Law and Ethics for Autonomous Weapon Systems: Why a Ban Won't Work and How the Laws of War Can. Stanford University, The Hoover Institution (Jean Perkins Task Force on National Security and Law Essay Series). American University, WCL Research Paper 2013-11. Columbia Public Law Research Paper 13-351. Available at SSRN. [Online] Available from: https://ssrn.com/abstract=2250126 or http://dx.doi.org/10.2139/ssrn.2250126. (Accessed: 01.09.2018).

91. Anderson, K. & Waxman, M. (2017) Debating Autonomous Weapon Systems, Their Ethics, and Their Regulation Under International Law. In: Brownsword, R., Scotford, E. & Yeung, K. (eds) The Oxford Handbook of Law, Regulation, and Technology. Oxford University Press. Columbia Public Law Research Paper No. 14-553. American University, WCL Research Paper No. 2017-21. Available at SSRN. [Online] Available from: https://ssrn.com/abstract=2978359. (Accessed: 01.09.2018).

92. Asaro, P (2012). On Banning Autonomous Weapon Systems: Human Rights, Automation, and the Dehumanisation of Lethal Decision-making. International Review of the Red Cross. 94(886). Summer. pp. 687-709.

93. Heyns, Ch. (2013) Promotion and protection of all human rights, civil, political, economic, social and cultural rights, including the right to development. 9 April 2013. [Online] Available from: https://www.ohchr.org/Documents/HRBodies/HRCouncil/RegularSession/Session23/A-HRC-23-47_en.pdf. (Accessed: 30.08.2018).

94. UNOG. (2017) 2017 Group of Governmental Experts on Lethal Autonomous Weapons Systems (LAWS). [Online] Available from: https://www.unog.ch/80256EE600585943/(httpPages)/F027DAA4966EB9C7C12580CD0039D7B5. (Accessed: 05.09.2018).

95. UNOG. (2018) Emerging Commonalities, Conclusions and Recommendations. [Online] Available from: https://www.unog.ch/ 80256EDD006B8954/(httpAssets)/EB4EC9367D3B63B1C12582FD0057A9A4/$file/GGE+LAWS+August_EC,+C+and+Rs_final.pdf. (Accessed: 05.09.2018).

96. UNOG. (2017) Rassmotreniye razlichnykh aspektov novykh tekhnologiy v sfere sozdaniya smertonosnykh avtonomnykh sistem vooruzheniy v kontekste tseley i zadach Konventsii (Predstavleno Rossiyskoy Federatsiyey). Zheneva, 13—17 noyabrya 2017 g. [Consideration of various aspects of new technologies in the field of the creation of deadly autonomous weapon systems in the context of the goals and objectives of the Conven-

tion (Presented by the Russian Federation). Geneva, November 13-17, 2017]. [Online] Available from: https://www.unog.ch/80256EDD006B8954/(httpAssets)/E9178CB855E3D8EDC12581D70065EF31/$file/2017_GGEonLAWS_WP_Russian.pd f. (Accessed: 01.08.2018).

97. UN. (2017) Report of the Independent Expert on the enjoyment of all human rights by older persons. A/HRC/36/48. [Online] Available from: http://ap.ohchr.org/documents/dpage_e.aspx?si=A/HRC/36/48.

98. Russian Federation. (2010) Federal'nyy zakon ot 20 maya 2002 g. № 54-FZ (red. ot 29.03.2010) "O vremennom zaprete na klonirovaniye che-loveka" [Federal Law No. 54-FZ of May 20, 2002 (as amended on March 29, 2010) "On the temporary ban on human cloning"]. [Online] Available from: www.consultant.ru.

99. Shershenevich, G.F. (1910) Obshchaya teoriya prava. Lektsii professora Moskovskogo universiteta G.F. SHershenevicha, chitannyye v Mos-kovskom Kommercheskom institute v 1909/10 akadem. godu [The general theory of law. Lectures of Professor of Moscow University G.F. Shershenevich, read at Moscow Commercial Institute in the 1909/10 academic year]. S.l.: [s.n.].

100. Pereverzev, S. & Podolin, A. (n.d.) Sotsial'naya matematika = pravo. Novyy yazykyuridicheskoy nauki [Social mathematics = law. New language of legal science]. [Online] Available from: http://speranskylabs.ru/. (Accessed: 01.09.2018).

101. Ivanov, A.A. (2018) O glubine mashinizatsii prava [On the depth ofthe mechanization of law]. Zakon. 5. pp. 35-41.

102. Pasquale, F. (2015) The Black Box Society: The Secret Algorithms That Control Money and Information. Harvard University Press.

103. EU. (2016) Regulation (EU) 2016/679 of the European Parliament and of the Council of 27 April 2016 on the protection of natural persons with regard to the processing of personal data and on the free movement of such data, and repealing Directive 95/46/EC. [Online] Available from: https://publications.europa.eu/en/publication-detail/-/publication/3e485e15-11bd-11e6-ba9a-01aa75ed71a1/language-en.

104. Goodman, B. (2016) A Step Towards Accountable Algorithms? Algorithmic Discrimination and the European Union General Data Protection. 29th Conference on Neural Information Processing Systems. Barcelona, Spain. [Online] Available from: http://www.mlandthelaw.org/ pa-pers/goodman1.pdf. (Accessed: 01.09.2018).

105. Joshua, N. & Castro, D. (2018) How Policymakers Can Foster Algorithmic Accountability. May 21. [Online] Available from: https://itif.org/publications/2018/05/21/how-policymakers-can-foster-algorithmic-accountability. (Accessed: 01.09.2018).

106. Robolaw.eu. (2014) Guidelines on Regulating Robotics. [Online] Available from: http://www.robolaw.eu/RoboLaw_files/documents/robolaw_ d6.2_guidelinesregulatingrobotics_20140922.pdf. (Accessed: 15.08.2018).

Received: 31 October 2018