CC BY
169
001: 10.17803/1994-1471.2020.115.6.169-178
Ю. В. Грачева*, А. А. Арямов**
Роботизация и искусственный интеллект: уголовно-правовые риски в сфере общественной безопасности1
Аннотация. Широкомасштабная роботизация становится одним из вызовов современного общества. Юридическая наука в целом и уголовное право в частности не могут оставаться в стороне от вызовов, связанных с внедрением искусственного интеллекта во всех сферах общественной жизни. Процесс формирования правового пространства начался, однако отсутствует комплексный подход к решению задачи, поскольку ученые рассматривают роботов в рамках только тех общественных отношений, которые входят в предмет соответствующей отрасли права. В этой связи возникает отставание в разработке, например, уголовно-правовых норм, так как не завершен процесс определения гражданско-правового статуса робота, а от него зависит построение концепции уголовно-правовых рисков в робототехнике и искусственном интеллекте. В статье предпринята попытка описать уголовно-правовые риски использования робототехники и искусственного интеллекта для общественной безопасности, оценить имеющиеся уголовно-правовые средства противодействия наступлению общественно опасных последствий в случае отсутствия адекватных мер, предложить направления совершенствования УК РФ.
Ключевые слова: роботизация; искусственный интеллект; уголовно-правовые риски; преступления; общественная безопасность; дроны; роботы; правовой статус; террористический акт; уголовная ответственность. Для цитирования: Грачева Ю. В., Арямов А. А. Роботизация и искусственный интеллект: уголовно-правовые риски в сфере общественной безопасности // Актуальные проблемы российского права. — 2020. — Т. 15. — № 6. — С. 169—178. — DOI: 10.17803/1994-1471.2020.115.6.169-178.
1 Исследование выполнено при финансовой поддержке РФФИ в рамках научного проекта № 18-29-16158.
© Грачева Ю. В., Арямов А. А., 2020
* Грачева Юлия Викторовна, доктор юридических наук, профессор, профессор кафедры уголовного права Московского государственного юридического университета имени О.Е. Кутафина (МГЮА) Садовая-Кудринская ул., д. 9, г. Москва, Россия, 125993 [email protected]
** Арямов Андрей Анатольевич, доктор юридических наук, профессор, профессор кафедры уголовного права Российского государственного университета правосудия Садовая-Кудринская ул., д. 9, г. Москва, Россия, 125993 [email protected]
Robotization and Artificial Intelligence: Criminal Law Risks in the Field of Public Security2
Yuliya V. Gracheva, Dr. Sci. (Law), Professor, Professor of the Department of Criminal Law, Kutafin
Moscow State Law University (MSAL)
ul. Sadovaya-Kudrinskaya, d. 9, Moscow, Russia, 125993
Andrey A. Aryamov, Dr. Sci. (Law), Professor, Professor of the Department of Criminal Law, Russian State University of Justice
ul. Sadovaya-Kudrinskaya, d. 9, Moscow, Russia, 125993 [email protected]
Abstract. Large-scale robotization is becoming one of the challenges of modern society. Jurisprudence in general and criminal law in particular cannot remain aloof from the challenges associated with the introduction of artificial intelligence in all spheres of public life. The process of forming the legal space has begun, but there is no comprehensive approach to solving the problem, since scientists consider robots within the framework of only those social relations that are part of the subject of the relevant branch of law. In this regard, there is a lag in the development, for example, of criminal law norms, since the process of determining the civil law status of a robot is not completed, and the construction of the concept of criminal law risks in robotics and artificial intelligence depends on it. The paper attempts to describe the criminal legal risks of using robotics and artificial intelligence for public security, to assess the available criminal legal means of counteracting the onset of socially dangerous consequences in the absence of adequate measures, to propose directions for improving the Criminal Code of the Russian Federation.
Keywords: robotization; artificial Intelligence; criminal law risks; crimes; public safety; drones; robots; legal status; terrorist act; criminal liability.
Cite as: Gracheva YuV, Aryamov AA. Robotizatsiya i iskusstvennyy intellekt: ugolovno-pravovye riski v sfere obshchestvennoy bezopasnosti [Robotization and Artificial Intelligence: Criminal Law Risks in the Field of Public Security]. Aktualnyeproblemy rossiyskogoprava. 2020;15(6):169-178. DOI: 10.17803/1994-1471.2020.115.6.169178. (In Russ., abstract in Eng.).
Введение
В Российской Федерации отсутствует легальное определение искусственного интеллекта. Термин «искусственный интеллект» в 1956 г. предложил Д. Маккартни3. Искусственный интеллект (ИИ) — это область научных знаний и технологий создания интеллектуальных машин и интеллектуального программного обеспечения. Искусственным интеллектом называют свойство интеллектуальных систем выполнять творческие функции, которые традиционно считаются пре-
рогативой человека. Одной из ключевых особенностей интеллектуальных вычислительных систем является их способность приобретать знания посредством обучения (самоидентификации) и применять эти знания для решения определенной проблемы.
Робототехника и искусственный интеллект представляют собой наиболее перспективную комбинацию для автоматизации решения задач, не входящих в первичные заводские настройки. В последние годы искусственный интеллект все больше распространяется в роботизированных
2 The reported study was funded by RFBR according to the research project No. 18-29-16158.
3 См.: Нагродская Б. В. Новые технологии (блокчейн / искусственный интеллект) на службе права : науч-
но-методическое пособие / под ред. Л. А. Новоселовой. М., 2019. С. 99.
решениях, обеспечивая гибкость и возможность обучения там, где раньше использовались неизменные производственные настройки4.
Без искусственного интеллекта невозможно повышение конкурентоспособности в мире и национальной безопасности.
Искусственный интеллект и робототехника широко используются в сфере образования, медицинского обслуживания, пенсионного обеспечения, охраны окружающей среды, осуществления государственного управления, правоприменительной деятельности и цифровой экономики5.
Искусственный интеллект и робототехника как орудие или средство совершения преступления
Преступниками используются искусственный интеллект и робототехника для совершения преступлений.
Робот как орудие убийства. Первым человеком, погибшим от робота, стал американский рабочий, занятый на автоматизированном предприятии, выполнявшем покрасочные работы для автомобильной индустрии. В результате нарушения программы, отвечающей за координацию автоматических манипуляторов одного из роботов, последний вместо дверцы захватил шею рабочего и удушил его.
В 2016 г. произошло одно из первых убийств с использованием робототехники. В больнице пациент умер от «подачи в капельницу смертоносного состава вместо предписанного лекарства. Полицейские не смогли бы обнаружить данное преступление, если бы не случайность. Программист, которого банда подрядила, чтобы взломать программу, управляющую автомати-
ческой раздачей лекарств, поделился информацией в одном из закрытых чатов. В нем присутствовал осведомитель городской полиции. Благодаря чему программист был задержан»6, а позднее прояснилась вся картина преступления.
Правоохранители по всему миру всерьез готовятся к появлению преступных групп, совершающих убийства, замаскированные под технические инциденты различного рода. Объем рынка заказных убийств в Соединенных Штатах составляет около 2 млрд долл. в год, поэтому появление таких преступных групп — ближайшая перспектива7.
Главным инструментом подобных синдикатов могут стать не хакерские программы сами по себе, а искусственный интеллект. Специфика здесь заключается в следующем. Различного рода автоматизированные автономные системы в подавляющем большинстве управляются из единого вычислительного центра, функционирующего как искусственный интеллект. Это называется роевым обучением. Соответственно, подключиться и заместить команды одного искусственного интеллекта может только другой. Программисту это не под силу. Он будет распознан из-за большей медлительности и меньшей алгоритмичности действий и операций.
Кроме того, только искусственному интеллекту под силу замаскировать злонамеренное отключение или выполнение несанкционированных действий техническим отказом. Несмотря на некоторую экстравагантность, в ближайшее время данный преступный промысел может стать реальностью. Плохо то, что на первом этапе подавляющее большинство подобных убийств останутся нераскрытыми. В отделах по борьбе с убийствами просто нет специалистов, способных на уровне профессионала разби-
4 Подробное описание этих технологий, сфер их использования, преимуществ для экономики см.: Арямов А. А., Грачева Ю. В., Чучаев А. И., Маликов С. В., Иванов С. А. Девиации в цифровом мире: уголовно-правовое измерение / под ред. Ю. В. Грачевой. М., 2019. Ч. I. С. 9, 20.
5 См.: Цифровое право : учебник / под ред. В. В. Блажеева, М. А. Егоровой. М., 2020. С. 183.
6 Овчинский В. Трамп, ФБР, искусственный интеллект: основные направления стратегии по обеспечению кибербезопасности // URL: http://zavtra.ru/blogs/tramp _fbr_iskusstvennij Jntellekt (дата обращения: 03.03.2020).
7 Овчинский В. Трамп, ФБР, искусственный интеллект: основные направления стратегии по обеспечению кибербезопасности.
раться в тонкостях нейронных сетей, глубокого обучения и активного тестирования.
Роботы-коммандос. Они «являются гибридом разведывательных и транспортных робо-тотехнических систем, оснащенных средствами выполнения и других целевых функций. Например, такие роботы способны взбираться по вертикальным поверхностям, бесшумно проникать в закрытые помещения и т.п. До настоящего времени считалось, что такими роботами обладают специальные подразделения армий США, Великобритании и Израиля»8.
Боевые роботы. Одно из направлений разработок в рассматриваемой сфере — создание «суперсолдата», человека, получившего с помощью средств кибернетики повышенные физические и умственные способности. Эти «улучшения» включают использование имплантатов мозга, которые, как надеются в Управлении перспективных исследовательских проектов Министерства обороны США (DARPA), позволят «суперсолдатам» мысленно общаться друг с другом.
Сегодня достигнуты большие успехи в миниатюризации роботов. Не только государственные, но и коммерческие структуры уже могут приобрести робота размером с большого жука, оснащенного видеокамерой, способной снимать не только днем, но и ночью, микрофоном, устройством дистанционной передачи на расстояние до 5 км звука и изображения и, естественно, устройствами для передвижения. В американские спецподразделения уже поступили робо-шмели, способные действовать в наиболее агрессивных средах, быть незаметными, проникать в здания, оснащенные пуленепробиваемыми стеклами, внутри не только фотографировать, но и поражать террористов.
В 2013—2014 гг. произошел подлинный прорыв в робототехнике, когда стало возможным создание роев боевых и гражданских роботов. Этот рой в своей деятельности имитирует поведение пчел, муравьев, стаи птиц. Используя
передовые решения в области «облачной» коллективной памяти, распределенной вычислительной мощности и модульные конструкции, эти системы могут не только координировать деятельность и самообучаться друг у друга, но и собираться из маленьких устройств в крупные единые комплексы. Военный потенциал этих технологий на первом этапе заключается в сборе разведданных и массовых диверсиях на территории противника, а затем они будут представлять один из вариантов армии будущего: подобные силиконовые конструкции разных форм со смертоносным оборудованием будут способны на самостоятельное принятие тактических решений.
Л. Дель Монте, известный ученый-физик, бывший руководитель разработок микроэлектроники в IBM, автор книги «Нанооружие: растущая угроза человечеству», прогнозирует, что к концу 2020-х гг. террористы смогут получить доступ к нанооружию и будут способны использовать наноботов(нанороботов) для совершения террористических атак, например для заражения систем водоснабжения крупных городов или отравления людей инъекциями. Нанодроны, по мнению Дель Монте, также могут стать инструментами биологической войны9.
Еще в 2010 г. Пентагон высказывал опасения, что нанотехнологии приведут к созданию взрывоопасной искусственной микропыли, нанобо-ты смогут доставлять биологическое оружие, выступать сами в роли оружия. Наноботы даже будут попадать при дыхании в легкие солдат и выводить их из строя.
Дель Монте прогнозирует, что автономные наноботы будут в состоянии собирать свои копии, т.е. воспроизводить сами себя. Управление миллионами наноботов может стать огромной проблемой, а сбои в программном обеспечении могут привести к непредсказуемым последствиям.
Беспилотные летательные аппараты (дро-ны) — активно развивающееся направление
8 Овчинский В., Ларина Е. Роботы-убийцы против человечества. Киберапокалипсис сегодня // URL: https://e-libra.ru/read/491376-roboty-ubiycy-protiv-chelovechestva-kiberapokalipsis-segodnya.html (дата обращения: 03.03.2020).
9 См.: URL: https://fastsalttimes.com/sections/technology/1122.html (дата обращения: 03.03.2020).
робототехники, некоторые из них обладают определенным автономным поведением, выражающимся, например, в способности самостоятельно и целенаправленно перемещаться в воздухе для выполнения различных функций в автономном режиме. Дроны могут быть оснащены оружием, собирать информацию путем видео- и фотосъемки, переносить запрещенные грузы и т.д.
Описанные роботы могут быть использованы не только для совершения таких преступлений против личности, как убийство, причинение вреда здоровью человека, нарушение неприкосновенности частной жизни и неприкосновенности жилища, но и для посягательств против общественной безопасности, совершения преступлений против мира и безопасности человечества.
В. С. Овчинский обращает внимание на недооцененную опасность при использования робототехники террористами и экстремистами10.
С помощью этих новых цифровых технологий могут быть совершены такие преступления, как:
— террористический акт (ст. 205 УК РФ), который может выражаться как в совершении взрыва, поджога, отравлении источника водоснабжения, лишении жизни людей с использованием робототехники;
— вандализм (ст. 214 УК РФ): легко себе представить использование дрона, переносящего капсулу с краской и сбрасывающего ее на здание или сооружение для их осквернения;
— приведение в негодность объектов жизнеобеспечения (ст. 215.2 УК РФ) путем их разрушения, повреждения или приведение иным способом в негодное для эксплуатации состояние с помощью роботов. Совершение этих действий из корыстных или хулиганских побуждений квалифицируется по ст. 215.2 УК РФ; при отсутствии названных мотивов, но при наличии цели подрыва экономической безопасности и обороноспособности РФ — по ст. 282 УК РФ;
— незаконное проникновение на подземный или подводный объект, охраняемый в соот-
ветствии с законодательством Российской Федерации о ведомственной или государственной охране, с использованием робототехники, включая дроны (ст. 215.4 УК РФ);
— хищение ядерных материалов или радиоактивных веществ путем применения робототехники для незаконного проникновения в помещение или хранилища и завладения предметом преступления (ст. 221 УК РФ);
— незаконное приобретение, передача, сбыт, хищение оружия, его основных частей, боеприпасов, взрывчатых веществ, взрывных устройств (ст. 222, 222.1, 226 УК РФ), а также его незаконное перемещение через таможенную границу Таможенного союза в рамках ЕврАзЭС либо государственную границу РФ государствами — членами Таможенного союза в рамках ЕврАзЭС (ст. 226.1 УК РФ) с использованием робототехники, особенно дронов;
— нападение на морское или речное судно в целях завладения чужим имуществом, совершенное с применением насилия либо с угрозой его применения посредством использования робототехники, включая дроны (ст. 227 УК РФ).
Преимущества в использовании робототехники для совершения преступлений очевидны: во-первых, возможность их применения в опасных зонах, в том числе биологически опасных; во-вторых, физическая безопасность лица, использующего эти технологии для совершения преступления, поскольку оно находится, как правило, далеко от места его использования, у него нет страха быть обнаруженным, получить ранения или погибнуть, что психологически облегчает принятие решений, связанных с причинением вреда; в-третьих, по использованной робототехнике трудно идентифицировать нападавшего.
Согласно отчету компании Trend Micro (май 2017 г.)11 «в мире насчитывается свыше 83 тыс. доступных через Сеть промышленных роботов, в 5 тыс. из них отсутствуют механизмы аутенти-
10 Овчинский В. Трамп, ФБР, искусственный интеллект: основные направления стратегии по обеспечению кибербезопасности.
11 URL: https://www.trendmicro.com/ru_ru/about/awards.html (дата обращения: 03.03.2020).
фикации пользователей. Исследователи обнаружили в роботах 65 уязвимостей, в том числе позволяющих обойти механизмы аутентификации, модифицировать ключевые настройки и изменить режим работы устройства.
В подтверждение опасений исследователи осуществили показательную кибератаку на промышленного робота в лабораторных условиях. Эксперты продемонстрировали, как с помощью атаки можно незаметно изменить движение устройства. При этом программный код остается неизменным, а изменение движения невозможно уловить невооруженным взглядом. Тем не менее малейшее отклонение в производственном процессе может привести к серьезным последствиям»12. Следует отметить, что существует изначально робототехника с открытым исходным кодом и возможностями ИИ, позволяющая перепрограммировать и научить своих роботов выполнять пользовательские задачи в зависимости от конкретного их применения13, отключить или обойти механизмы аутентификации пользователей, что создает еще больше возможностей применения таких технологий для совершения преступлений.
Развитие робототехники и искусственного интеллекта, отдельные их направления порождают риски не только для общественной безопасности, но также для мира и безопасности человечества. В последнее время обсуждается вопрос о появлении такого вооружения, как смертоносные автономные системы. В апреле 2013 г. специальный докладчик ООН по вопросу о внесудебных казнях Кристофер Хейнс на заседании Совета по правам человека ООН обозначил угрозы применения смертоносных автономных систем для жизни и здоровья людей в условиях войны, международной безопасности, перспективы распространения международных норм на это оружие, определив его как «систе-
мы оружия, которые после приведения их в действие способны выбирать и поражать цели без последующего вмешательства оператора (человека)»14. Он отметил нереальность разработать сколько-нибудь адекватную систему правовой ответственности в связи с тем, что роботы вообще не должны иметь возможность решать вопросы жизни и смерти людей15.
Опасность использования таких роботов обусловлена, во-первых, их способностью самостоятельно выбирать и атаковать цели без вмешательства человека; во-вторых, несоблюдением норм международного гуманитарного права и игнорированием ответственности за незаконные деяния, совершаемые с использованием этого оружия; в-третьих, возможным сбоем в работе программного обеспечения или его взломом; в-четвертых, риском завладения технологиями (оружием) террористическими организациями.
Развитие робототехники и искусственного интеллекта уже сегодня требует адекватного правового регулирования, способного спрогнозировать риски их применения и предусмотреть ответственность в случае причинения вреда общественным отношениям. Процесс формирования правового пространства начался, однако отсутствует комплексный подход к решению этой задачи, поскольку ученые рассматривают роботов в рамках только тех общественных отношений, которые входят в предмет соответствующей отрасли права16. В связи с этим возникает отставание в разработке, например, уголовно-правовых норм, поскольку не завершен процесс определения гражданско-правового статуса робота, а от него зависит построение концепции уголовно-правовых рисков в робототехнике и искусственном интеллекте.
В соответствии со ст. 128 ГК РФ робот является объектом гражданского права, на роботов
12 Промышленные роботы угрожают промышленной безопасности // URL: https://www.securitylab.ru/ news/486053.php (дата обращения: 03.03.2020).
13 См.: Арямов А. А., Грачева Ю. В., Чучаев А.И, Маликов С. В., Иванов С. А. Указ. соч. С. 21.
14 Юридическая концепция роботизации / отв. ред. Ю. А. Тихомиров, С. Б. Нанба. М., 2019. С. 204.
15 Юридическая концепция роботизации. С. 204.
16 Подробно об этом см.: Бурова А. Использование искусственного интеллекта: наука и регулирование // Право и экономика. 2018. № 9.
распространяются все те нормы гражданского права, что и на вещи, в отношении них могут совершаться любые сделки.
Обеспечить безопасность робота для человека особенно важно в связи с возрастающей автономностью первого в принятии решений. Еще в 1942 г. А. Азимов в рассказе «Хоровод» сформулировал три закона робототехники, которые сегодня рассматриваются как этические принципы роботостроения. Однако даже человеческая мораль допускает причинение вреда жизни или здоровью, например при наличии обстоятельств, исключающих преступность деяния. В этой связи нельзя исключать случаев, когда машинный алгоритм для исполнения поставленных задач также придет к выводу о необходимости или целесообразности причинения вреда человеку17.
На практике существуют случаи причинения вреда роботом человеку, не обладающим «разумом» и автономной волей18, что ставит вопрос об ответственности за возмещение вреда. Пока робот не признается субъектом права, теоретически обязанным возместить вред может быть производитель робота, производитель программного обеспечения, владелец робота или пользователь робота либо возможна коллективная ответственность.
Некоторые роботы могут быть отнесены к источникам повышенной опасности. В соответствии с п. 1 ст. 1079 ГК РФ владелец источни-
ка повышенной опасности обязан возместить причиненный ущерб, если не докажет, что вред причинен вследствие непреодолимой силы или умысла потерпевшего.
В настоящее время, признавая роботов объектом права, всё больше ученых задумываются о признании роботов, обладающих искусственным интеллектом и способных к принятию автономных решений, субъектами правоотношений, особенно в ситуации, когда его действия будут влечь за собой возникновение прав и обязанностей для других лиц19.
Некоторые авторы предлагают рассматривать роботов как квазиагентов или квазисубъектов права20, поскольку робот постепенно наделяется функциями, выполнявшимися ранее человеком.
В проекте Модельной конвенции о робототехнике и искусственном интеллекте роботы признаются самостоятельными лицами в гражданском обороте, способными выступать собственниками других роботов21.
В связи с тем что на сегодняшний день роботы все же остаются объектом гражданских прав и для иного утверждения нет соответствующей нормативной основы, то некоторые ученые полагают возможным распространять по аналогии на них правовые конструкции, созданные для других субъектов права22, например юридических лиц23, животных24, детей и др.
17 См.: Мамонтов Д. Этические проблемы роботов: как нарушить законы робототехники // Популярная механика. 2015. № 6. URL: https://www.popmech.ru/science/167561-eticheskie-problemy-robotov-kak-narushit-zakony-robototekhniki/ (дата обращения: 09.03.2020).
18 См.: Вопреки Азимову: 3 случая, когда роботы причинили вред человеку // Газета.ш. 2017. 18 июля.
19 См.: Никифирова Т. С., Смирнова К. М. Оставят ли роботы юристов без работы? // Закон. 2017. № 11.
20 См.: Архипов В. В., Наумов Б. В. О некоторых вопросах теоретических оснований развития законодательства о робототехнике: аспекты воли и правосубъектности // Закон. 2017. № 5. С. 162.
21 См.: URL: http://robopravo.ru/modielnaia_konvientsiia (дата обращения: 08.03.2020).
22 См.: Юридическая концепция роботизации. С. 31.
23 См., например: Гаджиев Г. А., Войниканис Е. А. Можетли робот быть субъектом права (поиск правовых форм для регулирования цифровой экономики)? // Право. Журнал Высшей Школы Экономики. 2018. № 4. С. 45 ; Серова О. А. Роботы как участники цифровой экономики: проблемы определения правовой природы // Гражданское право. 2018. № 3. С. 24.
24 См., например: Дельфины достойны прав человека, считают ученые. Русская служба ВВС. 22 февраля 2012 г. // URL: https://weekend.rambler.ru/crazy-world/12900029-delfiny-dostoyny-prav-cheloveka-schitayut-uchenye/ (дата обращения: 09.03.2020).
Заключение
До тех пор пока у робота не появятся «сознание» и «собственная воля» как необходимые условия дееспособности, ни признать робота субъектом права, ни распространить на него по аналогии иные правовые конструкции будет невозможно.
В этой связи робототехника и искусственный интеллект в уголовном праве могут признаваться при совершении преступления предметом, способом или средством его совершения.
Использование роботов для совершения преступлений против общественной безопасности, как правило, не повышает степени опасности таких преступлений настолько, чтобы это требовало введения соответствующего квалифицирующего признака. В некоторых случаях ответственность за совершение особо тяжких преступлений против общественной безопасности и так максимальная. Например, за совершение особо квалифицированного террористического акта (ч. 3 ст. 205 УК РФ) предусмотрено пожизненное лишение свободы. В связи с этим дополнять перечисленные ранее составы квалифицирующим или особо квалифицирующим признаком «с использованием робототехники и (или) искусственного интеллекта» нецелесообразно еще и потому, что, во-первых, со временем может быть выявлен состав преступления, «оставшийся» без соответствующего квалифицирующего признака. Такой способ (средство) совершения преступления применим и для посягательств
на иные объекты уголовно-правовой охраны, поэтому нужно было бы всю Особенную часть УК РФ проанализировать с точки зрения необходимости дополнения составов преступлений квалифицирующим (особо квалифицирующим) признаком. Во-вторых, незаконное использование такой техники могло бы повышать общественную опасность только в случае незаконного его использования. Изложенное позволяет предложить другое направление построения системы уголовно-правовых мер по противодействию незаконного использования робототехники и искусственного интеллекта для совершения преступления. Так, требует проработки вопрос об уголовной ответственности за незаконный оборот робототехники с искусственным интеллектом; грубое нарушение правил эксплуатации роботов, повлекшее причинение вреда жизни, здоровью человека или крупного ущерба.
Подобные нормы будут априори содержать бланкетные диспозиции, их принятие потребует сначала разработки соответствующего отраслевого законодательства, определяющего правила оборота робототехники, способной причинить существенный вред общественным отношениям, установления запрета и (или) ограничения в обороте отдельных видов робототехники, например смертоносных автономных систем хотя бы частными лицами, и т.д. В качестве условий законного оборота такой техники производитель должен предусмотреть возможность аутоинтефикации робота, ведение реестра пользователей или владельцев роботов.
БИБЛИОГРАФИЯ
1. Архипов В. В., Наумов Б. В. О некоторых вопросах теоретических оснований развития законодательства о робототехнике: аспекты воли и правосубъектности // Закон. — 2017. — № 5. — С. 157—170.
2. Арямов А. А., Грачева Ю. В., Чучаев А. И., Маликов С. В., Иванов С. А. Девиации в цифровом мире: уголовно-правовое измерение : под ред. Ю. В. Грачевой. — М., 2019. — Ч. I. — 160 с.
3. Бурова А. Использование искусственного интеллекта: наука и регулирование // Право и экономика. — 2018. — № 9. — С. 5—8.
4. Вопреки Азимову: 3 случая, когда роботы причинили вред человеку // Газета.ги. — 2017. — 18 июля.
5. Гаджиев Г. А., Войниканис Е. А. Может ли робот быть субъектом права (поиск правовых форм для регулирования цифровой экономики)? // Право. Журнал Высшей школы экономики. — 2018. — № 4. — С. 24—48.
6. Дельфины достойны прав человека, считают ученые // Русская служба ВВС. 22 февраля 2012 г. URL: https://weekend.rambler.ru/crazy-world/12900029-delfiny-dostoyny-prav-cheloveka-schitayut-uchenye/ (дата обращения: 09.03.2020).
7. Мамонтов Д. Этические проблемы роботов: как нарушить законы робототехники // Популярная механика. — 2015. — № 6. — URL: https://www.popmech.ru/science/167561-eticheskie-problemy-robotov-kak-narushit-zakony-robototekhniki/ (дата обращения: 09.03.2020).
8. Нагродская Б. В. Новые технологии (блокчейн / искусственный интеллект) на службе права : научно-методическое пособие / под ред. Л. А. Новоселовой. — М., 2019. — 128 с.
9. Никифирова Т. С., Смирнова К. М. Оставятли роботы юристов без работы? // Закон. — 2017. — № 11. — С. 110— 123.
10. Овчинский В. Трамп, ФБР, искусственный интеллект: основные направления стратегии по обеспечению кибербезопасности // URL: http://zavtra.ru /blogs/tramp_fbr_iskusstvennij_intellekt (дата обращения: 03.03.2020).
11. Овчинский В., Ларина Е. Роботы-убийцы против человечества. Киберапокалипсис сегодня // URL: https://e-libra.ru/read/491376-roboty-ubiycy-protiv-chelovechestva-kiberapokalipsis-segodnya.html (дата последнего посещения: 03.03.2020).
12. Промышленные роботы угрожают промышленной безопасности // URL: https://www.securitylab.ru/ news/486053.php (дата обращения: 03.03.2020).
13. Серова О. А. Роботы как участники цифровой экономики: проблемы определения правовой природы // Гражданское право. — 2018. — № 3. — С. 22— 24.
14. Цифровое право : учебник / под ред. В. В. Блажеева, М. А. Егоровой. — М., 2020. — 640 с.
15. Юридическая концепция роботизации / отв. ред. Ю. А. Тихомиров, С. Б. Нанба. — М., 2019. — 240 с.
Материал поступил в редакцию 11 марта 2020 г.
REFERENCES (TRANSLITERATION)
1. ArhipovV. V., Naumov B. V. O nekotoryh voprosah teoreticheskih osnovanij razvitiya zakonodatel'stva o robototekhnike: aspekty voli i pravosub"ektnosti // Zakon. — 2017. — № 5. — S. 157—170.
2. Aryamov A. A., Gracheva Yu. V., Chuchaev A. I., Malikov S. V., Ivanov S. A. Deviacii v cifrovom mire: ugolovno-pravovoe izmerenie : pod red. Yu. V. Grachevoj. — M., 2019. — Ch. I. — 160 s.
3. Burova A. Ispol'zovanie iskusstvennogo intellekta: nauka i regulirovanie // Pravo i ekonomika. — 2018. — № 9. — S. 5—8.
4. Vopreki Azimovu: 3 sluchaya, kogda roboty prichinili vred cheloveku // Gazeta.ru. — 2017. — 18 iyulya.
5. Gadzhiev G. A., Vojnikanis E. A. Mozhet li robot byt' sub"ektom prava (poisk pravovyh form dlya regulirovaniya cifrovoj ekonomiki)? // Pravo. Zhurnal Vysshej shkoly ekonomiki. — 2018. — № 4. — S. 24—48.
6. Del'finy dostojny prav cheloveka, schitayut uchenye // Russkaya sluzhba VVS. 22 fevralya 2012 g. URL: https:// weekend.rambler.ru/crazy-world/12900029-delfiny-dostoyny-prav-cheloveka-schitayut-uchenye/ (data obrashcheniya: 09.03.2020).
7. Mamontov D. Eticheskie problemy robotov: kak narushit' zakony robototekhniki // Populyarnaya mekhanika. — 2015. — № 6. — URL: https://www.popmech.ru/science/167561-eticheskie-problemy-robotov-kak-narushit-zakony-robototekhniki/ (data obrashcheniya: 09.03.2020).
8. Nagrodskaya B. V. Novye tekhnologii (blokchejn / iskusstvennyj intellekt) na sluzhbe prava : nauchno-metodicheskoe posobie / pod red. L. A. Novoselovoj. — M., 2019. — 128 s.
9. Nikifirova T. S., Smirnova K. M. Ostavyat li roboty yuristov bez raboty? // Zakon. — 2017. — № 11. — S. 110— 123.
10. Ovchinskij V. Tramp, FBR, iskusstvennyj intellekt: osnovnye napravleniya strategii po obespecheniyu kiberbezopasnosti // URL: http://zavtra.ru /blogs/tramp_fbr_iskusstvennij_intellekt (data obrashcheniya: 03.03.2020).
11. Ovchinskij V., Larina E. Roboty-ubijcy protiv chelovechestva. Kiberapokalipsis segodnya // URL: https://e-libra.ru/read/491376-roboty-ubiycy-protiv-chelovechestva-kiberapokalipsis-segodnya.html (data poslednego poseshcheniya: 03.03.2020).
12. Promyshlennye roboty ugrozhayut promyshlennoj bezopasnosti // URL: https://www.securitylab.ru/ news/486053.php (data obrashcheniya: 03.03.2020).
13. Serova O. A. Roboty kak uchastniki cifrovoj ekonomiki: problemy opredeleniya pravovoj prirody // Grazhdanskoe pravo. — 2018. — № 3. — S. 22— 24.
14. Cifrovoe pravo : uchebnik / pod red. V. V. Blazheeva, M. A. Egorovoj. — M., 2020. — 640 s.
15. Yuridicheskaya koncepciya robotizacii / otv. red. Yu. A. Tihomirov, S. B. Nanba. — M., 2019. — 240 s.
