CC BY
670
УДК 34
DOI 10.24411/2078-5356-2018-10428
Кибальник Алексей Григорьевич Alexei G. Kibalnik
доктор юридических наук, профессор, заведующий кафедрой уголовного права и процесса
Северо-Кавказский федеральный университет (355009, Ставрополь, ул. Пушкина, 1)
doctor of sciences (law), professor, head of criminal law and process chair
North Caucasus federal university (1 Pushkin st., Stavropol, Russian Federation, 355009)
Е-mail: 13kln@mail.ru
Волосюк Павел Валерьевич Pavel V. Volosyuk
кандидат юридических наук, доцент, заместитель заведующего кафедрой уголовного права и процесса
Северо-Кавказский федеральный университет (355009, Ставрополь, ул. Пушкина, 1)
сandidate of sciences (law), associate professor, deputy head of criminal law and process chair
North Caucasus federal university (1 Pushkin st., Stavropol, Russian Federation, 355009)
Е-mail: pavel_volosuk@mail.ru
Искусственный интеллект: вопросы уголовно-правовой доктрины,
ожидающие ответов
Artificial intelligence: doctrinal criminal law questions awaiting answers
В статье рассматривается возможность призна- The article discusses the possibility of recognizing
ния носителей искусственного интеллекта субъектами carriers of artificial intelligence as subjects of criminal
уголовного права и уголовной ответственности. Ав- law and criminal liability. The authors note that the ex-
торы отмечают, что ожидаемым результатом научно- pected result of scientific and technological progress
технического прогресса станет появление физически will be the emergence of physically separate carriers of
обособленных носителей искусственного интеллекта. artificial intelligence. Of particular concern is the pros-
Особую озабоченность вызывает перспектива того, что pect that they will initially be intended to cause harm
они будут изначально предназначены для причинения to people (for example, in the military-defense sphere).
вреда людям (например, в военно-оборонной сфере). At the moment, the «robots law» is actively develop-
На текущий момент в западной и российской док- ing in the Western and Russian doctrine, but it is not as-
трине активно развивается «право роботов», но оно sociated with the criminal law impact on the behavior of
не связано с уголовно-правовым воздействием на по- artificial intelligence carriers. At present time only people
ведение носителей искусственного интеллекта. В на- who are somehow connected with the development, pro-
стоящее время уголовной ответственности за вред, vision of activities or the management of such carriers
причиненный носителями искусственного интеллек- are subject to criminal liability for harm caused by car-
та, подлежат только люди, так или иначе связанные riers of artificial intelligence. с разработкой, обеспечением деятельности либо управлением такими носителями.
Ключевые слова: уголовное право, уголовная Keywords: criminal law, criminal liability, scientific and ответственность, научно-технический прогресс, искус- technical progress, artificial intelligence, «robots law». ственный интеллект, «право роботов».
© Кибальник А.Г., Волосюк П.В., 2018
Вводные замечания. Научно-технический прогресс является одним из наиболее значимых социально-экономических процессов современного мира. То, что пятнадцать-двадцать лет назад казалось совершенно нереальным, воплощено и продолжает воплощаться в конкретные результаты, доступные все большему количеству рядовых людей. Действительно, в начале 2000-х годов мало кто мог представить, какую роль будет играть мобильный телефон в жизни обывателя. Однако общепризнано, что научно-технический прогресс имеет, как и всякое общественное явление, свою оборотную сторону, выраженную в нарастающем количестве его негативных последствий (в частности, в виде техногенных аварий и катастроф), а также во все возрастающей возможности использования его результатов во вред отдельным людям, государствам и всему мировому сообществу.
В юридической доктрине доминирует суждение, что в современную эпоху развития общества особую важность приобретают вопросы правовой оценки достижений научно-технического прогресса. Следует отметить, что научный прогресс как явление сопровождает развитие права (в т. ч. и уголовного) на протяжении длительного периода времени и, как верно подмечено многими отечественными и зарубежными авторами, не может не оказывать влияния на содержание уголовно-правовых норм. Однако уголовное (и не только уголовное) законодательство постоянно запаздывает в своей, если можно так выразиться, реакции на бесспорно грандиозные достижения и побочные эффекты научно-технического прогресса [1, с. 2-4].
При этом результаты научно-технического прогресса в уголовно-правовой доктрине обычно продолжают рассматриваться в плоскости их использования при совершении «традиционных» преступлений. Например, возможность использования результатов научно-технического прогресса для осуществления террористических акций широко обсуждается и в отечественной [2, с. 8-10], и в зарубежной доктрине [3, с. 171].
В настоящей статье мы попытаемся, в первую очередь, поставить вопросы о возможной уголовно-правовой реакции на тот результат научно-технического прогресса, который еще не получен в оформленном виде, но получение которого ожидается при жизни нашего поколения. По сугубо субъективному мнению авторов, доктрина уже должна (хотя бы гипотетически) приготовиться к ответу на вопрос о возможности уголовно-правовой оценки активности тако-
го «субъекта» (результата) научно-технического прогресса, как искусственный интеллект.
Фантастическое будущее не за горами? Авторы прекрасно осознают то обстоятельство, что сама постановка вопроса об уголовно-правовой реакции на активность искусственного интеллекта (точнее - на результаты такой активности) может повеселить немало коллег «по цеху». Возможно, многие ученые упрекнут нас в излишнем увлечении массовой культурой и «переносе» ее (массовой культуры) «плодов и персонажей» в уголовно-правовое поле.
Тем не менее, на наш взгляд, сценаристы и режиссеры Голливуда (и не только Голливуда) действительно предвосхитили ту реальность, которая нас ожидает уже в скором будущем. Если события культового фильма «Терминатор» режиссера Дж. Кэмерона (J. Cameron), породившего целое сюжетное кинематографическое направление «бунта машин», в свое время леденили душу особо впечатлительным зрителям, то сегодняшние реалии окажутся уже не такими уж и «смешными».
Обыденностью наших дней становится все более широкое использование «элементов искусственного интеллекта» в самых разнообразных сферах общественной жизни - от производственных технологических процессов до их использования в правоохранительной деятельности и даже судебном производстве. Если внедрение «элементов искусственного интеллекта» в работу полиции оправдывается необходимостью улучшения результатов в борьбе с преступностью [4, с. 108-110], то их использование в судопроизводстве вызывает массу сомнений даже у авторов-сторонников. Например, Ф.Н. Боргхардт (F.N. Borghardt) задается вопросом о том, «может ли правосудие существовать без человека, принимающего решения и привносящего в него человеческий опыт?». И далее, говоря о применении «элементов искусственного интеллекта» в юридической деятельности, он спрашивает: «Может ли искусственный интеллект быть несовершенным? Является ли его потенциальное несовершенство лучше человеческого несовершенства?» [5].
Печальной оборотной стороной рассматриваемого процесса стали случаи причинения смерти людям на производстве в результате решений, принятых этими самыми «элементами искусственного интеллекта». Причем, подчеркнем, эти трагедии явились следствием передачи того или иного производственного процесса «в руки» искусственного интеллекта [6].
Но это разовые инциденты. А каких последствий можно ожидать при широком использова-
нии «элементов искусственного интеллекта» в тех сферах, которые изначально связаны с созданием угрозы причинения смерти множеству людей - например, в военно-оборонной области?
В августе 2018 года на высоком официальном уровне заявлено, что в российской армии уже испытано и используется вооружение с «технологиями искусственного интеллекта» [7]. Официальные лица Соединенных Штатов Америки также неоднократно заявляли, что предпримут все усилия для обеспечения своего превосходства в военной сфере, в том числе за счет использования «элементов искусственного интеллекта». Американские специалисты подчеркивают, что «и США, и Россия, и Китай согласны с тем, что искусственный интеллект станет в будущем ключевой технологией, от которой будет зависеть национальная мощь». Пентагон уже несколько лет работает над стратегией под названием «Третий противовес» («Third Offset»), которая должна дать США (благодаря оружию, использующему интеллектуальное программное обеспечение) «такое же преимущество перед потенциальными противниками, какое когда-то обеспечивали ядерные бомбы и высокоточные системы наведения». В апреле 2017 года Министерство обороны США создало Комплексную группу по алгоритмическим технологиям, «в задачи которой входит наладить применение в Пентагоне таких технологий искусственного интеллекта, как машинное зрение» [8].
И, в общем-то, в Вашингтоне никто не скрывает, что создание и дальнейшее использование вооружений и боевых систем с «элементами искусственного интеллекта» ставит своей главной задачей «военное сдерживание» России и, в меньшей мере, Китая [9]. Воистину, с такими реалиями терминаторовский «Скайнет» вовсе не выглядит столь уж фантастичным.
Искусственный интеллект и «право роботов». Появление «элементов искусственного интеллекта» не могло не вызвать правового осмысления. Действительно, перед юридической наукой поставлены «крайне сложные задачи, требующие разобраться в философии и природе будущих правоотношений, определить, когда возможно создание сложных автономных систем, которые будут обладать волей и станут разумными в том обиходном понимании, которое сейчас описывается пока преимущественно в научно-фантастической литературе» [10, с. 49].
Бесспорно, пальма первенства в обосновании и создании «права роботов» принадлежит западным авторам. Они стояли у истоков формулирования самого понятия «искусственный
интеллект» и основных принципов «права роботов» («прозрачность», «подотчетность» и «предотвращение либо возмещение вреда» в деятельности «элементов искусственного интеллекта»). Также они предложили определение «субъектного статуса» искусственного интеллекта в правовом поле и пути решения возможных правовых коллизий и конфликтов, связанных с деятельностью искусственного интеллекта и его «элементов» [11; 12].
Вот лишь краткий перечень жизненных ситуаций и потенциальных юридических конфликтов, связанных с использованием «элементов искусственного интеллекта», обсуждаемый в западной доктрине:
1) неверное обслуживание и использование «элементов искусственного интеллекта», что приводит к ошибкам в должной осмотрительности;
2) аварийные ситуации, связанные с управлением «элементом искусственного интеллекта» транспортными средствами и организацией им дорожного движения в целом;
3) ошибки «отдельных интеллектуальных договорных систем» при заключении договоров;
4) сбои «в цепочках поставок, производства и розничной логистики»;
5) ошибки «элементов искусственного интеллекта» в деятельности строительных и коммунальных компаний;
6) конфликты «нескольких роботов, работающих друг с другом»;
7) ошибки в диагностике и проведении медицинских процедур и обслуживания, осуществляемых с использованием «элементов искусственного интеллекта» [13].
В российской доктрине в последние годы также активно обсуждается вопрос о правовом статусе искусственного интеллекта, в частности:
1) предложено считать искусственный интеллект «искусственной сложной кибернетической компьютерно-программно-аппаратной системой, обладающей свойствами субстантивности, автономности, а также возможностями воспринимать и анализировать данные, самообучаться»;
2) определены основные возможные подходы к правовому обеспечению использования и развития систем искусственного интеллекта (в частности, «упреждающее универсально-тотальное правовое регулирование» и «правовое регулирование, направленное на регламентацию конкретных создаваемых систем искусственного интеллекта»);
3) исследованы основные риски и неопределенности, связанные с искусственным интеллектом [14, с. 91-109];
4) рассмотрен вопрос о возможности признания системы искусственного интеллекта в качестве особой формы личности (например, в качестве «электронного лица»), что повлечет наделение искусственного интеллекта определенной правосубъектностью (в зависимости от различных факторов и сферы функционирования такой системы) [15, с. 189-203];
5) разработано обоснование для принятия первого в России федерального закона о робототехнике [10, с. 46-62].
Все это, бесспорно, очень важно и весьма своевременно. Однако нетрудно заметить, что сфера применения и основные проблемы «права роботов» и у нас, и за рубежом не имеют прямой и непосредственной связи с «классическим» уголовным правом. Правовое регулирование деятельности «элементов искусственного интеллекта», по существу, сводится к сфере гражданско-правового и смежного с ним регулирования, в крайнем случае затрагивает административно-правовое поле. Поэтому возникает закономерный вопрос: а должно (может) ли уголовное право в принципе реагировать на появление искусственного интеллекта?
Искусственный интеллект и уголовное право. В западной (преимущественно, американской) доктрине вопрос об уголовно-правовом «вмешательстве» в деятельность искусственного интеллекта ставится в плоскость решения главной проблемы: что надо делать в случае, когда «робот убил человека» либо причинил существенный вред здоровью человека?
Г. Хэллеви Hallevy), один из наиболее авторитетных специалистов в области «права роботов», отмечает, что растущее использование искусственного интеллекта и роботов в коммерческой, промышленной, военной, медицинской и личной сферах вызвало широкую дискуссию «о человеческих отношениях с этими сущностями». Каковы юридические последствия, если искусственный интеллект или «роботизированное предприятие» причиняет вред жизни и здоровью? Решение этой проблемы он видит в разработке специальной теории уголовной ответственности за действия искусственного интеллекта и роботов, которая бы охватывала «производителя, программиста, пользователя и всех других вовлеченных лиц» [16, с. 177-178].
В одной из работ последнего времени указывается, что уголовная ответственность «за действия» искусственного интеллекта до сих пор ограничивается «потенциально обвиняемыми людьми, которые обязаны были действовать», и она невозможна за «автономные» действия
искусственного интеллекта («без привлечения какого-либо человека»). Поэтому наилучшим решением является наложение «надзорной обязанности» на владельца по контролю над искусственным интеллектом «во избежание риска для вреда, даже если действие не было предсказуемым для оператора». Основная проблема этого решения заключается в том, что «непредсказуемость действий искусственного интеллекта» останется. Возможно, в будущем искусственный интеллект сам сможет подлежать уголовной ответственности, но в настоящее время «искусственный интеллект и его руководители левитируют в пустом пространстве без четкого представления о том, что правильно в уголовном праве, а что - нет» [17, с. 45-47].
Таким образом, американские авторы, говоря об уголовной ответственности за «поведение робота», разрабатывают концепцию ответственности людей, причастных к разработке, программированию, эксплуатации искусственного интеллекта и управлению им.
Особое внимание при этом уделяется actus reus (объективной стороне), то есть поведению лица, так или иначе связанного с деятельностью искусственного интеллекта, а также кругу обязанностей, возложенных на такое лицо, несоблюдение либо ненадлежащее исполнение которых привело к причинению искусственным интеллектом вреда. В случае когда в поведении человека не доказано несоблюдение либо ненадлежащее соблюдение указанной обязанности, констатируется отсутствие причинной связи между поведением искусственного интеллекта и наступившими последствиями, и уголовная ответственность такого лица исключается.
Что касается установления means rea (т. е. субъективной стороны) человека, связанного с деятельностью искусственного интеллекта, предлагается два варианта решения:
1. Устанавливать любую из традиционных для англо-американского уголовного права форму вины (намерение, легкомыслие, небрежность) и, в зависимости от последней, давать квалификацию причиненному вреду. Если, например, доказано намеренное нарушение операторских правил в отношении искусственного интеллекта, то лицо-оператор будет нести ответственность за намеренное (в нашем понимании - умышленное) причинение вреда, совершенное де-факто искусственным интеллектом.
2. Распространить на лиц, так или иначе связанных с искусственным интеллектом, правило «строгой ответственности». Суть этого правила
сводится к формуле «сделал - значит виноват». В данном случае совершенно неважно, каким было психическое отношение лица к «поведению» искусственного интеллекта - он отвечает за любой вред, причиненный последним (заметим, что возможность распространения этого правила в отношении людей, связанных с искусственным интеллектом, получила серьезную критику в американской доктрине).
Итак, вопрос об уголовной ответственности самого искусственного интеллекта (точнее - его физического носителя) в американской доктрине если и ставится, то его решение отодвигается в неопределенное будущее.
Собственно говоря, и для нас проблема уголовной ответственности искусственного интеллекта как такового в уголовно-правовой плоскости звучит так: может ли искусственный интеллект быть самостоятельным субъектом в уголовном праве?
Полагаем, что пока активность искусственного интеллекта так или иначе связана с человеком и опосредованно либо непосредственно подчиняется человеку, существует единственный ответ -нет. С точки зрения доминирующей в российском уголовном праве позиции, пока технический объект любой степени сложности и, если можно так выразиться, «интеллектуальности» связан с человеческим поведением и контролируется человеком, он, по существу, является орудием причинения уголовно значимого вреда. И в этом плане нет юридической разницы, наступил такой вред в результате воздействия утюга либо технически «продвинутого» механизма.
Ситуация может измениться, когда физический носитель искусственного интеллекта получит возможность полной автономии от человека. Если такой носитель приобретет свои «личные» способности осмысливать свое фактическое поведение, его возможные результаты и произвольно руководить своей собственной активностью, в этом случае можно будет говорить о том, что «лед тронулся». Но и этого недостаточно.
Один из основателей «права роботов», Л.Б. Солэм (L.B. Solum), четверть века назад писал о том, что искусственный интеллект «не обладает определенными критически важными составляющими человеческой индивидуальности» (такими как душа, самосознание, целеустремленность, чувства, интересы). Однако тут же он приводит и доказательства обратного.
Например, аргумент, что искусственные интеллекты не имеют души, вследствие чего не могут претендовать на конституционные права личностей, в сфере правовых споров и политических
дебатов потерпит (может потерпеть) неудачу, поскольку «утверждение, что искусственные интеллекты не обладают душой, основывается на дискуссионном теологическом презюмировании, но политические и правовые решения обычно принимаются в соответствии с требованиями наличия публичных интересов и мотивов». Далее, требование наличия общественных мотивов «исключает использование религиозных аргументов о душах в правовом решении о конституционном статусе искусственного интеллекта».
Даже если искусственный интеллект сможет «симулировать человеческий интеллект, он не будет обладать самосознанием, и, следовательно - он не может претендовать на особые фундаментальные права». Ключевой вопрос: «может ли искусственный интеллект расценивать свою жизнь как благо»? Если учесть, что сознание является атрибутом интеллекта, и если все «такие атрибуты являются продуктами процессов, происходящих в мозге, и если такие процессы могут быть смоделированы на компьютере, то, быть может, и сознание может быть воссоздано искусственным интеллектом» [18, с. 1262-1265].
Пока самая «умная» машина будет способна лишь к «холодному разуму», вряд ли ее можно признать субъектом уголовного права (уголовной ответственности). Такая машина не будет поддаваться уголовно-правовому воздействию в том значении, как мы его понимаем - она (машина) попросту не сможет чувствовать, переживать и т. п. И даже если самого интеллектуально продвинутого «взбесившегося» робота пустить под пресс за причиненный вред, вряд ли кто осмелится назвать это исполнением наказания в уголовно-правовом смысле.
Возможно, гипотетически когда-нибудь будут созданы физические носители искусственного интеллекта, которым станут свойственны не только разум и воля, но и вся гамма человеческих чувств, эмоций, переживаний. Возможно, эти создания смогут дружить и любить, совершать героические и мерзкие поступки, стыдиться и гордиться и т. д. и т. п. Нельзя абсолютно исключить вероятность появления в нашем мире таких романтически-чувственных и преданных роботов, как в «Приключениях Электроника» К. Бромберга либо фанатически и враждебно настроенных машин, словно из «Мира дикого Запада» режиссеров Дж. Нолана и Л. Джой (J. Nolan & L. Joy).
Вот когда такое случится - можно будет ставить вопрос о признании носителя искусственного интеллекта субъектом уголовного права и уголовной ответственности. Случится ли это в принципе? Никто точно не знает. Поживем - увидим.
Примечания
1. Козаев Н.Ш. Современные проблемы уголовного права, обусловленные научно-техническим прогрессом: автореф. дис. ... д-ра юрид. наук. Краснодар, 2016.
2. Тисленко Д.И. Экологический терроризм: уголовно-правовые и криминологические проблемы: автореф. дис. ... канд. юрид. наук. Саратов, 2012.
3. Кибальник А.Г. Проблемы международного уголовного права в зарубежных диссертационных исследованиях // Криминологический журнал Байкальского государственного университета экономики и права. 2014. № 2.
4. Кравцов Д.А. Искусственный разум: предупреждение и прогнозирование преступности // Вестник Московского университета МВД России. 2018. № 3.
5. Borghardt F.N. Artificial Intelligence's Place in the Criminal Justice System. URL: https://www.borghardt-lawfirm.com/news/2018/2/13/artificial-intelligences-place-in-the-criminal-justice-system (дата обращения: 28.07.2018).
6. Robot Kills Worker at Volkswagen Plant in Germany // The Guardian. 2015. 2 July.
7. Минобороны: в России уже есть образцы вооружения с технологиями искусственного интеллекта. URL: https://tass.ru/armiya-i-opk/5485116 (дата обращения: 28.07.2018).
8. Simonite T. For Superpowers, Artificial Intelligence Fuels New Global Arms Race // Wired Magazine. 2017. 9 August.
9. Becker J. How to Beat Russia and China on the Battlefield: Military Robots // The National Interest. 2018. 18 March.
10. Архипов В.В., Наумов В.Б. Искусственный интеллект и автономные устройства в контексте права: о разработке первого в России закона о робототехнике // Труды СПИИРАН. 2017. № 6. С. 46-62.
11. Balkin J.M. The Path of Robotics Law // California Law Review Circuit. 2015. Vol. 6. Pp. 45-60.
12. Calo R. Robots in American Law // University of Washington School of Law Research. Paper no. 2016-04. URL: https://papers.ssrn.com/sol3/papers.cfm?abstract_ id=2737598 (дата обращения: 28.07.2018).
13. Kemp R. Legal Aspects of Artificial Intelligence. URL: http://www.kempitlaw.com/wp-content/up-loads/2016/11/Legal-Aspects-of-AI-Kemp-IT-Law-v1.0-Nov-2016-2.pdf (дата обращения: 28.07.2018).
14. Понкин И.В., Редькина А.И. Искусственный интеллект с точки зрения права // Вестник Российского университета дружбы народов. Серия: Юридические науки. 2018. Т. 22. № 1.
15. Ястребов О.А. Дискуссия о предпосылках для присвоения роботам правового статуса «электронных лиц» // Вопросы правоведения. 2017. № 1.
16. Hallevy G. When Robots Kill: Artificial Intelligence under Criminal Law. University Press of New England, 2013.
17. Claussen-Karlsson M. Artificial Intelligence and the External Element of the Crime. Orebro University, 2017.
18. Solum L.B. Legal Personhood for Artificial Intelligences// North Carolina Law Review. 1992. Vol. 70. № 4.
Notes
1. Kozaev N.Sh. Contemporary problems of criminal law due to scientific and technical progress. Author's abstract ... doctor of legal sciences. Krasnodar, 2016. (In Russ.)
2. Tislenko D.I. Environmental terrorism: criminal-law and criminological problems: Author's abstract ... candidate of legal sciences. Saratov, 2012. (In Russ.)
3. Kibalnik A.G. International criminal law problems in international thesis researches. Criminology Journal of Baikal National University of Economics and Law. 2014, no. 2. (In Russ.)
4. Kravtsov D.A. Artificial intelligence: crime prevention and prediction. Bulletin of Moscow University of Russian MIA, 2018, no. 3, pp. 108-110. (In Russ.)
5. Borghardt F.N. Artificial Intelligence's Place in the Criminal Justice System. URL: https://www. borghardtlawfirm.com/news/2018/2/13/artificial-intelli-gences-place-in-the-criminal-justice-system (accessed 28.07.2018).
6. Robot Kills Worker at Volkswagen Plant in Germany. The Guardian. 2015, July 2.
7. Defense Ministry: Russia already has weapons samples with artificial intelligence technology. URL: https://tass.ru/armiya-i-opk/5485116 (accessed 28.07.2018). (in Russ.)
8. Simonite T. For Superpowers, Artificial Intelligence Fuels New Global Arms Race. Wired Magazine, 2017, August 9.
9. Becker J. How to Beat Russia and China on the Battlefield: Military Robots. The National Interest, 2018, March 18.
10. Arkhipov V.V., Naumov V.B. Artificial intelligence and autonomous devices in legal context: on development of the first russian law on robotics. SPIIRAS Proceedings, 2017, no. 6. (in Russ.)
11. Balkin J.M. The Path of Robotics Law. California Law Review Circuit, 2015, vol. 6.
12. Calo R. Robots in American Law. University of Washington School of Law Research, Paper no. 2016-04. URL: https://papers.ssrn.com/sol3/papers. cfm?abstract_id=2737598 (accessed 28.07.2018).
13. Kemp R. Legal Aspects of Artificial Intelligence. URL: http://www.kempitlaw.com/wp-content/up-loads/2016/11/Legal-Aspects-of-AI-Kemp-IT-Law-v1.0-Nov-2016-2.pdf (accessed 28.07.2018).
14. Ponkin I.V., Redkina A.I. Artificial intelligence from the point of view of law. Russian university of peoples' friendship bulletin. Serial: Juridical sciences, 2018, vol. 22, no. 1. (in Russ.)
15. Yastrebov O.A. Discussion on the prerequisites for assigning the legal status of «electronic persons» to robots. Questions of jurisprudence, 2017, no. 1. (in Russ.)
16. Hallevy G. When Robots Kill: Artificial Intelligence under Criminal Law. University Press of New England, 2013.
17. Claussen-Karlsson M. Artificial Intelligence and the External Element of the Crime. Orebro University, 2017.
18. Solum L.B. Legal Personhood for Artificial Intelligences. North Carolina Law Review, 1992, vol. 70, no. 4.
