CC BY
59
УДК 343.9
DOI 10.24147/2542-1514.2021.5(1).185-201
КРИМИНОЛОГИЧЕСКАЯ КЛАССИФИКАЦИЯ РОБОТОВ: РИСК-ОРИЕНТИРОВАННЫЙ ПОДХОД
И.Р. Бегишев
Казанский инновационный университет им. В.Г. Тимирясова (ИЭУП), г. Казань, Россия
Информация о статье
Дата поступления -
04 октября 2020 г.
Дата принятия в печать -
15 января 2021 г.
Дата онлайн-размещения -
15 апреля 2021 г.
Ключевые слова
Искусственный интеллект, криминальная рискология, криминальный риск, криминологическая классификация,
криминологический риск, риск, риск-ориентированный подход, робот, робототехника
Раскрываются ключевые аспекты применения риск-ориентированного подхода к робототехнике, в частности предлагается ориентироваться на основные положения криминальной рискологии при оценке посягательств с участием роботов. Обозначены ключевые риски и вызовы при использовании роботов. Дана авторская классификация рисков по тяжести последствий при причинении вреда и по вероятности причинения вреда роботами; приведена матрица степени причинения вреда роботами по категории рисков. На основе риск-ориентированного подхода приведена и обоснована криминологическая классификация роботов, а также выявлен причинный комплекс, который может привести к возникновению рисков.
CRIMINOLOGICAL CLASSIFICATION OF ROBOTS: RISK-BASED APPROACH
Ildar R. Begishev
Kazan Innovative University named after V.G. Timiryasov (IEML), Kazan, Russia
Article info
Received -
2020 October 04 Accepted -
2021 January 15 Available online -2021 April 15
Keywords
Artificial intelligence, criminal riskology, criminal risk, criminological classification, criminological risk, risk, risk-based approach, robot, robotics
The subject of the research is key criminal risks in robotics.
The purpose of the article is to confirm or disprove the hypothesis that key criminal risks of using robots may be identified and classified. The author dares to describe the key aspects of the application of risk-based approach in the assessment of robotic activities, identify the key risks of using robots, give a criminological classification.
The methodology includes a formal logical method, systematic approach, formal legal interpretation of legal acts and academic literature, SWOT analysis.
The main results of the study. The author applies the main provisions of criminal riskology when assessing encroachments involving robots. Key risks and challenges when using robots are identified. The severity of the consequences of harm caused by using robots (from minor to critical risk) is assessed and a matrix of the probability of its occurrence is provided. The author's criminological classification of robots is based on the risk-based approach and is substantiated on two grounds. The first one is the category of public danger and the second is the potential severity of the consequences of harm caused by robots. The causal complex that can lead to criminal risks in robotics is identified. The grounds of such risks are divided into those related to the mechanical subsystem of robots, digital subsystem of robots and power supply subsystem of robots.
Conclusions. The risk-based approach is the most progressive and effective basis for regulating the criminal relations in robotics. The author demonstrates the existence of real risks to the peace and security of mankind, life and health of people, objects of wildlife, nonliving material objects from the use of robots. It is necessary to recognize robotics as source of increased potential criminal danger and to adopt appropriate regulation as soon as possible. The necessity and expediency of applying a risk-based approach to robotics is theoretically substantiated, and the characteristics of robots that are important in assessing the criminal potential of their exploitation are evaluated. The conclusions and recom-
mendations of this paper may become a basis for the implementation of the risk-based approach in legal regulation of robotics. The risk matrix presented in the article can be used to establish a framework for regulatory impact on robotics, assess the consequences of potential harm and minimize it.
1.Введение
Человечество стоит на пороге эпохи, когда расширение горизонтов использования искусственного интеллекта дает старт новой промышленной революции. Его применение неизбежно приводит к проблеме этического выбора, широко освещаемой в отечественной и зарубежной науке [1-10]. Развитие искусственного интеллекта порождает также множество сугубо правовых вопросов [11-22], требующих оперативного вмешательства [23, с. 564].
В современном мире роботы и искусственный интеллект стали неотъемлемой компонентой жизнедеятельности человека [24-29], они улучшают нашу повседневную жизнь [30, p. 373]. Машины, работающие на основе искусственного интеллекта, все чаще становятся посредниками в наших социальных, культурных, экономических и политических взаимодействиях [31, p. 477]. Последствия появления и развития разумных роботов для социальных отношений, общества в целом обсуждаются уже не только в связи с рисками и преимуществами автоматизации, но и в контексте угрозы утраты контроля за саморазвивающимся автономным искусственным интеллектом [32, с. 216].
Использование роботов при выполнении рутинных процессов и операционной деятельности, на которую ранее был способен только человек, не только значительно облегчило тяжелый труд, определило вектор на переориентирование ресурсов человечества для выполнения более творческой работы, но и поставило перед мировым сообществом ряд глобальных вопросов. В первую очередь обусловленных стремительным развитием робототехники и искусственного интеллекта и делегированием им функционала в сферах очень значимых и крайне «чувствительных» для человечества, как с
1 См.: The Montréal Declaration for a Responsible Development of Artificial Intelligence. URL: https://www.mon-trealdeclaration-responsibleai.com (дата обращения: 10.08.2020); Asilomar AI Principles. URL: https://futureof-life.org/ai-principles (дата обращения: 10.08.2020).
2 См.: Artificial Intelligence at Google: Our Principles. URL: https://ai.google/principles/ (дата обращения: 10.08.2020); IBM's Principles for Trust and Transparency. URL: https://
www.ibm.com/blogs/policy/wp-content/up-
точки зрения этики, так и права. Понимание поведения систем искусственного интеллекта необходимо для нашей способности контролировать их действия, извлекать из них выгоды и минимизировать их вред [31, p. 477].
Следует поддержать мнение А. Турчина и Д. Денкенбергера, которые считают, что искусственный интеллект может представлять глобальный катастрофический риск на различных стадиях своей эволюции. Сегодня ни одно решение не способно покрыть все риски, связанные с применением робототехники и искусственного интеллекта [33, p. 147].
Как справедливо отмечает М.М. Бабаев, «экономические, технические, технологические, информационные, демографические, экологические и иные новации - все они, как известно, обладали и обладают одновременно как созидательным, так и разрушительным потенциалом. Вытекающие отсюда усложнение и «проблематизация» условий жизни людей обострили систему межличностных отношений, оказались все более «насыщенной» средой возникновения напряженности и бесконечных этнических, религиозных и других социальных конфликтов. В конечном счете современный социум (и Россия в том числе) превратился в «общество всеобщего риска», иначе говоря, общество, производящее высокие технологические и социальные риски во всех сферах своей жизнедеятельности - экономической, политической, социальной» [34, с. 105].
Выработкой этических норм для робототехники и систем с искусственным интеллектом сегодня заняты как экспертное сообщество1, крупные технологические компании, занимающиеся разработкой цифровых технологий2, так и международные организации3. Разработка этичных роботов - одна из самых сложных задач в области искусственного интел-
loads/2018/05/IBM_Principles_OnePage.pdf (дата обращения: 10.08.2020); Microsoft AI principles. URL: https://www.microsoft.com/en-us/ai/responsible-ai?ac-tivetab=pivot1:primaryr6 (дата обращения: 10.08.2020). 3 См.: OECD Principles on AI. URL: https://www.oecd.org/go-ing-digital/ai/principles/ (дата обращения: 10.08.2020); Ethics guidelines for trustworthy AI. URL: https://ec.eu-ropa.eu/digital-single-market/en/news/ethics-guidelines-trustworthy-ai (дата обращения: 10.08.2020).
лекта [35, p. 24]. Искусственный интеллект стал предметом широких и неоднозначных дискуссий [36, p. 1]. Этические дебаты поднимают две основные проблемы: первая - концептуальная, связанная с отсутствием согласия по определению искусственного интеллекта; вторая - функциональная, проистекающая из различного отношения к технологии и праву [37, p. 1].
Вопрос правового регулирования искусственного интеллекта и робототехники стоит во главе повесток ООН4, G205, ЮНЕСКО6, Евросоюза7 и ОЭСР8. В более чем 60 странах мира приняты либо разрабатываются концепции правового регулирования и развития ИИ и робототехники9. При этом во всех них отмечается целесообразность скорейшей оценки рисков внедрения робототехники и искусственного интеллекта, и минимизации их последствий10.
Существующие технологические стандарты робототехники сосредоточены на физическом взаимодействии человека и робота, то есть на предотвращении вреда [38, p. 504] и минимизации рисков [39, p. 30]. Крайне важно, чтобы оценка рисков проводилась не только с учетом собственных интересов производителя роботов, но и с точки зрения других заинтересованных сторон [40, p. 411]. Разработка инновационных решений по управлению рисками имеет стратегическое значение, поскольку производитель роботов фактически несет ответственность за весь вред, причиненный в результате использования его продукта [41, p. 202], в том числе за ошибки роботов на основе искусственного интеллекта [42, p. 334].
Риски - сложное социальное явление, корни которого в природе общества, государства и человека [43, с. 11]. Риск, представляющий собой универсальную категорию социально значимого поведения, в уголовном праве должен рассматриваться
4 Стратегия Генерального секретаря в отношении новых технологий. URL: https://www.un.org/en/newtechnolo-gies/images/pdf/SGs-Strategy-on-New-Technologies-RU.pdf (дата обращения: 10.08.2020).
5 Осакская декларация лидеров стран «Группы двадцати». URL: http://kremlin.ru/supplement/5425 (дата обращения: 10.08.2020).
6 Report of COMEST on robotics ethics. URL: http:// unesdoc.unesco.org/images/0025/002539/253952E.pdf (дата обращения: 10.08.2020).
7 European Parliament resolution of 16 February 2017 with
recommendations to the Commission on Civil Law Rules on
Robotics (2015/2103(INL)). URL: https://www.europarl.eu-ropa.eu/doceo/document/TA-8-2017-0051_EN.html (дата
обращения: 10.08.2020).
комплексно, с учетом особенностей всех типов рискованного поведения. Он лежит в основе любой деятельности, может иметь положительную направленность как способ снятия социальной напряженности и достижения общественно полезных целей и отрицательную - в виде угрозы причинения реального вреда охраняемым интересам [44, с. 3]. В рисках поразительным образом сочетаются вызовы и угрозы существующему правопорядку и его возможным изменениям в условиях роботизации [45, с. 544].
В свою очередь, если рассуждать применительно к уголовно-правовым и криминологическим реалиям, риски современного общества являются фоном, на котором разворачиваются, и фактором, который определяет основные направления уголовной политики страны. Область этих рисков - вся наша действительность, все без исключения сферы проявления человеческой активности, которая либо сознательно генерирует, либо допускает возможность наступления неких опасных и вредных последствий. Не только учет реального состояния, но и прогностическую оценку будущего, включающую оценку рисков, надо рассматривать как непременную составляющую интеллектуального обеспечения грамотной уголовной политики и, в частности, криминологии [34, с. 104].
Мы поддерживаем предложение В.Н. Воронина о введении в механизм правового регулирования нового термина «уголовно-правовой риск» и оценка на основе новой разработанной концепции рисков всех цифровых технологий посредством установления их потенциальной опасности для общества [46, c. 76].
Рискология, и ее частное проявление - криминальная рискология - явление достаточно новое и мало изученное в российской криминологии, уго-
8 Recommendation of the Council on Artificial Intelligence. URL: https://legalinstruments.oecd.org/en/instruments/ OECD-LEGAL-0449 (дата обращения: 10.08.2020).
9 National AI policies & strategies. URL: https://oecd.ai/dash-boards/ (дата обращения: 10.08.2020).
10 Об утверждении Концепции развития регулирования отношений в сфере технологий искусственного интеллекта и робототехники на период до 2024 г.: распоряжение Правительства Российской Федерации от 19 августа 2020 г. № 2129-р // Официальный интернет-портал правовой информации. URL: http://www.pravo.gov.ru (дата обращения: 10.09.2020).
ловной политике и в ее составной части - профилактической политике [47, c. 137]. Отсутствие серьезного базиса криминологических исследований, посвященных исследованию понятия риска создает значительные препятствия для повышения эффективности уголовно-правового регулирования.
А криминологическое исследование рисков применения робототехники и искусственного интеллекта явление достаточно новое не только для отечественной науки, но и для мировой.
Настоящее исследование представляет собой одну из первых попыток применения риск-ориентированного подхода к сфере робототехники, определения ключевых криминогенных рисков, на основе которых создана матрица рисков.
2. Теоретическое обоснование применения риск-ориентированного подхода к робототехнике
Исследование ключевых аспектов применения риск-ориентированного подхода к робототехнике невозможно без уяснения ключевого понятия - риска. В данном аспекте мы полностью солидарны с мнением М.М. Бабаева и Ю.Е. Пудовочкина о том, что, «в контексте уголовной политики и криминологии данная формула должна звучать так: риск - это возможная криминогенная опасность» [47, c. 138].
Возможная опасность (риск) и собственно опасность отличаются друг от друга: первая - это потенциал, нереализованная, но реальная, то есть существующая, угроза. Действительная опасность есть реализованный риск. Последний фактически следует рассматривать как прямую угрозу охраняемым законом ценностям, стоящую «в шаге» от события (факта), который принято называть общественно опасным и реагировать на него соответствующим образом в рамках решения задач криминализации. Или же в шаге от деяния, уже признанного преступлением [34, c. 106].
В разрезе правоотношений с участием роботов все чаще появляются исследования, посвященные анализу причинения вреда последними и оценке правовых последствий указанного вреда в рамках существующих уголовно-правовых норм.
Например, Ю.В. Грачева и А.А. Арямов в своей работе [48] указывают, что роботы сегодня могут стать полноправными исполнителями ряда преступлений, таких, как:
- террористический акт (ст. 205 УК РФ), который может выражаться как в совершении взрыва, под-
11 Овчинский B.C. Трамп, ФБР, искусственный интеллект: основные направления стратегии по обеспечению кибер-
жога, отравлении источника водоснабжения, лишении жизни людей с использованием робототехники;
- вандализм (ст. 214 УК РФ): легко себе представить использование дрона, переносящего капсулу с краской и сбрасывающего ее на здание или сооружение для их осквернения;
- приведение в негодность объектов жизнеобеспечения (ст. 215.2 УК РФ) путем их разрушения, повреждения или приведение иным способом в негодное для эксплуатации состояние с помощью роботов. Совершение этих действий из корыстных или хулиганских побуждений квалифицируется по ст. 215.2 УК РФ; при отсутствии названных мотивов, но при наличии цели подрыва экономической безопасности и обороноспособности РФ - по ст. 282 УК РФ;
- незаконное проникновение на подземный или подводный объект, охраняемый в соответствии с законодательством Российской Федерации о ведомственной или государственной охране, с использованием робототехники, включая дроны (ст. 215.4 УК РФ);
- хищение ядерных материалов или радиоактивных веществ путем применения робототехники для незаконного проникновения в помещение или хранилища и завладения предметом преступления (ст. 221 УК РФ);
- незаконное приобретение, передача, сбыт, хищение оружия, его основных частей, боеприпасов, взрывчатых веществ, взрывных устройств (ст. 222, 222.1, 226 УК РФ), а также его незаконное перемещение через таможенную границу Таможенного союза в рамках ЕврАзЭС либо государственную границу РФ государствами - членами Таможенного союза в рамках ЕврАзЭС (ст. 226.1 УК РФ) с использованием робототехники, особенно дронов;
- нападение на морское или речное судно в целях завладения чужим имуществом, совершенное с применением насилия либо с угрозой его применения посредством использования робототехники, включая дроны (ст. 227 УК РФ) [48, c. 173].
В.С. Овчинский сетует на недооценку опасности использования робототехники террористами и экстремистами11.
Г.Г. Камалова считает, что искусственные интеллектуальные системы могут быть использованы для совершения разнообразных преступлений, включая:
- причинение смерти или вреда здоровью человека;
безопасности. URL: http://zavtra.ru/blogs/tramp_fbr_ iskusstvennijJnteNekt (дата обращения: 03.09.2020).
- нарушение права на неприкосновенность частной жизни;
- незаконное получение или неправомерное разглашение охраняемой законом тайны;
- нарушение правил охраны труда;
- мошенничество;
- нарушение безопасности дорожного движения и эксплуатации транспорта;
- террористический акт;
- нарушение правил обращения с оружием и предметами, представляющими повышенную опасность для окружающих;
- нарушение правил оборота наркотических и психотропных веществ;
- преступления в сфере компьютерной информации;
- иные [49, c. 383].
Исследователи отмечают, что преимущества в использовании робототехники для совершения преступлений очевидны:
во-первых, возможность их применения в опасных зонах, в том числе биологически опасных;
во-вторых, физическая безопасность лица, использующего эти технологии для совершения преступления, поскольку оно находится, как правило, далеко от места его использования, у него нет страха быть обнаруженным, получить ранения или погибнуть, что психологически облегчает принятие решений, связанных с причинением вреда;
в-третьих, по использованной робототехнике трудно идентифицировать нападавшего [48, с. 173].
В то же время И.Н. Мосечкин полагает, что в отечественном уголовном законодательстве сегодня «отсутствуют какие-либо составы преступлений, связанные с совершением общественно опасных деяний посредством использования нейронных сетей, искусственного интеллекта или самим искусственным интеллектом» [50, с. 463].
Мы солидарны с мнением европейских специалистов уголовного права, считающих что «лица, которые производят, программируют, продают и используют роботов, должны подлежать уголовной ответственности за умышленное преступление, если они сознательно используют робота для причинения вреда другим. Человек, позволяющий самообучающемуся роботу взаимодействовать с людьми, может
предвидеть, что робот выйдет из-под контроля и причинит вред. Уже сам по себе этот факт может повлечь за собой ответственность за халатность» [51, p. 412].
По мере того как роботы становятся более автономными12, люди будут считать их гораздо ответственными за правонарушения [52, p. 365]. Автономный характер роботов создает проблемы предсказуемости и контроля, которые могут сделать правовое регулирование неэффективным, особенно если робот представляет катастрофический риск [24, p. 354], как например боевой робот.
Не вдаваясь в полемику относительно применимости приведенных норм в уголовно-правовой оценке деяний с использованием робототехники, отметим, что достаточно сложно регламентировать правовые аспекты с участием роботов при отсутствии определения уровня риска, который может быть причинен. Однако, подобного рода исследования являются подтверждением тому, что криминогенные риски применения робототехники очевидны и игнорировать их опасность уже невозможно.
Между тем, криминогенные риски, в силу своего статуса изначального «участника» детерминаци-онного процесса, находятся в зоне относительной недоступности для прямого применения наиболее острых средств воздействия, которыми располагает уголовная политика и, в частности, уголовное право: здесь нет преступления и нет преступника [47, с. 143] (по крайне мере пока).
Применительно к сфере робототехники такое обстоятельство обусловлено также и относительной новизной рассматриваемых отношений.
3. Криминологическая классификация роботов с позиции риск-ориентированного подхода
Анализ специальной научной литературы, посвященной робототехнике, свидетельствует о наличии значительного числа классификаций роботов в зависимости от назначения и решаемого класса задач и др. [53-58] Между тем, для целей настоящего исследования мы ориентировались на критерии, имеющие значимость при оценке криминогенного потенциала. На основе проведенного анализа нами разработана развернутая классификация роботов, имеющих значимость при оценке криминогенного потенциала (рис. 1).
12 Автономные системы - это цифровые технологии, от программных алгоритмов до роботов, которые могут при-
нимать независимые решения с различными уровнями человеческого контроля, а также учиться и изменять свое поведение.
По типу управления
Управляемые
Автономные
По типу по знционир овання
Мобильные
Стационарные
Смешанные
По способу нспольз овання
Индивидуальные
По способу передвижения
Морские
Воздушные
По частоте использования
Редко используемые
е
Часто используемые
По классу опасности
Высокой опасности
Средней опасности
Низкой опасности
Неопасные
По физическому состоянию
Металлические
Легко ставные
Композитные
По сложности
Простые
Сложные
Особо сложные
По степени общественной опасности
Опасные для мира и безопасности человечества
Опасные для объектов живой природы
Опасные для жизни и здоровья людей
Опасные для неживых материальных
По назначению
(от целей их использования)
Граящанские
Про мышленные
Бытовые
Медицинские
Образо ватель ные
Научные
Служебные
Правоохранительные
Рис. 1. Классификация роботов, имеющие значимость при оценке криминогенного потенциала
Имеющаяся на сегодняшний день литература по рискологии изобилует различными подходами и конструкциями классификации рисков. Однако до сих пор ещё не разработано общепринятой и одновременно исчерпывающей классификации рисков, что объясняется их многообразием, а также появлением новых видов [59, с. 177]. Указанное верно и для криминологических классификаций. Систематизация и классификация современных криминологических
знаний и представлений о них многомерна и многолика. Их криминологическая группировка может быть произведена по различным основаниям [60, с. 26].
Наибольшее внимание при классификации криминологических рисков применения робототехники заслуживает подход по критерию содержания структурных характеристик риска таких, как опасность, подверженность риску, уязвимость, взаимодействие с другими рисками.
Конкретизируя указанный подход, нами выделяются два ключевых основания, которые положены в основу, при оценке рисков:
1. по тяжести последствий при причинении вреда роботами;
2. по степени общественной опасности.
Отметим, что при классификации по тяжести
последствий при причинении вреда роботами ввиду необходимости отображения как величины риска, так и сочетания его компонентов, нами применялась матрица рисков (см. ниже).
Охарактеризуем ее элементы подробнее.
Проведенное исследование свидетельствует о том, что по тяжести последствий при причинении вреда роботами можно выделить следующие категории рисков:
1) незначительный риск;
2) существенный риск;
3) высокий риск;
4) критический риск.
Рассмотрим указанные виды риска более подробно.
1. Незначительный риск. При незначительных рисках уровень негативного воздействия будет минимальным и может повлечь за собой незначительные негативные последствия.
Например, это может быть связано с работой чат-ботов, которые способны получить доступ к некоторой цифровой информации, не представляющей значительной коммерческий или правовой ценности, но находящейся в закрытом поле. Последствия таких рисков могут быть скорректированы путем оперативного применения правовых или технических инструментов.
Однако следует учесть, что, если не принять необходимых мер (доработка программного обеспечения, правовой контроль и пр.) незначительный риск может повлечь за собой в будущем более тяжелые последствия.
2. Существенный риск. Указанный вид риска может повлечь за собой более тяжелые последствия, нежели предыдущий. Он также предотвратим, как и предыдущий, но его последствия способны принести вред более значительный. В частности, это связано со сбоями в программном обеспечении роботов, способными внести разлад в ту или иную систему жизнеобеспечения или профессиональной деятельности, а также с намеренным использованием роботов для получения доступа к какой-либо информации, способной серьезно дискредитировать субъекта тех или иных отношений или нанести ему финансовый, психологический или фи-
зический вред. Данный вид риска в случае его возникновения или возможности возникновения должен быть обязательно взят под контроль, чтобы избежать последствий его проявления.
3. Высокий риск. Данный вид риска способен вызвать очень серьезные последствия, особенно в том случае, когда создатель программного обеспечения понимает и осознает собственные действия. Чаще всего это связано с разработками в области создания нового оружия, военных роботов, а также роботов, которые способны нанести серьезный физический вред объектам живой или неживой природы. Данный риск часто заранее предопределен, о его возможном проявлении известно как разработчикам, так и пользователям. Достаточно часто сокрытие указанных рисков связано с желанием разработчиков или заказчиков достичь той или иной цели без учета последствий ее достижения для объекта или субъекта воздействия. Указанный вид риска должен быть обязательно учтен в правовом поле, поскольку последствия такого риска могут стать фатальными.
4. Критический риск. Чаще всего критические риски связаны с прямой угрозой объектам живой и неживой природы и непосредственно человечеству. Критический риск возникает и тогда, когда тот или иной объект, обладающий искусственным интеллектом, выходит из-под контроля человека и способен повлечь за собой смерть и разрушения. В качестве примера можно привести суперинтеллект - автономную боевую систему, которая может представлять потенциальную опасность. Гипотетически, будучи результатом высоко технологичных исследований, суперинтеллект может обрести сознание, проявить враждебность и создать угрозу миру и безопасности человечества. Преодоление критического риска сопряжено со значительными, порой непреодолимыми трудностями. Соответственно, на первый план должно выходить недопущение указанного риска максимально возможными способами. При возникновении критического риска необходимо быстрое принятие решений по его нивелированию.
В представленной матрице (рис. 2) по одной из шкал прописан уровень тяжести последствий при причинении вреда роботами, по второй - вероятность причинения такого вреда. Из данной матрицы видно, что чем выше вероятность причинения вреда роботами, тем выше уровень риска (он может быть, в большей степени, высоким или критическим). Чем ниже вероятность причинения вреда, тем ниже уровень непосредственного риска (незначительный или существенный).
Вероятность причинения вреда роботами
В есьм а в ероятно
Вероятно
Маловероятно
Крайне маловероятно
Тяжесть последствий при причинении вреда роботами
Незначительная Низкая Средняя Высокая Катастрофическая
Высокий риск Высокий риск Критический риск Критический риск
С- =-ТЕ=ННЫП С- ественный Высокий риск Высокий риск Критический риск
Незначительный риск С- ественный с- ественный Высокий риск Высокий риск
ущ^
Незначительный риск Незначительный риск С ественный с- ественный Высокий риск
ущ^
Рис. 2. Матрица степени причинения вреда роботами по категории рисков
Второе основание криминологической классификации роботов с точки зрения риск-ориентированного подхода - по степени общественной опасности. В частности, роботы могут позиционироваться как:
1. Опасные для мира и безопасности человечества. Здесь речь идет о возможности тотального уничтожения роботами как человечества, так и живой и неживой природы. Правовой и физический контроль человека ограничен или отсутствует;
2. Опасные для жизни и здоровья людей. В частности, опасность заключается в возможности посягательства роботов на здоровье людей, покушения на убийство или его совершение, совершение террористических актов, захват заложников локальные военные конфликты и пр.;
3. Опасные для объектов живой природы. К ним могут быть отнесены различные экологические катастрофы техногенного характера с участием роботов, намеренное или неконтролируемое уничтожение флоры и фауны. Здесь необходимо указать на связь рассматриваемого и предыдущего критериев, так как нанесение вреда живой природе влечет за собой и нанесение вреда человеку, при этом, данный вред может необратимым;
4. Опасные для неживых материальных объектов. Данный критерий охватывает посягательства на собственность, здания, строения, сооружения и пр. Вред, нанесенный в рамках рассматриваемого критерия, может иметь существенные финансовые последствия, так как может повлечь за собой значительные убытки, кроме того, вред может быть нанесен и объектам культурного значения, а также объектам, имеющим историческую ценность, вплоть до их утраты.
В матричной форме распределение основных видов роботов по степени общественной опасности и тяжести последствий, причинённых роботами вреда, исходя из их функционального предназначения выглядит следующим образом (рис. 3)
Согласно рис. 3, можно отметить, что самая катастрофическая тяжесть последствий при причинении вреда роботами может иметь место при применении военных роботов (боевых роботов, летального автономного оружия, смертоносных автономных систем вооружения), поскольку данная категория рассматриваемых объектов запрограммирована, в первую очередь, на агрессивные действия, применение силы и причинения разрушений.
Высокая тяжесть последствий в различных степенях общественной опасности может быть нанесена различными по назначению роботами: так, для мира и безопасности человечества достаточно опасными могут быть космические роботы (как вид военных роботов), поскольку негативное воздействие таких роботов из космоса может нанести человечеству и планете непоправимый урон в случае выхода из-под контроля человека или же в результате запрограммированного технического решения последнего.
Правоохранительные роботы могут причинить высокую тяжесть последствий для жизни и здоровья людей, это может быть связано с определенными командами, которые заложены в программном обеспечении на этапе создания и которые могут быть направлены, например, на подавление демонстраций, массовых бунтов. Кроме того, правоохранительные роботы, так же как военные, запрограммированы на агрессивные действия против человека
при необходимости. По этой причине выход таких щественного порядка также может иметь фатальные роботов из-под контроля в процессе наведения об- последствия.
Степень Тяжесть последствий при причинении вреда роботами
общественной опасности Незначительная Низкая Средняя Высокая Катастрофическая
опасные для мира и безопасности человечества Бытовые, образов ательные _ научные роботы Медицинские роботы Правоохранитель ныероботы Правоохранитель ные роботы Военные роботы
опасные для жизни и здоровья людей Бытовые роботы Образов ательные роботы, научные роботы Промышленные, медицинские роботы Правоохранитель ные роботы Военные роботы
опасные для объектов живой природы Бытовые, медицинские роботы Образов ательные роботы, научные роботы Правоохранитель ные роботы Промышленные роботы Военные роботы
опасные для неживых м атериальных объектов Образовательные роботы, научные роботы Бытовые, промышленные роботы Промышленные роботы Промышленные роботы Военные роботы
Рис. 3. Матрица степени причинения вреда роботами по степени общественной опасности
Для объектов живой природы высокую опасность, и соответственно, высокую тяжесть последствий могут представлять промышленные роботы, так как, выполняя поставленные перед ними задачи, такие роботы лишены возможности анализировать, насколько высок уровень экологической опасности от совершаемых ими действий. В этой связи, действия промышленных роботов, например, в добывающей или лесной промышленности, могут привести к экологической катастрофе.
Спасательные роботы (как вид правоохранительных роботов) могут представлять высокую опасность для неживых материальных объектов, так как основная задача таких роботов, заложенная на этапе программирования, - спасать людей. Соответственно, усилия, которые при этом прилагаются, могут иметь отрицательные последствия, например, для зданий или природных территорий, если таковые будут подвергнуты массированным разрушениям для реализации задачи по спасению людей, поскольку выбор альтернативных вариантов в подобных экстремальных ситуациях - это прерогатива человека разумного.
Средняя тяжесть последствий свойственна вреду, который правоохранительные роботы могут причинить миру и безопасности человечества. Например, правоохранительные роботы при выпол-
нении поставленных перед ними задач могут нарушить функционирование критически важных и потенциально опасных объектов.
Промышленные и медицинские роботы также могут причинить вред жизни и здоровью людей, последствия которого могут быть отнесены к средним. Например, медицинский робот, используемый для оперативного вмешательства, может совершить неточные или ошибочные действия, причинив тем самым вред жизни и здоровью человека.
Низкую и незначительную опасность для всех рассматриваемых категорий представляют домашние, образовательные и научные роботы. Опасность может быть связана с ошибками в программном обеспечении, различными техническими сбоями в работе роботов и пр. Указанные аспекты могут стать причиной:
- снижение скорости получения и обработки научной информации и снижение по этой причине эффективности научных исследований (исследовательский робот);
- причинение легкого и средней тяжести вреда здоровью по причине неисправности робота (домашние роботы);
- сокращение числа рабочих мест, невозможность выполнения поставленной производственной
задачи, невыполнение плана производства, нарушение охраны труда и техники безопасности (промышленные роботы).
Таким образом, приведенная криминологическая классификация роботов в рамках риск-ориентированного подхода наглядно демонстрирует прямую корреляцию между степенью общественной опасности роботов и тяжестью последствий причинённого ими вреда.
Следует также отметить, что тот или иной риск может возникнуть, в целом, по нескольким основным причинам, связанным с конструктивными особенностями роботов.
1. Причины, связанные с механической подсистемой роботов:
- недостатки механизмов (приводов, моторов и т.д.), которые не были выявлены на этапе производства (разработки) или же проявились в процессе эксплуатации роботов;
- умышленное создание недекларированных возможностей механизмов роботов в целях совершения тех или иных действий противоправного характера.
2. Причины, связанные с цифровой подсистемой роботов:
- недостатки программного обеспечения (уязвимости программного обеспечения, случайные ошибки программного обеспечения), которые не были выявлены на этапе разработки или же проявились в процессе эксплуатации роботов;
- умышленное программирование (перепрограммирование) роботов на совершение тех или иных действий противоправного характера (недеклариро-ванные возможности программного обеспечения).
3. Причины, связанные с подсистемой энергопитания роботов:
- недостатки питающих элементов (уязвимости питающих элементов), которые не были выявлены на этапе разработки или же проявились в процессе эксплуатации роботов;
- умышленное вмешательство в работу энергоэлементов роботов, направленное на совершение тех или иных действий противоправного характера (нарушение правил эксплуатации и норм безопасности энергопитания роботов).
4. Заключение
Риск-ориентированный подход представляет собой наиболее прогрессивный и эффективный базис для регулирования рассматриваемых отношений.
В рамках проведенного исследования нами наглядно продемонстрировано наличие реальных рисков для мира и безопасности человечества, жизни и здоровья людей, объектов живой природы, неживых материальных объектов от применения роботов. Это обусловливает необходимость скорейшего признания роботов источниками повышенной опасности [61] либо автономными источниками повышенной опасности [62, pp. 764] и принятия соответствующего регулирования.
На основе системного анализа теоретически обоснована необходимость и целесообразность применения риск-ориентированного подхода к робототехнике, дана оценка признакам роботов, имеющим значение при оценке криминогенного потенциала.
В рамках проведенного исследования оценена тяжесть последствий при причинении вреда роботами (от незначительного до критического риска), и приведена матрица по вероятности их наступления, а также разработана авторская криминологическая классификация роботов по двум основаниям: по степени общественной опасности и по потенциальной тяжести последствий при причинении вреда роботами.
Автором также делается вывод, что тот или иной риск может возникнуть, в целом, по нескольким основным причинам, связанным с конструктивными особенностями роботов разработана также типология причин в зависимости от них.
Стоит также заключить, что сделанные в работе выводы и рекомендации могут послужить основой для реализации риск-ориентированного подхода, заложенного в основу принципов регулирования отношений в российской Концепции развития регулирования отношений в сфере технологий искусственного интеллекта и робототехники. Кроме того, необходимо отметить, что приведенная в работе матрица рисков может быть использована для создания рамок регуляторного воздействия, оценки последствий потенциального вреда и их минимизации.
СПИСОК ЛИТЕРА ТУРЫ
1. Gómez de Ágreda Á. Ethics of autonomous weapons systems and its applicability to any AI systems / Á. Gómez de Ágreda // Telecommunications Policy. - 2020. - Vol. 44, No 6. - P. 101953. - DOI: 10.1016/j.telpol. 2020.101953
2. Winfield A. Ethical standards in robotics and AI. Nat Electron / A. Winfield // Nature Electronics. - 2019. -Vol. 2. - P. 46-48. - DOI: 10.1038/s41928-019-0213-6.
3. Dignum V. Ethics in artificial intelligence: introduction to the special issue / V. Dignum // Ethics and Information Technology. - 2018. - Vol. 20, No 1. - P. 1-3. - DOI: 10.1007/s10676-018-9450-z.
4. Lin P. Robot ethics: Mapping the issues for a mechanized world / P. Lin, K. Abney, G. Bekey // Artificial Intelligence. - 2011. - Vol. 175, No 5-6. - P. 942-949. - DOI: 10.1016/j.artint.2010.11.026.
5. Belk R. Ethical issues in service robotics and artificial intelligence / R. Belk // The Service Industries Journal. -2020. - Vol. 40, No 10. - P. 1-17. - DOI: 10.1080/02642069.2020.1727892.
6. Sharkey N. The Ethical Frontiers of Robotics / N. Sharkey // Science. - 2008. - Vol. 322, No 5909. - P. 18001801. - DOI: 10.1126/science. 1164582.
7. Lo Piano S. Ethical principles in machine learning and artificial intelligence: cases from the field and possible ways forward / S. Lo Piano // Humanities and Social Sciences Communications. - 2020. - Vol. 7, No 9. - P. 1-7. -DOI: 10.1057/s41599-020-0501-9.
8. Green B.P. Ethical Reflections on Artificial Intelligence / B.P. Green // Scientia et Fides. - 2018. - Vol. 6, No 2. - P. 9-31. - DOI: 10.12775/SetF.2018.015.
9. Winfield AFT. Ethical governance is essential to building trust in robotics and artificial intelligence systems / AFT. Winfield, M. Jirotka // Philosophical Transactions of the Royal Society A: Mathematical, Physical and Engineering Sciences. - 2018. - Vol. 376, No 2133. - P. 1-13. - DOI: 10.1098/rsta.2018.0085.
10. Tubert A. Ethical Machines? / A. Tubert // Seattle University Law Review. - 2018. - Vol. 41, No 4. - P. 11631168.
11. Guo S. Robot Rights / S. Guo, G. Zhang // Science. - 2009. - Vol. 323, No 5916. - P. 876a. - DOI: 10.1126/ science.323.5916.876a.
12. Fosch-Villaronga E. Robots, standards and the law: Rivalries between private standards and public policymaking for robot governance / E. Fosch-Villaronga, A.J. Golia // Computer Law & Security Review. - 2019. - Vol. 35, No 2. - P. 129-144. - DOI: 10.1016/j.clsr.2018.12.009.
13. Leenes R. Regulatory challenges of robotics: some guidelines for addressing legal and ethical issues / R. Leenes, E. Palmerini, B.-J. Koops, A. Bertolini, P. Salvini, F. Lucivero // Law, Innovation and Technology. - 2019. -Vol. 9, No 1. - P. 1-44. - DOI: 10.1080/17579961.2017.1304921.
14. Bokovnya A.Yu. Pressing Issues of Unlawful Application of Artificial Intelligence / A.Yu. Bokovnya, I.R. Begishev, Z.I. Khisamova, I.I. Bikeev, E.L. Sidorenko, D.D. Bersei // International Journal of Criminology and Sociology. - 2020. - Vol. 9. - P. 1054-1057. - DOI: 10.6000/1929-4409.2020.09.119.
15. Boden M. Principles of robotics: regulating robots in the real world / M. Boden, J. Bryson, D. Caldwell, K. Dautenhahn, L. Edwards, S. Kember, P. Newman, V. Parry, G. Pegman, T. Rodden, T. Sorrell, M. Wallis, B. Whitby, A. Winfield // Connection Science. - 2017. - Vol. 29, No 2. - P. 124-129. - DOI: 10.1080/09540091.2016.1271400.
16. Van den Berg B. Robots as Tools for Techno-Regulation / B. Van den Berg // Law, Innovation and Technology. - 2011. - Vol. 3, No 2. - P. 319-334. - DOI: 10.5235/175799611798204905.
17. Bennett B., Daly A. Recognising rights for robots: Can we? Will we? Should we? / B. Bennett, A. Daly // Law, Innovation and Technology. - 2020. - Vol. 12, No 1. - P. 1-21. - DOI: 10.1080/17579961.2020.1727063.
18. Baranov P.P. Problems of Legal Regulation of Robotics and Artificial Intelligence from the Psychological Perspective / P.P. Baranov, A.Yu. Mamychev, A.A. Plotnikov, D.Yu. Voronov, E.M. Voronova // Propósitos y Representaciones. - 2020. - Vol. 8, No 2. - e511. - DOI: 10.20511/pyr2020.v8n2.511 .
19. Bokovnya A.Yu. Legal Approaches to Artificial Intelligence Concept and Essence Definition / A.Yu. Bokovnya, I.R. Begishev, Z.I. Khisamova, N.R. Narimanova, L.M. Sherbakova, A.A. Minina // Revista San Gregorio. - 2020. -No 41. - P. 115-121. - DOI: 10.36097/rsan.v1i41.1489.
20. Calo R. Robots as Legal Metaphors / R. Calo // Harvard Journal of Law & Technology. - 2016. - Vol. 30, No 1. - P. 209-237. - DOI: 10.20511/pyr2020.v8n2.511.
21. Danaher J. Robots, Law and the Retribution Gap / J. Danaher // Ethics and Information Technology. -2016. - Vol. 18, No 4. - P. 299-309. - DOI: 10.1007/s10676-016-9403-3.
22. Bertolini A. Robot companions: A legal and ethical analysis /A. Bertolini, G. Aiello // The Information Society. - 2018. - Vol. 34, No 3. - P. 130-140. - DOI: 10.1080/01972243.2018.1444249.
23. Хисамова З.И. Уголовная ответственность и искусственный интеллект: теоретические и прикладные аспекты / З.И. Хисамова, И.Р. Бегишев // Всероссийский криминологический журнал. - 2019. - Т. 13, № 4. -
C. 564-574. - DOI: 10.17150/2500-4255.2019.13(4).564-574.
24. Scherer M.U. Regulating Artificial Intelligence Systems: Risks, Challenges, Competencies, and Strategies / M.U. Scherer // Harvard Journal of Law & Technology. - 2016. - Vol. 29, No 2. - P. 353-400.
25. Bikeev I.I. Criminological risks and legal aspects of artificial intelligence implementation / I.I. Bikeev, P.A. Kabanov, I.R. Begishev, Z.I. Khisamova // ACM International Conference Proceeding Series. - 2019. - No a20. -DOI: 10.1145/3371425.3371476.
26. King T.C. Artificial Intelligence Crime: An Interdisciplinary Analysis of Foreseeable Threats and Solutions / T.C. King, N. Aggarwal, M. Taddeo, L. Floridi // Science and Engineering Ethics. - 2020. - Vol. 26, No 1. - P. 89-120. -DOI: 10.1007/s11948-018-00081-0 .
27. Бегишев И.Р. Криминологические риски применения искусственного интеллекта / И.Р. Бегишев, З.И. Хисамова // Всероссийский криминологический журнал. - 2018. - Т. 12, № 6. - С. 767-775. - DOI: 10.17150/ 2500-4255.2018.12(6).767-775.
28. Caldwell M. AI-enabled future crime / M. Caldwell, J.T.A. Andrews, T. Tanay, L.D. Griffin // Crime Science. -2020. - Vol. 9, No 14. - P. 564-577. - DOI: 10.1186/s40163-020-00123-8.
29. Khisamova Z.I. Artificial Intelligence and Problems of Ensuring Cyber Security / Z.I. Khisamova, I.R. Begishev, E. L. Sidorenko // International Journal of Cyber Criminology. - 2019. - Vol. 13, No 2. - P. 564-577. - DOI: 10.5281/ zenodo.3709267.
30. Henschel A. Social Cognition in the Age of Human-Robot Interaction / A. Henschel, R. Hortensius, E.S. Cross // Trends in Neurosciences. - 2020. - Vol. 43, No 3. - P. 373-384. - DOI: 10.1016/j.tins.2020.03.013.
31. Rahwan I. Machine behavior / I. Rahwan, M. Cebrian, N. Obradovich, et al. // Nature. - 2019. - Vol. 568. -P. 477-486. - DOI: 10.1038/s41586-019-1138-y.
32. Габов А.В. Эволюция роботов и право XXI в. / А.В. Габов, И.А. Хаванова // Вестник Томского государственного университета. - 2018. - № 435. - С. 215-233. - DOI: 10.17223/15617793/435/28.
33. Turchin A. Classification of global catastrophic risks connected with artificial intelligence / A. Turchin,
D. Denkenberger // AI & Society. - 2020. - Vol. 35, No 1. - P. 147-163. - DOI: 10.1007/s00146-018-0845-5.
34. Бабаев М.М. Риски как компонент детерминационного комплекса преступности / М.М. Бабаев // Вестник Нижегородской академии МВД России. - 2018. - № 1 (41). - С. 104-110. DOI: 10.24411/2078-53562018-00014.
35. Deng B. Machine ethics: The robot's dilemma / B. Deng // Nature. - 2015. - Vol. 523. - P. 24-26. - DOI: 10.1038/523024a
36. Robles Carrillo M. Artificial intelligence: From ethics to law / M. Robles Carrillo // Telecommunications Policy. - 2020. - Vol. 44, No 6. - P. 1-16. - DOI: 10.1016/j.telpol.2020.101937.
37. Robles Carrillo M. La gobernanza de la inteligencia artificial: contexto y parámetros generales / M. Robles Carrillo // Revista Electrónica de Estudios Internacionales. - 2020. - No 39. - P. 1-27. - DOI: 10.17103/reei.39.07.
38. Fosch Villaronga E., Roig A. European regulatory framework for person carrier robots / E. Fosch Villaronga, A. Roig // Computer Law & Security Review. - 2017. - Vol. 33, No 4. - P. 502-520. - DOI: 10.1016/j.clsr.2017.03.018
39. González M. Regulacion Legalde la Robotica y la Inteledencia Artificial: Retos de Futuro / M. González // Revista Jurídica de la Universidad de León. - 2017. - No 4. - P. 25-50. - DOI: 10.1016/j.clsr.2017.03.018.
40. Clarke R. Principles and business processes for responsible AI / R. Clarke // Computer Law & Security Review. - 2019. - Vol. 35, No 4. - P. 410-422. - DOI: 10.1016/j.clsr.2019.04.007.
41. Bertolini A. Wearable Robots: A Legal Analysis. In: González-Vargas J., Ibáñez J., Contreras-Vidal J., van der Kooij H., Pons J. (eds). Wearable Robotics: Challenges and Trends. Biosystems & Biorobotics. Springer. - 2017. -Vol. 16. - P. 201-204. - DOI: 10.1007/978-3-319-46532-6_33.
42. Sumantri V.K. Legal Responsibility on Errors of the Artificial Intelligence-based Robots / V.K. Sumantri // Lentera Hukum. - 2019. - Vol. 6, No 2. - P. 333-348. - DOI: 10.19184/ejlh.v6i2.10154.
43. Тихомиров Ю.А. Риск в фокусе правового регулирования / Ю.А. Тихомиров // Право и современные государства. - 2017. - № 6. - С. 9-23. DOI: 10.14420/ru.2017.6.1.
44. Бабурин В.В. Риск как основание дифференциации уголовной ответственности : автореф. дис. ... канд. юрид. наук / В.В. Бабурин. - Омск, 2009. - 39 с.
45. Тихомиров Ю.А. Роботизация: динамика правового регулирования / Ю.А. Тихомиров, Б.Н. Сариа // Вестник Санкт-Петербургского университета. Право. - 2020. - Т. 11, № 3. - С. 532-549. DOI: 10.21638/spbu14. 2020.301.
46. Воронин В.Н. Уголовно-правовые риски развития цифровых технологий: постановка проблемы и методы научного исследования / В.Н. Воронин // Вестник Университета имени О.Е. Кутафина (МГЮА). - 2018. -№ 12. - С. 73-80. DOI: 10.17803/2311-5998.2018.52.12.073-080.
47. Бабаев М.М. Феномен риска в контексте профилактической политики (криминальная рискология) / М.М. Бабаев, Ю.Е. Пудовочкин // Вестник Санкт-Петербургского университета. Право. - 2019. - Т. 10, № 1. -С. 136-148. DOI: 10.21638/spbu14.2019.110.
48. Грачева Ю.В. Роботизация и искусственный интеллект: уголовно-правовые риски в сфере общественной безопасности / Ю.В. Грачева, А.А. Арямов // Актуальные проблемы российского права. - 2020. - Т. 15, № 6. - С. 169-178. DOI: 10.17803/1994-1471.2020.115.6.169-178.
49. Камалова Г.Г. Некоторые вопросы уголовно-правовой ответственности в сфере применения систем искусственного интеллекта и робототехники / Г.Г. Камалова // Вестник Удмуртского университета. Серия «Экономика и право». - 2020. - № 3. - С. 382-388. DOI: 10.35634/2412-9593-2020-30-3-382-388.
50. Мосечкин И.Н. Искусственный интеллект и уголовная ответственность: проблемы становления нового вида субъекта преступления / И.Н. Мосечкин // Вестник Санкт-Петербургского университета. Право. -2019. - Т. 10, № 3. - 461-476. DOI: 10.21638/spbu14.2019.304.
51. Gless S. If Robots cause harm, Who is to blame? Self-driving Cars and Criminal Liability / S. Gless, E. Silverman, T. Weigend // New Criminal Law Review. - 2016. - Vol. 19, No 3. - P. 412-436. - DOI: 10.1525/nclr.2016.19.3.412.
52. Bigman Y.E. Holding Robots Responsible: The Elements of Machine Morality / Y.E. Bigman, A. Waytz, R. Alterovitz, K. Gray // Trends in Cognitive Sciences. - 2019. - Vol. 23, No 5. - P. 365-368. - DOI: 10.1016/ j.tics.2019.02.008.
53. Matthews P. Technology Definitions. In: Automation and Collaborative Robotics / P. Matthews, S. Greenspan. - Berkeley : Apress, 2020. - P. 45-67. - DOI: 10.1007/978-1-4842-5964-1_2.
54. Ben-Ari M. Robots and Their Applications. In: Elements of Robotics / M. Ben-Ari, F. Mondada. - Berlin : Springer, 2018. - P. 1-20. - DOI: 10.1007/978-3-319-62533-1_1.
55. Gardina D. Social Robot: the Problem of Definition and Classification / D. Gardina // Artificial Societies. -
2018. - Vol. 13, No 1-2. - DOI: 10.18254/S0000115-5-1.
56. Redfield S. A definition for robotics as an academic discipline / S. Redfield // Nature Machine Intelligence. -
2019. - No 1. - P. 263-264. - DOI: 10.1038/s42256-019-0064-x.
57. Lesort T. Continual Learning for Robotics: Definition, Framework, Learning Strategies, Opportunities and Challenges / T. Lesort, V. Lomonaco, A. Stoian, D. Maltoni, D. Filliat, N. Diaz Rodriguez // Information Fusion. - 2020. -Vol. 58. - P. 52-68. - DOI: 10.1016/j.inffus.2019.12.004.
58. Vicentini F. Terminology in safety of collaborative robotics / F. Vicentini // Robotics and Computer-Integrated Manufacturing. - 2020. - Vol. 63. - P. 101921. - DOI: 10.1016/j.rcim.2019.101921.
59. Белых В.И. Системообразующие признаки классификации рисков предприятий / В.И. Белых, С.Г. Пол-ковникова // Наука о человеке: гуманитарные исследования. - 2016. - № 2 (24). - С. 177-182. DOI: 10.17238/ issn1998-5320.2016.24.177.
60. Кабанов П.А. Криминологическая таксономия: понятие, содержание, таксономические единицы и основания их группировки / П.А. Кабанов // Криминологический журнал БГУЭП. - 2007. - № 1-2. - С. 25-29.
61. Бикеев И.И. Материальные объекты повышенной опасности в российском уголовном праве: общие и специальные вопросы / И.И. Бикеев. - Казань : Познание, 2007. - 272 с.
62. Mishchenko E.V. Autonomous Robot as a Source of Increased Danger in Law: Harm Prevention Problems / E.V. Mishchenko, T.V. Letuta, A.E. Shukhman // 1st International Scientific and Practical Conference on Digital Economy (ISCDE 2019). - 2019. - Vol. 105. - P. 764-768. DOI: 10.2991/iscde-19.2019.149.
REFERENCES
1. Gómez de Ágreda Á. Ethics of autonomous weapons systems and its applicability to any AI systems. Telecommunications Policy, 2020, vol. 44, no. 6, pp. 101953. DOI: 10.1016/j.telpol.2020.101953.
2. Winfield A. Ethical standards in robotics and AI. Nat Electron. Nature Electronics, 2019, vol. 2, pp. 46-48. DOI: 10.1038/ s41928-019-0213-6.
3. Dignum V. Ethics in artificial intelligence: introduction to the special issue. Ethics and Information Technology, 2018, vol. 20, no. 1, pp. 1-3. DOI: 10.1007/s10676-018-9450-z.
4. Lin P., Abney K., Bekey G. Robot ethics: Mapping the issues for a mechanized world. Artificial Intelligence, 2011, vol. 175, no. 5-6, pp. 942-949. DOI: 10.1016/j.artint.2010.11.026.
5. Belk R. Ethical issues in service robotics and artificial intelligence. The Service Industries Journal, 2020, vol. 40, no. 10, pp. 1-17. DOI: 10.1080/02642069.2020.1727892.
6. Sharkey N. The Ethical Frontiers of Robotics. Science. 2008, vol. 322, no. 5909, pp. 1800-1801. DOI: 10.1126/science.1164582.
7. Lo Piano S. Ethical principles in machine learning and artificial intelligence: cases from the field and possible ways forward. Humanities and Social Sciences Communications, 2020, vol. 7, no. 9, pp. 1-7. DOI: 10.1057/s41599-020-0501-9.
8. Green B.P. Ethical Reflections on Artificial Intelligence. Scientia et Fides, 2018, vol. 6, no. 2, pp. 9-31. DOI: 10.12775/SetF.2018.015.
9. Winfield AFT., Jirotka M. Ethical governance is essential to building trust in robotics and artificial intelligence systems. Philosophical Transactions of the Royal Society A: Mathematical, Physical and Engineering Sciences, 2018, vol. 376, no. 2133, pp. 1-13. DOI: 10.1098/rsta.2018.0085.
10. Tubert A. Ethical Machines? Seattle University Law Review, 2018, vol. 41, no. 4, pp. 1163-1168.
11. Guo S., Zhang G. Robot Rights. Science, 2009, vol. 323, no 5916, pp. 876a. DOI: 10.1126/science. 323.5916.876a.
12. Fosch-Villaronga E., Golia A.J. Robots, standards and the law: Rivalries between private standards and public policymaking for robot governance. Computer Law & Security Review, 2019, vol. 35, no. 2, pp. 129-144. DOI: 10.1016/j.clsr.2018.12.009.
13. Leenes R., Palmerini E., Koops B.-J., Bertolini A., Salvini P., Lucivero F. Regulatory challenges of robotics: some guidelines for addressing legal and ethical issues. Law, Innovation and Technology, 2019, vol. 9, no. 1, pp. 144. DOI: 10.1080/17579961.2017.1304921.
14. Bokovnya A.Yu., Begishev I.R., Khisamova Z.I., Bikeev I.I., Sidorenko E.L., Bersei D.D. Pressing Issues of Unlawful Application of Artificial Intelligence. International Journal of Criminology and Sociology, 2020, vol. 9, pp. 10541057. DOI: 10.6000/1929-4409.2020.09.119.
15. Boden M., Bryson J., Caldwell D., Dautenhahn K., Edwards L., Kember S., Newman P., Parry V., Pegman G., Rodden T., Sorrell T., Wallis M., Whitby B., Winfield A. Principles of robotics: regulating robots in the real world. Connection Science, 2017, vol. 29, no. 2, pp. 124-129. DOI: 10.1080/09540091.2016.1271400.
16. Van den Berg B. Robots as Tools for Techno-Regulation. Law, Innovation and Technology, 2011, vol. 3, no. 2, pp. 319-334. DOI: 10.5235/175799611798204905.
17. Bennett B., Daly A. Recognising rights for robots: Can we? Will we? Should we? Law, Innovation and Technology, 2020, vol. 12, no. 1, pp. 1-21. DOI: 10.1080/17579961.2020.1727063.
18. Baranov P.P., Mamychev A.Yu., Plotnikov A.A., Voronov D.Yu., Voronova E.M. Problems of Legal Regulation of Robotics and Artificial Intelligence from the Psychological Perspective. Propósitos y Representaciones, 2020, vol. 8, no. 2, e511. DOI: 10.20511/pyr2020.v8n2.511.
19. Bokovnya A.Yu., Begishev I.R., Khisamova Z.I., Narimanova N.R., Sherbakova L.M., Minina A.A. Legal Approaches to Artificial Intelligence Concept and Essence Definition. Revista San Gregorio, 2020, no. 41, pp. 115-121. DOI: 10.36097/rsan.v1i41.1489.
20. Calo R. Robots as Legal Metaphors. Harvard Journal of Law & Technology, 2016, vol. 30, no. 1, pp. 209237. DOI: 10.20511/pyr2020.v8n2.511.
21. Danaher J. Robots, Law and the Retribution Gap. Ethics and Information Technology, 2016, vol. 18, no. 4, pp. 299-309. DOI: 10.1007/s10676-016-9403-3.
22. Bertolini A., Aiello G. Robot companions: A legal and ethical analysis. The Information Society, 2018, vol. 34, no. 3, pp. 130-140. DOI: 10.1080/01972243.2018.1444249.
23. Khisamova Z.I., Begishev I.R. Criminal liability and artificial intelligence: theoretical and applied aspects. Vserossiiskii kriminologicheskii zhurnal = Russian Journal of Criminology, 2019, vol. 13, no. 4, pp. 564-574. DOI: 10.17150|2500-4255.2019.13(4).564-574. (In Russ.).
24. Scherer M.U. Regulating Artificial Intelligence Systems: Risks, Challenges, Competencies, and Strategies. Harvard Journal of Law & Technology, 2016, vol. 29, no. 2, pp. 353-400.
25. Bikeev I.I., Kabanov P.A., Begishev I.R., Khisamova Z.I. Criminological risks and legal aspects of artificial intelligence implementation. ACM International Conference Proceeding Series, 2019, a20. DOI: 10.1145/ 3371425.3371476.
26. King T.C., Aggarwal N., Taddeo M., Floridi L. Artificial Intelligence Crime: An Interdisciplinary Analysis of Foreseeable Threats and Solutions. Science and Engineering Ethics, 2020, vol. 26, no. 1, pp. 89-120. DOI: 10.1007|s11948-018-00081-0.
27. Begishev I.R., Khisamova Z.I. Criminological risks of using artificial intelligence. Vserossiiskii kriminologicheskii zhurnal = Russian Journal of Criminology, 2018, vol. 12, no. 6, pp. 767-775. DOI: 10.17150/2500-4255.2018.12(6).767- 775. (In Russ.).
28. Caldwell M., Andrews J.T.A., Tanay T., Griffin L.D. AI-enabled future crime. Crime Science, 2020, vol. 9, no. 14, pp. 564-577. DOI: 10.1186|s40163-020-00123-8.
29. Khisamova Z.I., Begishev I.R., Sidorenko E.L. Artificial Intelligence and Problems of Ensuring Cyber Security. International Journal of Cyber Criminology, 2019, vol. 13, no. 2, pp. 564-577. DOI: 10.5281|zenodo.3709267.
30. Henschel A., Hortensius R., Cross E.S. Social Cognition in the Age of Human-Robot Interaction. Trends in Neurosciences, 2020, vol. 43, no. 3, pp. 373-384. DOI: 10.1016|j.tins.2020.03.013.
31. Rahwan I., Cebrian M., Obradovich N., et al. Machine behavior. Nature, 2019, vol. 568, pp. 477-486. DOI: 10.1038|s41586-019-1138-y.
32. Gabov A.V., Khavanova I.A. Evolution of Robots and the 21st^entury Law. Vestnik Tomskogo gosudarstven-nogo universiteta = Tomsk State University Journal, 2018, no. 435, pp. 215-233. (In Russ.).
33. Turchin A., Denkenberger D. Classification of global catastrophic risks connected with artificial intelligence. AI & Society, 2020, vol. 35, no. 1, pp. 147-163. DOI: 10.1007|s00146-018-0845-5.
34. Babaev M.M. Risks as a component of the determinational complex of crime. Vestnik Nizhegorodskoi akad-emii MVD Rossii, 2018, no. 1 (41), pp. 104-110. DOI: 10.24411/2078-5356-2018-00014 (In Russ.).
35. Deng B. Machine ethics: The robot's dilemma. Nature, 2015, vol. 523, pp. 24-26. DOI: 10.1038|523024a.
36. Robles Carrillo M. Artificial intelligence: From ethics to law. Telecommunications Policy, 2020, vol. 44, no. 6, pp. 1-16. DOI: 10.1016|j.telpol.2020.101937.
37. Robles Carrillo M. La gobernanza de la inteligencia artificial: contexto y parámetros generals. Revista Electrónica de Estudios Internacionales, 2020, no. 39, pp. 1-27. DOI: 10.17103|reei.39.07
38. Fosch Villaronga E., Roig A. European regulatory framework for person carrier robots. Computer Law & Security Review, 2017, vol. 33, no. 4, pp. 502-520. DOI: 10.1016|j.clsr.2017.03.018.
39. González M. Regulacion Legalde la Robotica y la Inteledencia Artificial: Retos de Futura. Revista Jurídica de la Universidad de León, 2017, no. 4, pp. 25-50. DOI: 10.1016|j.clsr.2017.03.018.
40. Clarke R. Principles and business processes for responsible AI. Computer Law & Security Review, 2019, vol. 35, no. 4, pp. 410-422. DOI: 10.1016|j.clsr.2019.04.007.
41. Bertolini A. Wearable Robots: A Legal Analysis. In: González-Vargas J., Ibáñez J., Contreras-Vidal J., van der Kooij H., Pons J. (eds). Wearable Robotics: Challenges and Trends. Biosystems & Biorobotics. Springer, 2017, vol. 16, pp. 201-204. DOI: 10.1007|978-3-319-46532-6_33.
42. Sumantri V.K. Legal Responsibility on Errors of the Artificial Intelligence-based Robots. Lentera Hukum, 2019, vol. 6, no. 2, pp. 333-348. DOI: 10.19184|ejlh.v6i2.10154.
43. Tikhomirov Yu.A. Risk in the focus of legal regulation. Pravo i sovremennye gosudarstva, 2017, no. 6, pp. 923. DOI: 10.14420|en.2017.6.1 (In Russ.).
44. Baburin V.V. Risk as a basis for differentiation of criminal liability. Author's Abstract of Dissertation of Candidate of Legal Sciences, Omsk, 39 p. (In Russ.).
45. Tikhomirov Yu.A. Robotization: dynamics of legal regulation. Vestnik Sankt-Peterburgskogo universiteta. Pravo = Vestnik of Saint Petersburg University. Law, 2020, vol. 11, no. 3, pp. 532-549. DOI: 10.21638|spbu14. 2020.301 (In Russ.).
46. Voronin V.N. Criminal Law Risks of Digital Technologies Development: Problem Statement and Research Plan. Vestnik Universiteta imeni O.E. Kutafina (MGYuA) = Courier of Kutafin Moscow State Law University (MSAL), 2018, no. 12, pp. 73-80. DOI: 10.17803/2311-5998.2018.52.12.073-080 (In Russ.).
47. Babaev M.M., Pudovochkin Yu.E. The phenomenon of risk in the context of preventive policy (criminal riskology). Vestnik Sankt-Peterburgskogo universiteta. Pravo = Vestnik of Saint Petersburg University. Law, 2019, vol. 10, no. 1, pp. 136-148. DOI: 10.21638/spbu14.2019.110 (In Russ.).
48. Gracheva Yu.V., Aryamov A.A. Robotization and Artificial Intelligence: Criminal Law Risks in the Field of Public Security. Aktual'nye problemy rossiiskogo prava = Actual Problems of Russian Law, 2020, vol. 15, no. 6, pp. 169-178. DOI: 10.17803/1994-1471.2020.115.6.169-178. (In Russ.).
49. Kamalova G.G. Some Questions of Criminal Legal Responsibility in the Field of Application of Artificial Intelligence Systems and Robotics. Vestnik Udmurtskogo universiteta. Seriya «Ekonomika i pravo» = Bulletin of Udmurt University. Series Economics and Law, 2020, no. 3, pp. 382-388. DOI: 10.35634/2412-9593-2020-30-3-382-388 (In Russ.).
50. Mosechkin I.N. Artificial intelligence and criminal liability: problems of becoming a new type of crime subject. Vestnik Sankt-Peterburgskogo universiteta. Pravo = Vestnik of Saint Petersburg University. Law, 2019, vol. 10, no. 3, pp. 461-476. DOI: 10.21638/spbu14.2019.304 (In Russ.).
51. Gless S., Silverman E., Weigend T. If Robots cause harm, Who is to blame? Self-driving Cars and Criminal Liability. New Criminal Law Review, 2016, vol. 19, no. 3, pp. 412-436. DOI: 10.1525/nclr.2016.19.3.412.
52. Bigman Y.E., Waytz A., Alterovitz R., Gray K. Holding Robots Responsible: The Elements of Machine Morality. Trends in Cognitive Sciences, 2019, vol. 23, no. 5, pp. 365-368. DOI: 10.1016/j.tics.2019.02.008.
53. Matthews P., Greenspan. S. Technology Definitions, in: Automation and Collaborative Robotics. Berkeley: Apress, 2020. Pp. 45-67. DOI: 10.1007/978-1-4842-5964-1_2.
54. Ben-Ari M., Mondada F. Robots and Their Applications, in: Elements of Robotics. Springer, 2018, pp. 1-20. DOI: 10.1007/978-3-319-62533-1_1.
55. Gardina D. Social Robot: the Problem of Definition and Classification. Artificial Societies, 2018, vol. 13, no. 1-2. DOI: 10.18254/S0000115-5-1.
56. Redfield S. A definition for robotics as an academic discipline. Nature Machine Intelligence, 2019, no. 1, pp. 263-264. DOI: 10.1038/s42256-019-0064-x.
57. Lesort T., Lomonaco V., Stoian A., et al. Continual Learning for Robotics: Definition, Framework, Learning Strategies, Opportunities and Challenges. Information Fusion, 2020, vol. 58, pp. 52-68. DOI: 10.1016/j.inffus. 2019.12.004.
58. Vicentini F. Terminology in safety of collaborative robotics. Robotics and Computer-Integrated Manufacturing, 2020, vol. 63, pp. 101921. DOI: 10.1016/j.rcim.2019.101921.
59. Belykh V.I. Signs Backbone Risk Classification Companies. Nauka o cheloveke: gumanitarnye issledovaniya, 2016, no. 2 (24), pp. 177-182. DOI: 10.17238/issn1998-5320.2016. 24.177 (In Russ.).
60. Kabanov P. A. Criminological Taxonomy: Definition, Content, Taxonomy Units and Grounds for Grouping Them. Kriminologicheskij zhurnal BGUE'P = Criminological Journal of BNUEL, 2007, no. 1-2, pp. 25-29. (In Russ.).
61. Bikeev I.I. Material objects of increased danger in the Russian criminal law: general and special issues. Kazan: Posnanie, 2007, 272 p. (In Russ.).
62. Mishchenko E.V., Letuta T.V., Shukhman A.E. Autonomous Robot as a Source of Increased Danger in Law: Harm Prevention Problems, Proceedings of the International Scientific and Practical Conference on Digital Economy (ISCDE 2019), 2019, vol. 105, pp. 764-768. DOI: 10.2991/iscde-19.2019.149.
ИНФОРМАЦИЯ ОБ АВТОРЕ
Бегишев Ильдар Рустамович - кандидат юридических наук, заслуженный юрист Республики Татарстан, старший научный сотрудник Казанский инновационный университет им. В.Г. Тимирясова (ИЭУП) 420111, Россия, г. Казань, ул. Московская, 42 E-mail: begishev@mail.ru
INFORMATION ABOUT AUTHOR
Ildar R. Begishev - PhD in Law, Honoured Lawyer of
the Republic of Tatarstan, senior researcher
Kazan Innovative University named
after V.G. Timiryasov (IEML)
42, Moskovskaya ul., Kazan, 420111, Russia
E-mail: begishev@mail.ru
ORCID: 0000-0001-5619-4025
ORCID: 0000-0001-5619-4025
Scopus AuthorID: 57205305394
ResearcherID: T-2409-2019
SPIN-код РИНЦ: 8859-9395; AuthorID: 595003
Scopus AuthorID: 57205305394
ResearcherID: T-2409-2019
RSCI SPIN code: 8859-9395; AuthorID: 595003
БИБЛИОГРАФИЧЕСКОЕ ОПИСАНИЕ СТАТЬИ
Бегишев И.Р. Криминологическая классификация роботов: риск-ориентированный подход / И.Р. Бегишев // Правоприменение. - 2021. - Т. 5, № 1. -С. 185-201. - 001: 10.24147/2542-1514.2021.5(1). 185-201.
BIBLIOGRAPHIC DESCRIPTION
Begishev I.R. Criminological classification of robots: risk-based approach. Pravoprimenenie = Law Enforcement Review, 2021, vol. 5, no. 1, pp. 185-201. DOI: 10.24147/2542-1514.2021.5(1).185-201. (In Russ.).
