ТЕХНОЛОГИЯ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА И ПРАВО: ВЫЗОВЫ СОВРЕМЕННОСТИ Текст научной статьи по специальности «Право»

2020

PERM UNIVERSITY HERALD. JURIDICAL SCIENCES

Выпуск 49

Информация для цитирования:

Харитонова Ю. С., Савина В. С. Технология искусственного интеллекта и право: вызовы современности // Вестник Пермского университета. Юридические науки. 2020. Вып. 49. C. 524-549. DOI: 10.17072/19954190-2020-49-524-549.

Kharitonova Y. S., Savina V. S. Tekhonologiya iskusstvennogo inteUekta ipravo: vyzovy sovremennosti [Artificial Intelligence Technology and Law: Challenges of Our Time]. Vestnik Permskogo universiteta. Juridicheskie nauki - Perm University Herald. Juridical Sciences. 2020. Issue 49. Pp. 524-549. (In Russ.). DOI: 10.17072/19954190-2020-49-524-549.

УДК 347.2

DOI: 10.17072/1995-4190-2020-49-524-549

ТЕХНОЛОГИЯ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА И ПРАВО: ВЫЗОВЫ СОВРЕМЕННОСТИ

Исследование выполнено по гранту РФФИ № 18-29-16145 мк «Механизм правового регулирования отношений

с использованием технологии распределенных реестров»

Ю. С. Харитонова

Доктор юридических наук, профессор, профессор кафедры предпринимательского права

Московский государственный университет имени М. В. Ломоносова 119991, Россия, г. Москва, Ленинские горы, 1

ORCID: 0000-0001-7622-6215 ResearcherlD: K-7495-2016

E-mail: [email protected]

В. С. Савина

Кандидат юридических наук, доцент, начальник отдела международных и просветительских проектов

Российская государственная академия

интеллектуальной собственности

117279, Россия, г. Москва, ул. Миклухо-Маклая, 55а

ORCID: 0000-0002-8385-9421 ResearcherlD: G-2782-2014

E-mail: [email protected]

Поступила в редакцию 11.03.2020

Введение: вопросы защиты прав на цифровой контент, созданный с применением технологии искусственного интеллекта и нейросетей, актуализируются по мере развития данных технологий и расширения их применения в различных сферах жизни общества. Вопросы о защите прав и законных интересов разработчиков вышли на первый план в сфере права интеллектуальной собственности. При помощи интеллектуальных систем создается не только охраноспособный с точки зрения права контент, но и иные данные, отношения по поводу которых также подлежат охране. В связи с этим вопросы стандартизации требований к процедурам и средствам хранения больших данных, используемых при разработке, тестировании и эксплуатации систем искусственного интеллекта, приобретают особое значение. Цель: сформировать представление о направлениях правового регулирования и перспективах применения технологии искусственного интеллекта с позиций права на основе анализа российских и зарубежных научных концепций. Методы: эмпирические методы сравнения, описания, интерпретации; теоретические методы формальной и диалектической логики; частнонаучные методы: юридико-догматический и метод толкования правовых норм. Результаты: анализ практики применения систем искусственного интеллекта показал, что сегодня под интеллектуальными алгоритмами понимаются разные технологии, которые основаны или связаны с

© Харитонова Ю. С., Савина В. С., 2020

интеллектуальными системами, но не всегда подпадают под понятие классического искусственного интеллекта. Строго говоря, классический искусственный интеллект представляет собой лишь одну из технологий интеллектуальных систем. Результаты, созданные автономным искусственным интеллектом, обладают признаками произведений. В то же время требуют разрешения вопросы публично-правового характера: получение согласие на обработку данных от субъектов этих данных; определение правосубъектности указанных лиц; установление юридической ответственности в связи с недобросовестным использованием данных, необходимых для принятия решения. Помочь в их разрешении способны стандартизация и применение технологии блокчейн. Выводы: в связи с выявленным и постоянно меняющимся составом высоких технологий, подпадающих под определение искусственного интеллекта, обнаруживают себя разнопорядковые вопросы, которые делятся на группы: ряд вопросов правового регулирования в данной сфере уже решены и потеряли свою актуальность для передовой юридической науки (правосубъектность технологии искусственного интеллекта); другие вопросы могут быть урегулированы с помощью имеющихся правовых механизмов (анализ персональных данных и иной информации в ходе применения технологии вычислительного интеллекта для принятия решений); часть вопросов требуют новых подходов со стороны правовой науки (выработка правового режима sui generis для результатов деятельности технологии искусственного интеллекта при условии получения оригинального результата).

Ключевые слова: искусственный интеллект; производительность роботов; самообучающееся программное обеспечение; охраноспособность результатов искусственного интеллекта; взаимодействие человека с машиной; стандартизация систем искусственного интеллекта

ARTIFICIAL INTELLIGENCE TECHNOLOGY AND LAW: CHALLENGES OF OUR TIME

Acknowledgments: The reported study was funded by the Russian Foundation for Basic Research, project No. 18-29-16145 mk 'Mechanism for legal regulation of relations with the use of blockchain technology'

Y. S. Kharitonova

Lomonosov Moscow State University 1, Leninskie gory, Moscow, 119991, Russia

ORCID: 0000-0001-7622-6215 ResearcherID: K-7495-2016

E-mail: [email protected]

V. S. Savina

Russian State Academy of Intellectual Property 55a, Miklukho-Maklaya st., Moscow, 117279, Russia

ORCID: 0000-0002-8385-9421 ResearcherID: G-2782-2014

E-mail: [email protected]

Received 11.03.2020

Introduction: the article deals with the issues concerning the protection of the rights to digital content created with the use of artificial intelligence technology and neural networks. This topic is becoming increasingly important with the development of the technologies and the expansion of their application in various areas of life. The problems ofprotecting the rights and legitimate interests of developers have come to the fore in intellectual property law. With the help of intelligent systems, there can be created not only legally protectable content but also other data, relations about which are also subject to protection. In this regard, of particular importance are the issues concerning the standardization of requirements for procedures and means of storing big data used in the development, testing and operation of artificial intelligence systems, as well as the use of blockchain technology. Purpose: based on an analysis of Russian and foreign scientific sources, to form an idea of the areas of legal regulation and the prospects for the application of artificial intelligence technology from a legal perspective. Methods: empirical methods of comparison, description, interpretation; theoretical methods of

formal and dialectical logic; special scientific methods (legal-dogmatic and the method of interpretation of legal norms). Results: analysis of the practice of using artificial intelligence systems has shown that today intelligent algorithms include a variety of technologies that are based on or related to intelligent systems, but not always fall under the concept of classical artificial intelligence. Strictly speaking, classic artificial intelligence is only one of the intelligent system technologies. The results created by autonomous artificial intelligence have features of works. At the same time, there are some issues of a public law nature that require resolution: obtaining consent to data processing from the subjects of this data, determining the legal personality of these persons, establishing legal liability in connection with the unfair use of data obtained for decision-making. Standardization in the sphere and application of blockchain technology could help in resolving these issues. Conclusions: in connection with the identified and constantly changing composition of high technologies that fall under the definition of artificial intelligence, there arise various issues, which can be divided into some groups. A number of issues of legal regulation in this area have already been resolved and are no longer of relevance for advanced legal science (legal personality of artificial intelligence technology); some issues can be resolved using existing legal mechanisms (analysis of personal data and other information in course of applying computational intelligence technology for decision-making); some other issues require new approaches from legal science (development of a sui generis legal regime for the results of artificial intelligence technology, provided that the original result is obtained).

Keywords: artificial intelligence; robot performance; self-learning software; protectability of artificial intelligence results; human-machine interaction; standardization of artificial intelligence systems; blockchain technology and artificial intelligence

Введение

Интеллектуализация организационных процессов в различных сферах жизни общества, внедрение и накопление новых технологий в условиях произошедшей Четвертой промышленной революции [48, S. 19-20], цифровиза-ция и глобализация приводят к глубоким изменениям как экономических систем, так и права. Появление высоких технологий существенно влияет на творчество и научную мысль, научно-технический прогресс не стоит на месте. При этом создание контента с применением высоких технологий сегодня конкурирует по качеству и востребованности с результатами интеллектуальной деятельности человека. В то же время, как представляется, в российской юридической среде при исследовании сквозной технологии искусственного интеллекта упор сделан на трех составляющих: правосубъектности роботизированных систем [1, с. 157; 7, с. 63; 10, с. 19; 13, с. 91], возможной роботизации юридических процессов [9], а также интеллектуально-правовых аспектах применения технологии искусственного интеллекта в современных условиях [3, с. 7; 20, с. 14].

Известно, что методы искусственного интеллекта чрезвычайно разнообразны и много заимствовали у биологии, нейрофизиологии, генетики, философии и социологии. Иногда это позволяет уточнить, что искусственный интеллект - это свойство интеллектуальных систем выполнять творческие функции, которые традиционно считаются присущими только человеку. Однако для того чтобы создать машины, которые бы приближались по своим возможностям к человеческому мозгу, необходимо, прежде всего, понять сущность интеллекта человека, раскрыть механизмы человеческого мышления. Но С. Блейксли и Дж. Хокинс убедительно доказали в своей неустаревающей работе, что попытки создания искусственного интеллекта до сих пор не достигли ожидаемого уровня в силу расхождений между знаниями человечества о строении мозга и возможностями нейро-биологии, психологии и кибернетики [46]. Мы не разделяем мнение, что сегодня искусственный интеллект - это способ наделить компьютер, компьютер-контролируемого робота или программу способностью разумно мыслить. Исследования в данной области говорят об обратном [14].

Наиболее перспективным является исследование вопросов, связанных с определением технологии искусственного интеллекта в качестве инструмента создания нового знания, что приводит к отрицанию правосубъектности таких систем.

В свою очередь, наш опыт исследования цифровизации образовательных процессов в сфере подготовки юристов показал, что искусственный интеллект не способен заменить профессионала. С учетом необходимости выработки общих подходов к пониманию цифровых компетенций юриста можно сделать вывод, что технологии позволят формировать такой контент, который в большинстве случаев отменит юридическую рутину и позволит быстро и точно принимать решения, но не приведет к созданию новых объектов охраны исключительных прав [18, с. 69; 19, с. 32].

Все это говорит о необходимости исследования проблематики последствий применения технологии искусственного интеллекта с позиций частного и информационного права для решения вопроса о возможности предоставления защиты правам и законным интересам создателя конкретной системы искусственного интеллекта или реализованного задания для такой системы.

Искусственный интеллект как основная сквозная технология цифровой экономики

14 октября 2019 года Президент Российской Федерации утвердил указ «О развитии искусственного интеллекта в Российской Феде-рации»1. В соответствии с данным Указом была разработана и принята Национальная стратегия развития искусственного интеллекта на период до 2030 года (Стратегия 2030), в которой определяются цели и основные задачи развития искусственного интеллекта в Российской Федерации и закрепляется общий подход: «Использование технологий искусственного интеллекта в отраслях экономики носит общий ("сквозной") характер и способствует созданию условий для улучшения эффективности и формирования принципиально новых направлений деятельности хозяйствующих субъектов».

1 О развитии искусственного интеллекта в Российской Федерации: указ Президента РФ от 10 окт. 2019 г. № 490 [Электронный ресурс]. Доступ из справ.-правовой системы «Гарант».

В данном нормативно-правовом акте закреплена важность и приоритетность развития технологий искусственного интеллекта как сквозной цифровой технологии в России.

«Сквозные» технологии - это ключевые направления национальной технологической инициативы - программы поддержки развития перспективных отраслей. К ним относятся большие данные, блокчейн, искусственный интеллект, квантовые технологии, робототехника, беспроводная связь, промышленный Интернет, виртуальная и дополненная реальность, новые производственные технологии. Список определен и зафиксирован Правительством РФ еще в 2017 году. Сквозные технологии стали гарантией успешной реализации задач цифровой эко-2

номики .

Однако понятие «сквозных» цифровых технологий не раскрыто в законодательстве, а также не является общепризнанным в науке. В некоторых случаях их существование объясняется через обращение к научно-инновационной сфере. И тогда сквозные цифровые технологии приобретают значение как ключевые научно-технические направления, которые оказывают наиболее существенное влияние на развитие рынков научно-технологической инициати-вы3. В этом смысле, как надеются эксперты, формирование в России научно-технологического задела по данным группам позволит создать глобально конкурентоспособные высокотехнологичные продукты и сервисы.

В некоторых случаях появление понятия сквозных цифровых технологий связывают с их масштабом и глубиной влияния на общество и экономику. «Сквозные» цифровые технологии в этом ключе понимаются как «технологии, применяемые для сбора, хранения, обработки, поиска, передачи и представления данных в электронном виде, в основе функционирования которых лежат программные и аппаратные средства и системы, востребованные во всех секторах экономики, создающие новые рынки и изменяющие бизнес-процессы» [24].

Кроме того, к сквозным цифровым технологиям в технических науках относят не только большие данные, искусственный интеллект, нейросети, системы распределенного реестра,

2 URL: https://cipr.ru/kak-skvoznye-tehnologii-opredelyaut-budushchee/.

3 URL: https://nti2035.ru/technology/.

но и не упомянутые в законодательстве в качестве таковых технологии беспроводной связи, технологии управления свойствами биологических объектов и др. Получается, что отнесение той или иной технологии к сквозной в законодательстве не связано с какими-либо исследованиями и обоснованиями, представленными общественности. Однако получение такого режима влияет на доступ к бюджетным вливаниям в соответствующие начинания.

Такой подход можно оправдать только быстрым развитием технологий, которые в силу своей подвижности часто влияют на паттерны сферы регулирования. На примере масштабной технологии искусственного интеллекта это очень хорошо видно. Кроме того, нельзя забывать о сочетаемости различных технологий для достижения искомых эффектов. Например, технологии искусственного интеллекта и больших данных часто и прочно связаны в прикладных цифровых системах.

Пожалуй, самым важным для выбора стратегии правового регулирования технологии искусственного интеллекта является то, что применяются и развиваются самые разные технологии, которые основаны или связаны с интеллектуальными системами, но не всегда подпадают под понятие классического искусственного интеллекта.

В настоящее время отсутствует единое понимание термина «искусственный интеллект» как в юридической, так и в иных сферах. Сегодня существует достаточно много определений понятия «искусственный интеллект» [22]. Один из вариантов предложен в Стратегии 2030: «искусственный интеллект - комплекс технологических решений, позволяющий имитировать когнитивные функции человека (включая самообучение и поиск решений без заранее заданного алгоритма) и получать при выполнении конкретных задач результаты, сопоставимые, как минимум, с результатами интеллектуальной деятельности человека». Энциклопедия Британника дает свое определение: «искусственный интеллект - способность цифрового компьютера или управляемого компьютером робота выполнять задачи, обычно ассоциируемые с мыслящими существами» [34]. Как видим, в обоих толкованиях дано представление об искусственном интеллекте как технологии, создающей что-то

новое по сравнению с предусмотренным алгоритмом результатом.

Общеизвестно, что автором самого термина «искусственный интеллект» (Artificial Intelligence) является Джон Маккарти, основоположник функционального программирования, который говорил: «Проблема состоит в том, что пока мы не можем в целом определить, какие вычислительные процедуры мы хотим называть интеллектуальными. Мы понимаем некоторые механизмы интеллекта и не понимаем остальные. Поэтому под интеллектом в пределах этой науки понимается только вычислительная составляющая способности достигать целей в мире» [52]. С одной стороны, это заставляет задуматься о возможности получения оригинального результата в рамках применения искусственного интеллекта.

С другой стороны, технология искусственного интеллекта воспринимается как программное обеспечение, приводящее к созданию результатов - интеллектуальной деятельности либо иного характера, позволяющее на основании определенных обобщенных данных принимать решения. Речь, например, может идти о так называемых рекомендательных системах и интеллектуальных системах поддержки принятия решений. Важно иметь это в виду для того, чтобы не ассоциировать результаты применения технологии искусственного интеллекта только с значимым результатом, обладающим оригинальностью и ценностью в обороте наподобие изобретения или произведения искусства или литературы.

В целом технология искусственного интеллекта позволяет выполнять действия, основанные на расчетах, в том числе получать и анализировать информацию, обучаться за счет новых данных. Согласно Стратегии 2030, «технологии искусственного интеллекта - технологии, основанные на использовании искусственного интеллекта, включая компьютерное зрение, обработку естественного языка, распознавание и синтез речи, интеллектуальную поддержку принятия решений и перспективные методы искусственного интеллекта». Необходимый комплекс технологических решений включают информационно-коммуникационную инфраструктуру, программное обеспечение, в котором в том числе используются методы машинного обучения, процессы и сервисы по об-

работке данных и выработке решений. Сегодня данная технология применяется в различных сферах деятельности человека (например, в медицине, где помогает лечить [27] или диагностировать1 разного рода заболевания на транспорте путем внедрения систем Self-Driving Cars, в военной сфере при принятии решений разведки, [51] при обучении голосовых помощников2 и др.).

Для целей выработки адекватных правовых подходов к регулированию рассматриваемых отношений целесообразно обратиться к вопросам сути данного явления.

С точки зрения разработчиков программных алгоритмов и интеллектуальных систем, в отличие от обычных систем автоматизации процессов основные особенности и свойства систем искусственного интеллекта, выделенные М. З. Згуровским [6], состоят в следующем:

1) наличие цели или группы целей функционирования;

2) способность планирования своих действий и поиск решений задач;

3) способность к обучению и адаптации поведения в процессе работы;

4) способность работать в плохо формализованной среде, в условиях неопределенности, работать с нечеткими инструкциями;

5) способность к самоорганизации и саморазвитию;

6) способность понимать тексты на естественном языке;

7) способность к обобщению и абстрагированию накопленной информации.

В рамках технических специальностей на протяжении последнего времени сложились основные подходы к тому, как можно определить, является ли та или иная технология технологией искусственного интеллекта. Более того, интеллектуальные технологии были классифицированы в зависимости от выполняемых функций и решаемых задач на несколько различных видов.

В то же время важным представляется подчеркнуть, что технология искусственного интеллекта не является единственной в своем

1 URL: https://medvestnik.ru/content/interviews/Tehnologii-na-slujbe-mediciny-analitika-i-iskusstvennyi-intellekt-protiv-raka.html.

2 URL: https://cnews.ru/articles/2019-10-02_budushchee_

iskusstvennogo_intellekta.

роде. Например, сейчас начинают искать место в системе технологий для квантового интеллекта. Альтернативой искусственному интеллекту сегодня является понятие технологии вычислительного интеллекта (computational intelligence, CI). Как показал разработчик данного понятия J. C. Bezdek, «система является интеллектуальной вычислительной, если она: оперирует только с цифровыми данными; имеет компоненты распознавания образов; не использует знания в смысле искусственного интеллекта и проявляет: а) вычислительную адаптивность; б) вычислительную отказоустойчивость; в) уровень ошибок, аппроксимирующий характеристики человека» [29]. Основные особенности и свойства моделей вычислительного интеллекта, отличающие их от экспертных и прогностических систем, [50, р. 737], изложены в работе М. З. Згу-ровского и Ю. П. Зайченко [6]. Являясь альтернативой классическому искусственному интеллекту, основанному на строгом логическом выводе, вычислительный интеллект опирается на эвристические алгоритмы, используемые, например, в нечеткой логике, искусственных ней-росетях, эволюционном моделировании [54]. Основой развития вычислительных алгоритмов является разработка алгоритмических моделей для решения сложных задач высокой размерности. Это относится к области интеллектуальных алгоритмов (intelligence algorithms) на основе моделирования биологических интеллектуальных естественных систем [40]. Данное направление включает следующие основные парадигмы: искусственные нейронные сети (artificial neural networks), эволюционные вычисления (evolutionary computation), роевый интеллект (swarm intelligence), нечеткие системы (fuzzy systems) и искусственные иммунные системы (artificial immunesystems).

В целом, насколько можно судить, вместе с логикой и дедуктивным выводом, экспертными системами, машинным обучением интеллектуальные алгоритмы формируют общее направление - «Искусственный интеллект». Каждая из парадигм вычислительного интеллекта основана на моделировании свойств естественных биологических систем3 [21]. Таким обра-

3 Автор также раскрывает содержание каждой из указанных парадигм: особенностью искусственных нейронных сетей является возможность моделирования фрагментов биологической нервной системы; эволюционные вычис-

зом, мы видим, что искусственный интеллект представляет собой лишь одну из технологий интеллектуальных систем. Однако иногда по своим проявлениям и качествам и искусственный интеллект, в понимании Дж. Маккарти и его последователей, и вычислительный интеллект, и возможные иные технологии воспринимаются предпринимателями, бизнесом, потребителями, маркетологами, юристами как общее понятие для данной технологии. Это дает нам возможность говорить о создании некоего общего подхода в правопорядке для решения прикладных и доктринальных задач.

Таким образом, к технологиям искусственного интеллекта с точки зрения технических наук относятся самые разные интеллектуальные системы и алгоритмы. Результаты их использования также могут быть различны. Очевидно, что сейчас науки и техника находятся еще не на той ступени своего развития, чтобы создать четкую и устойчивую классификацию в исследуемой сфере. Для правоведения это означает, что проблемы будут появляться. Однако уже сейчас часть из вопросов может быть решена с применением известных правовых механизмов, а часть - вообще не является новой, просто не была столь актуальной в связи с неразвитостью и отсутствием широкого распространения технологий искусственного интеллекта.

Юридическая квалификация результатов применения технологии искусственного интеллекта

В Стратегии 2030 раскрывается понятие искусственного интеллекта как «комплекса технологических решений, позволяющих имитировать когнитивные функции человека (включая самообучение и поиск решений без заранее заданного алгоритма) и получать при выполнении конкретных задач результаты, сопоставимые, как минимум, с результатами интеллектуальной деятельности человека».

ления моделируют естественную эволюцию и формализуют основные законы генетики; роевый интеллект моделирует социальное поведение организмов, которые живут колонией (роем, стаей и т.п.), искусственные иммунные системы моделируют основные принципы биологических иммунных систем; нечеткие системы основаны на исследованиях взаимодействия организмов с окружающей средой. Искусственные нейронные сети являются первой попыткой моделирования интеллектуальных свойств биологических систем.

С юридической точки зрения все перечисленные компоненты имеют различный правовой режим и их применение порождает соответствующие правовые последствия, на которых и хотелось бы подробнее остановиться в данной работе.

Так, понятие результата интеллектуальной деятельности человека наполнено вполне конкретным содержанием. Согласно статье 1225 ГК РФ, результатами интеллектуальной деятельности являются произведения, программы для ЭВМ, базы данных, исполнения, фонограммы, сообщение в эфир или по кабелю, изобретения, полезные модели, промышленные образцы, селекционные достижения, топологии интегральных микросхем, секреты производства. Не отнесены к результатам интеллектуальной деятельности, а только приравнены к ним средства индивидуализации юридических лиц, товаров, работ, услуг и предприятий. Результатам интеллектуальной деятельности предоставляется правовая охрана как объектам интеллектуальной собственности.

Следовательно, если в итоге применения комплекса технологических решений, позволяющих имитировать когнитивные функции человека, мы получим результаты, сопоставимые с результатами интеллектуальной деятельности человека, то встанем перед вопросом о возможности распространения режима объектов интеллектуальной собственности на такие результаты.

Сегодня бизнес-сообщество крайне заинтересовано в том, чтобы можно было не только монетизировать свои разработки по созданию программ и систем искусственного интеллекта, но и зарабатывать на результатах деятельности роботов [5]. Так называемый сверхразумный искусственный интеллект стоит на ступень выше человеческого. Ник Бостром описывает его следующим образом: это «интеллект, который намного умнее, чем лучший человеческий мозг, практически во всех областях, в том числе в научном творчестве, общей мудрости и социальных навыках»1. Созданные с помощью алгоритмов объекты легче учитывать, контролировать, открывать доступ и получать прибыль. Развитие робототехники и технологий искусственного интеллекта является весьма

1 ЦЯЬ: https://geektimes.com/post/286306/.

затратным. Инвесторы заняты активным поиском механизмов защиты результатов применения своих разработок в сфере технологии искусственного интеллекта. Не случайно в отчете Всемирной организации интеллектуальной собственности «Технологические тренды 2019: искусственный интеллект» было отмечено, что с 1950-х гг. ХХ века, когда впервые появились системы искусственного интеллекта, было подано около 340 000 связанных с данными системами изобретений и размещено более 1,6 миллиона научных публикаций патентной информации. В настоящее время машинное обучение является доминирующей технологией искусственного интеллекта, которая раскрыта в патентах и включена в более чем треть всех запатентованных изобретений [60, рр. 15, 17].

В отдельных странах законодатель и общество готовы признать притязания заинтересованных лиц. В некоторых случаях речь идет о поддержке компаний, инвестирующих в умных роботов, и предоставлении им налоговых и иных льгот, как в Южной Корее1 и Китае. В других - о признании смежных прав на результаты деятельности систем искусственного интеллекта, поскольку они не отвечают признакам охраноспособности произведения, созданного исключительно творческим трудом человека. При этом многие создатели сложных интеллектуальных систем и их владельцы заинтересованы в коммерциализации не только самой программы для ЭВМ, созданной на основе применения своих разработок, но и результатов применения соответствующего программного обеспечения. Таким образом, разработчиками систем искусственного интеллекта сформирован заказ на получение легальной возможности охранять результаты деятельности системы искусственного интеллекта.

Процесс легализации прав разработчиков и пользователей на результаты применения технологии искусственного интеллекта идет медленно. В Стэнфордском университете не так давно обсуждались последствия применения искусственного интеллекта для права интел-

1 О содействии развитию и распространению умных роботов: Закон Южной Кореи от 28 марта 2008 г. № 9014 / пер. А. Незнамова, М. Ивановой для Исследовательского центра проблем регулирования робототехники и ИИ robopravo.ru. [(с) Незнамов А.В., 2017]. URL: http://robopravo.ru/matierialy_ dlia_skachivaniia#ul-id-2-3.

лектуальной собственности [41]. Исследователи констатировали, что все более сложные системы самообучения, которые могут давать инновационные или творческие результаты, становятся частью повседневной жизни. Кажется очевидным, что в ближайшем будущем могут появляться произведения и изобретения без существенного участия человека. Новые продукты уже разрабатываются в так называемых интеллектуальных лабораториях без значительного вмешательства человека, а только с помощью программ самообучения [53, pp. 429]. Известным примером в данной области является созданный с применением технологии искусственного интеллекта «Портрет Эдмонда Белами», который был продан за 432 500 долл. в аукционном доме Christie's [33].

В то же время в США было выявлено, что, хотя интеллектуальное программное обеспечение является важным фактором развития американской культуры, половина респондентов считают, что Бюро по охране авторских прав США не готово бороться с притоком произведений, созданных на компьютере [47]. Этот вывод был сделан на основе опроса 57 ученых, занимающихся проблемами искусственного интеллекта, экспертов в области технической политики и исследователей авторского права, с помощью опроса и вопросника.

Искусственный интеллект и охраноспособность результатов его применения

В российском праве, в силу статьи 1259 ГК РФ, объектами авторских прав являются произведения науки, литературы и искусства независимо от достоинств и назначения произведения, а также от способа его выражения. К объектам авторских прав не относятся сообщения о событиях и фактах, имеющие исключительно информационный характер (п. 6 ст. 1259 ГК). То есть охране подлежат произведения, которые получили выражение вовне и происхождение которых имеет творческий характер. На наш взгляд, решение поставленной практикой задачи зависит от того, как определяется критерий творческого происхождения охраняемого результата интеллектуальной деятельности в российской судебной практике. Ведь поскольку в ГК РФ нет закрепления понятия творчества, то на практике для защиты прав правообладателей

приходится обращаться к судебным правовым позициям. Данные акты могут носить противоречивый характер, и не всегда позиции судов сформулированы достаточно ясно. В то же время, как показывает проведенный анализ, результаты действия систем искусственного интеллекта вполне могут подпадать под понятие охраняемых объектов.

Однако проблема заключается в том, что определение произведения в большинстве пра-вопорядков связывается с творческим происхождением объекта, проявлением особой психической функции человеческого мозга в процессе создания охраняемого результата.

Развитие рыночной экономики неумолимо двигает общественные отношения к поиску баланса интересов авторов/правообладателей и общества. Новые поколения алгоритмических инструментов стали доступны для креатива. Хорошо известно, что в сфере музыки могут использоваться такие технические инструменты, как рандомизаторы. Основываясь на новейших разработках в области машинного обучения - теоретической структуре, стимулирующей текущий рост в приложениях искусственного интеллекта и полагаясь на доступ к беспрецедентным объемам вычислительной мощности и данных, эти технологические посредники открывают путь к неожиданным формам творчества. Вместо того, чтобы полагаться на набор правил для создания новых произведений искусства, генеративные процессы могут быть автоматически извлечены из совокупности обучающих примеров. Музыкальные особенности могут быть извлечены и закодированы в статистической модели без какого-либо или минимального участия человека и позже использованы для создания оригинальных композиций, от барочной полифонии до джазовых импровизаций. Появление таких креативных инструментов и следствие исчезающего присутствия человека в творческом процессе и поднимает ряд фундаментальных вопросов с точки зрения защиты авторских прав [37].

Невозможность предоставления исключительных прав на объекты, созданные с применением технологии искусственного интеллекта, зачастую объясняется следующим. Результаты работы роботов, как обосновывают некоторые авторы, нельзя признать в полной мере новыми,

с точки зрения форм и концепций это все те же привычные нам произведения, пусть и усложненные и объемные. Лишенная воображения машина воспроизводит категории и образы, заложенные в нее человеком, поэтому творчества, создания чего-то абсолютно нового не происходит [12, с. 53-54].

В этом ключе рассуждают многие исследователи. Физическая возможность многократного повторения фактических сведений и материалов, использованных в произведениях, охраняемых авторским правом, требует дифференциации между тем новым, что привносит автор, и сведениями достаточно тривиальными. Как верно подчеркивает В. Л. Энтин, сообщение исторических фактов и иной общедоступной информации фактического характера не ведет к приватизации информации путем распространения авторского права на сами такие сведения [25]. Авторское право распространяется только на форму изложения, но не на них. Следуя этой логике, правоведы говорят, что система искусственного интеллекта, опираясь на собранную, ранее известную, зачастую авторскую информацию, способна лишь на компиляцию.

В Германии произведением является результат созидательной деятельности человека [28, S. 21; 38, S. 47], «передающий человеческие мысли и чувства», [28, S. 45; 43, S. 68] что приводит к отрицанию охраноспособности таких результатов, которые созданы машиной или, например, программой для ЭВМ без участия человека. Это позволяет отграничить продукты, которые, хотя по внешней форме и напоминают произведения, в реальности таковыми не являются, поскольку представляют собой результат механических либо случайных действий их создателя.

Аналогичного подхода придерживаются юристы и в иных странах. Например, в Соединенных Штатах Бюро по авторским правам заявляло, что оно «зарегистрирует оригинальное авторское произведение при условии, что оно было создано человеком»1. Эта позиция вытекает из прецедентов. Например, в решении по дулу Feist Publications v Rural Telephone Service Company, Inc. 499 US 340 (1991) сформулировано, что закон об авторском праве защищает

1 URL: https://www.copyright.gov/comp3/chap300/ch300-copyrightable-authorship. pdf.

только «плоды интеллектуального труда», которые «основаны на творческих способностях ума». Точно такой же подход был применен в Австралии (Acohs Pty Ltd v. Ucorp Pty Ltd 1), когда суд объявил, что произведение, созданное с помощью компьютера, не может быть защищено авторским правом, поскольку оно не было создано человеком.

Суд Европейского Союза (CJEU) также неоднократно заявлял (в частности, в своем знаменательном решении Infopaq (C-5/08 Infopaq International A/S vs Danske Dagbaldes Forening), что авторское право распространяется только на оригинальные произведения и эта оригинальность должна отражать «собственное интеллектуальное творчество автора».

Приведенные примеры показывают, что во многих юрисдикциях законодательство и практика не готовы признать существование исключительного права на объект в случае, если он был создан путем применения интеллектуальных алгоритмов, отказывая таком объекту в творческом происхождении.

В то же время в ряде государств (Великобритания, Ирландия, Гонконг, Индия, Новая Зеландия) преобладающим является подход, который допускает предоставление авторско-правовой охраны объектам, не связанным с творческим происхождением. Этот подход лучше всего закреплен в британском законе об авторском праве (раздел 9 (3) Закона об авторском праве, дизайнах и патентах (CDPA), который гласит: «В случае литературного, драматического, музыкального или художественного произведения, созданного с помощью компьютера, автором считается человек, с помощью которого принимаются меры, необходимые для создания произведения». Статья 178 CDPA определяет сгенерированное компьютером произведение как произведение, которое «генерируется компьютером при обстоятельствах, при которых автор произведения не является человеком». Идея, лежащая в основе такого положения, такова: чтобы создать исключение из всех требований авторства человека, признавая работу, которая входит в создание программы, способной генерировать произведения, даже если машина создает нечто оригинальное и новое.

1 URL: http://www8.austlii.edu.au/cgi-bin/viewdoc/au/cases/ cth/FCAFC/2012/16.html

Обозначенный подход не имеет общего применения, в каждом споре возможны новые толкования. Например, в деле Nova Productions v Mazooma Games [2007] EWCA Civ 219 английский Апелляционный суд должен был принять решение об авторстве компьютерной игры и сделал вывод, что вклад игрока «не является художественным по своему характеру, и он не применил ни труда, ни никаких навыков творческого свойства».

На наш взгляд, хотя результаты, созданные автономным искусственным интеллектом, не признаны сегодня в континентальной системе права в качестве объектов исключительных прав, на них могут быть установлены субъективные права как на обладающие ценностью и участвующие в обороте (подробнее см. [23]). Причем такие объекты обладают признаками произведений, которые охраняются в силу закона как результаты интеллектуальной деятельности, за исключением творческого происхождения.

Сегодня в рамках имеющейся классификации объектов авторского права объекты, созданные с помощью применения технологии искусственного интеллекта, обладающие оригинальной формой выражения, могут быть признаны объектами авторского права в группе, получившей название «непроизведений» (подробнее см. [16]). Поэтому сейчас исключительно важно сознавать необходимость разработки режима смежных прав на такие объекты, подобные произведениям. При этом целесообразным представляется введение режима sui generis для объектов, созданных с использованием технологии искусственного интеллекта и обладающих своеобразной формой.

Искусственный интеллект для создания изобретений

В августе 2019 Райан Эббот, профессор права и медицинских наук в Университете Суррея (Великобритания), и адъюнкт - профессор медицины в Лос-Анджелесе (штат Калифорния, США), заявил, что его командой были поданы две международные патентные заявки на «изобретения, созданные AI». То есть «изобретения, созданные автономно искусственным интеллектом в обстоятельствах, в которых мы считаем, что ни одно физическое лицо, как оно традиционно определено, не считается изобре-

тателем»1. В этих заявках искусственный интеллект указывается как изобретатель, а владелец данной системы искусственного интеллекта - как заявитель патента и предполагаемый владелец любых выданных патентов.

Искусственный интеллект - изобретатель, названный его создателем Стивеном Талером <^АВ^», полагается на систему многих нейронных сетей, генерирующих новые идеи путем изменения их взаимосвязей. Вторая система нейронных сетей обнаруживает критические последствия этих потенциальных идей и усиливает их на основе предсказанной новизны и значимости. В одной из поданных в патентные ведомства заявок описан новый тип контейнера для напитка на основе фрактальной геометрии, а в другой - заявлено устройство (сигнальная лампа) для привлечения повышенного внимания, которое может помочь в операциях поиска и спасания2.

Европейское патентное ведомство (ЕРО) и Ведомство интеллектуальной собственности Великобритании (ИК1РО) оценили эти заявки по существу. Оба ведомства установили, что заявки соответствуют патентоспособности в максимально возможной степени до публикации заявок. Заявки были поданы в соответствии с Договором о патентной кооперации, который облегчает процесс получения патентной защиты в более чем 150 странах, и предполагается, что они будут рассматриваться в большом числе патентных ведомств.

Европейское патентное ведомство отклонило поданные заявки после закрытого слушания 25 ноября 2019 года3. Управление по патентам и товарным знакам США (^РТО) опубликовало запрос на комментарии к списку вопросов, касающихся вопросов патентов в области искусственного интеллекта, в Федеральном реестре 21 августа 2019 года.

Доводы исследователей в пользу признания охраноспособности изобретений, созданных с помощью технологии искусственного интеллекта, сопоставимы с лицами, применяющими технологии для создания объектов,

1 иЯЬ: http://artificialinventor.com/.

2 иЯЬ: https://www.surrey.ac.uk/news/world-first-patent-ap-pHcatюns-Шed-inventюns-generated-solely-artificial-inteИi-gence.

3 иЯЬ: https://www.epo.org/news-issues/news/2019/201912 20.html.

обладающих признаками произведений. В некоторых случаях выходные данные компьютера представляют собой патентоспособный объект и компьютер, а не человек соответствует требованиям для изобретательства [56]. Несмотря на это и несмотря на тот факт, что патентные ведомства уже выдавали патенты на изобретения, создаваемые с помощью компьютерных программ, вопрос об изобретении компьютеров никогда явно не рассматривался судами, законодателями и патентными ведомствами.

В этой дискуссии одним из наиболее часто выдвигаемых аргументов против признания изобретения, полученного с применением технологии искусственного интеллекта, является то, что для любой работы, генерируемой алгоритмом, существует физическое лицо, которое квалифицируется юристами как изобретатель. Однако следует учитывать, что, когда человеком формулируется задание для применения технологии искусственного интеллекта, разрешаемая проблема может быть как очевидной и весьма понятной, так и требовать сама по себе формулирования и / или структурирования [57]. Поэтому программист или разработчик алгоритмов искусственного интеллекта может считаться изобретателем, если он разработал систему искусственного интеллекта для решения конкретной проблемы или когда он должен был умело выбирать учебные или входные данные для самообучающейся системы. Но программист, вероятно, не должен признаваться изобретателем, когда он или она просто внесли свой вклад в общие возможности системы искусственного интеллекта по решению проблем, не зная о конкретной проблеме, к которой искусственный интеллект применяется, или о ее конечном результате. В этом случае ослабевает связь между творчеством человека и результатом применения технологии искусственного интеллекта. Эта связь становится еще более слабой, когда несколько программистов участвуют в настройке и доработке самой системы искусственного интеллекта, внося свой вклад в программное обеспечение во времени и пространстве, участвуя в разработке единой системы. Таким образом, не представляется уместным предоставлять исключительные права на полученный с помощью технологии искусственного интеллекта результат, когда важность вывода системы искусственного интеллекта

очевидна и востребована в обороте, а деятельность человека не является вкладом в полученный результат1.

Приведенные дискуссии служат ярким примером того, что сегодня перед юристами всего мира остро встает вопрос правового обеспечения интересов разработчиков, бизнеса и инвесторов, а также государства в решении сложнейших задач прояснения правового режима объектов, создаваемых с помощью технологии искусственного интеллекта.

Борьба идет не столько за сам контент, сколько за финансовые потоки, которые генерируют разные способы доступа к контенту, и связанные с ними рекламные доходы. Главным становится вопрос, какие минимальные требования должны быть вознаграждены путем предоставления исключительных прав или прав авторства? То есть заинтересованные лица в любом случае ищут способы организации всего процесса таким образом, чтобы получить распространение, но не потерять доходы. При этом государствам приходится включаться в регулирование соответствующих отношений. И чем раньше и мягче это происходит, тем больше возможностей для защиты интересов общества, конечных пользователей. Ту же ситуацию мы вскоре увидим на рынке объектов, созданных с помощью технологии искусственного интеллекта.

В этих условиях задачей права является создание справедливой и адекватной потребностям правообладателей и широкого круга пользователей (потребителей) правового механизма защиты их прав и законных интересов.

С одной стороны, для российского права справедливым кажется подход: если форма подпадающего под признаки охраноспособности объекта была детерминирована соображениями функциональности либо технической применимости, либо имеющимися в распоряжении художественными либо техническими средствами, не превышающими по своему уровню то, что для среднего автора представляет собой механическую работу, такой объект может не признаваться объектом авторского права (п. 1 ст. 1228 ГК РФ) [8, с. 48].

1 URL: https://www.wipo.int/wipo_magazine/en/2019/06/ar-ticle_0002.html.

С другой стороны, отнесение объектов, созданных роботами, к общественному достоянию имеет свое негативное последствие - прекращение инновационного развития в данной сфере [35]. Если посмотреть на опыт иных рынков, то можно обнаружить, что в условиях обобществления результатов развитие замедляется либо прекращается. А пока в отсутствие четкого видения решения этого вопроса возникает масса проблем, связанных с обладанием таким изобретением, возможностями передачи прав на данное решение, обеспечением конфиденциальности данных и защиты прав потребителей.

Возникшая проблема определения режима результата применения искусственного интеллекта заставляет государства и экспертов задуматься в целом о назначении права интеллектуальной собственности и применении механизмов его защиты. На наш взгляд, такие объекты сегодня вполне заслуживают охраны как объекты исключительных прав, однако в силу формулировок действующего Гражданского кодекса Российской Федерации не могут признаваться объектами исключительных авторских, смежных или патентных прав. Полагаем, в праве интеллектуальной собственности для подобного рода объектов возможно создание самостоятельного правового режима sui generis. По существу в этом контексте обществу предстоит выбрать, предоставлять право на результат применения искусственного интеллекта или это будет общественным достоянием. Однако вопрос о возможности предоставления результатам деятельности роботов правового режима объекта исключительных прав, а именно смежных, требует отдельного рассмотрения.

Технология искусственного интеллекта и управление

В Стратегии 2030 сделан акцент на соотнесение результатов применения технологии искусственного интеллекта с результатом интеллектуальной деятельности человека. При этом важно подчеркнуть, что не только создание результатов, сопоставимых с охраноспособными результатами интеллектуальной деятельности, является следствием применения технологии искусственного интеллекта.

Так, технология искусственного интеллекта выступает инструментом бизнес-аналитики.

Сегодня все более актуальной становится тема интеллектуализации организационных и информационных процессов, внедрения интеллектуальных систем поддержки принятия решений и рекомендательных систем.

Рекомендательные системы - технологии, которые на основе информации о профиле предсказывают, какие объекты (фильмы, музыка, книги, новости, веб-сайты) будут интересны пользователю [30, р. 109]. Рекомендательные системы широко используются в индустрии развлечений, бизнес-маркетинге и биомедицинской индустрии.

Суть работы рекомендательных систем заключается в следующем: эти программы собирают данные о пользователях и их предпочтениях (например, путем проведения тестирования пользователей либо посредством получения доступа к содержимому устройства пользователя, записи звука/видео, слежения за действиями пользователя в Интернете и приложениях, просмотра истории поисков пользователя в браузере). Все эти действия необходимы для работы данной системы и выполнения ею основной функции [58, р. 20; 61, р. 230]. Две основные стратегии создания рекомендательных систем - контентная фильтрация (content-based filtering) и коллаборативная фильтрация (collaborative filtering) [4]. Рекомендательные системы сравнивают однотипные данные из разных источников и вычисляют список рекомендаций для конкретного пользователя. Они являются альтернативой поисковых алгоритмов, так как позволяют обнаружить объекты, которые не могут быть найдены последними.

Таким образом, рекомендательная система на основе заранее собранных и обработанных данных (Big Data) описывает возможные пользовательские предпочтения. Выводы алгоритма служат важной основой для дальнейших рекомендаций пользователю того или иного контента. Этот эффект используется как часть механизма принятия решений в бизнесе и государственном управлении, а также весьма востребован в экономике как современный инструмент маркетинга (продвижения) для прогнозирования продаж, внедрения продуктов и др. Поскольку некоторые потребители и компании нуждаются в рекомендации или прогнозе для будущего бюджета, координации труда и цепочки поставок, динамические системы реко-

мендаций крайне востребованы сегодня для точного прогнозирования. Кажется очевидным, что такие результаты применения технологии искусственного интеллекта не приводят к созданию охраноспособных объектов, порождающих исключительное право на данные. В то же время не представляется возможным приравнять такие случаи применения технологии искусственного интеллекта к договорным отношениям в сфере услуг.

Еще одним направлением применения технологии искусственного интеллекта являются интеллектуальные системы поддержки принятия решений (Decision Support System, DSS). Это компьютерные автоматизированные системы, целью которых является помощь лицам, принимающим решение в сложных условиях для полного и объективного анализа предметной деятельности.

В технической среде под системами поддержки принятия решений понимают «комплекс математических и эвристических методов и моделей, объединенных общей методикой формирования альтернатив управленческих решений в организационных системах, определения последствий реализации каждой альтернативы и обоснования выбора наиболее приемлемого управленческого решения. Поддержка принятия решений и заключается в помощи лицу, принимающему решение, в процессе принятия решений» [15, с. 5].

Управление решениями на основе данных (Data-driven decision management, DDDM) - это такой подход к управлению бизнесом, когда принимаются решения, которые могут быть подкреплены проверяемыми данными. И если ранее необходимо было обращаться к специалисту, чтобы добывать данные для получения информации, поскольку этому человеку было необходимо понять, как работают базы данных и хранилища данных, то теперь такой сбор, анализ и обработка данных создается с применением технологий искусственного интеллекта на периодической основе.

В программу системы поддержки принятия решений входят: поиск информации, анализ базы данных, определение приоритетных задач, моделирование, генерация возможных решений и их альтернатив, выработка последствий выбора конкретных решений и определение в заданных условиях наиболее оптимального ре-

шения. Для решения наиболее сложных задач по принятию решений используются системы искусственного интеллекта [11]. То есть и в данной сфере мы можем разграничить системы, основанные на информационных технологиях, направленных на автоматизацию деятельности человека (например, создание баз данных, электронный документооборот), что обеспечивается за счет специального программного обеспечения и по существу не включает искусственный интеллект, и непосредственно системы искусственного интеллекта, где используются интеллектуальные алгоритмы (например, разрешение спора и вынесение решения).

Причем особенностью применения технологии искусственного интеллекта в системах принятия решений является то, что она применяется в сочетании с другими «сквозными» технологиями. В частности, активно задейству-ется технология больших данных. Успех подхода, основанного на данных, зависит от качества собранных данных и эффективности их анализа и интерпретации.

Таким образом, мы видим, что сферы применения и получаемые результаты технологии искусственного интеллекта далеко не всегда связаны с правами интеллектуальной собственности. В связи с этим практики заключают: несмотря на то что было использовано и разработано много продуктов искусственного интеллекта, он не производил результаты, которые были бы общедоступны или которые обязательно были интеллектуальными созданиями сами по себе1.

В то же время применение технологии искусственного интеллекта в данном ключе требует разрешения вопросов публично-правового характера: получения согласия на обработку данных от субъектов этих данных, определения правосубъектности указанных лиц, установления юридической ответственности в связи с недобросовестным использованием данных, полученных для принятия решения.

Унификация и стандартизация систем искусственного интеллекта

На наш взгляд, следует признать справедливость позиции, согласно которой целый ряд проблем, возникающих в связи с применением

1 URL: https://www.wipo.int/about-ip/en/artificial_ intelligence/.

технологии искусственного интеллекта и введением в оборот результатов функционирования искусственного интеллекта (либо прав на эти результаты в случае их возникновения у определенных субъектов), могут быть разрешены путем разработки стандартов, а также с помощью создания реестра таких результатов.

Полагаем, что ключевыми проблемами, возникающими при разработке, тестировании и эксплуатации систем искусственного интеллекта, являются следующие.

Во-первых, это риски, связанные с отсутствием доверия к системам искусственного интеллекта. Они обусловлены отсутствием транспарентности процесса принятия решений и вследствие этого - отсутствием гарантий качества выполненной работы. Поэтому этого имеются определенные ограничения в отношении использования систем искусственного интеллекта в процессе выполнения задач, предполагающих повышенную ответственность лица, принимающего решения.

Предсказуемость действий при выполнении конкретных задач, процессов и сервисов по обработке данных и поиску решений необходима, и использование машин, управляемых человеком, вполне способно обеспечить такую предсказуемость. Однако, как справедливо отмечают исследователи, роботы и системы искусственного интеллекта нового поколения являются самообучающимися, «архитектура интеллекта роботов продвинулась от интеллектуального действия к автономному интеллекту, благодаря чему роботы могут адаптироваться к сложным средам и взаимодействовать с людь-ми....Поскольку роботы становятся более способными к автономному поведению, правила, связанные с промышленными роботами, больше не будут эффективными», а возникающие при этом риски могут быть связаны с производством самообучающихся роботов и с процессом осуществления ими той или иной деятельности [59, р. 206].

Вопросы безопасности при разработке и тестировании систем искусственного интеллекта представляют особый интерес с позиций права, именно поэтому целый ряд ученых обращаются к их анализу. П. М. Морхат отмечает, что именно «такие риски поддаются управлению посредством нормативно-правового и нормативного технического регулирования,

посредством процессов оценки и планирования», в то время как «риски, проистекающие из автономной деятельности роботов (автономная деятельность роботов нового поколения делает связанные с их деятельностью риски сложными, изменчивыми и непредсказуемыми и, следовательно, требует совершенно иного подхода к оценке рисков)» [9, с. 129].

Среди зарубежных ученых, предпринимавших попытки выявления ключевых рисков безопасности, связанных с радикальным развитием технологий искусственного интеллекта, следует назвать Ника Бострома, который также усматривает существенные риски именно в процессе эксплуатации, применения технологии искусственного интеллекта, указывая на то, что «существуют опасения по поводу автономных автомобилей и кибератак, а также причинения вреда» [31].

Рональд Линес и Федерика Люсиверо указывают на необходимость регулирования процесса проектирования систем искусственного интеллекта с нормами и стандартами таким образом, чтобы их использование было максимально безопасным и исключалось причинение вреда пользователям данных систем, а также третьим лицам. Для этого ими предлагается регламентация указанных процессов путем не только принятия законов, но и разработки системы технической регламентации и стандартизации в указанной сфере [49, р. 6].

Ряд исследователей отмечают, что регулирование новых технологий является сложной задачей, поскольку оно предполагает «борьбу с неопределенностью и быстро распространяющимися, часто невидимыми технологиями» [45, р. 2]. А.П. дель Кастильо обращает внимание на то, что для создания прозрачного и демократического игрового поля необходим минимальный набор правил и что в настоящее время в отсутствии какого-либо специального нормативного акта о робототехнике могут являться Директива ЕС по машиностроению 2006/42 / EC и Директива об ответственности за качество продукции 85/374 / EEC) [36, р. 10].

Во-вторых, сложности при сопоставлении функциональных возможностей систем искусственного интеллекта друг с другом, а также с возможностями квалифицированного специалиста-оператора данной системы. В настоящее время имеется объективная необходимость в

разработке стандартных процедур сравнения для того, чтобы иметь возможность оценить полезный эффект от использования систем искусственного интеллекта.

О данной проблеме говорят и зарубежные исследователи. Например, Мартин Форд отмечает: «Дело не только в безработице. Это также о неравенстве. Ведутся дебаты о том, будет ли эта технология заменять людей или это скорее шаг вперед, когда новые технологии работают наряду с людьми?» [42]. Другие ученые также анализируют различные аспекты проблемы занятости, порождаемой все более широким распространением систем искусственного интеллекта.

Кей Ферт-Баттерфилд усматривает несомненную связь развития технологий искусственного интеллекта с количеством рабочих мест и отмечает следующие потенциальные проблемы при использовании данных систем: «Эти проблемы делятся на четыре основные категории: предвзятость, прозрачность, ответственность и конфиденциальность. Значительная ценность бренда может быть потеряна, если будут приняты неправильные решения об использовании искусственного интеллекта. Поэтому важно, чтобы различные регулирующие и другие механизмы управления были рассмотрены сейчас; быстрые темпы изменений в этой технологии таковы, что мы не можем ждать» [32].

В-третьих, идентифицированы проблемы интероперабельности, заключающиеся в отсутствии стандартных форматов представления данных, используемых либо получаемых с помощью систем искусственного интеллекта. Отсутствуют также требования к формированию обучающих и контрольных выборок, вследствие чего имеются существенные сложности для успешного встраивания систем искусственного интеллекта в информационно-коммуникационную инфраструктуру.

В современном промышленном производстве наблюдается тенденция комбинирования аппаратного и программного обеспечения (hardware и software), это необходимо для того, чтобы технологии искусственного интеллекта приобрели большую практическую значимость. Не случайно исследователи отмечают, что «для прикладных систем потребность в комбинации различных методов искусственного интеллекта с функциональными приложениями становится все более серьезной» [60, р. 33].

В-четвертых группа проблем, возникающих при создании и использовании систем искусственного интеллекта, с нашей точки зрения, связана с конфиденциальностью процессов получения, обработки и использования больших данных. Анализируя возможности применения систем искусственного интеллекта в правоприменительной практике, Деннис Гарсия, помощник главного юрисконсульта Microsoft, отметил следующее: «Чтобы системы искусственного интеллекта могли предоставлять ценные услуги, в основном им необходимо иметь доступ и использовать большие объемы данных. Системы искусственного интеллекта также, вероятно, будут генерировать значительные объемы информации. В результате покупатель услуг, связанных с использованием искусственного интеллекта, должен понимать, как поставщик решений искусственного интеллекта защищает и использует свои данные» [44]. Образное высказывание «IoT could feed the 'big data beast'» [39] вполне отражает те проблемы, которые могут возникнуть в связи с использованием больших данных.

Таким образом, вопрос о конфиденциальности тесно связан с большими данными (Big Data) и является весьма актуальным. Их использование больших данных необходимо для эффективного функционирования систем искусственного интеллекта, что порождает целый комплекс правовых и этических вопросов, в частности о границах использования персональных данных. В Европейском Союзе уже действует процедура PIA (privacy impact assessment) - оценка влияния функционирования роботов и иных подключаемых к Интернету устройств на конфиденциальность персональных данных. Она регулируется специальным актом по сбору, обработке и хранению больших данных - General Data Protection Regulation (GDPR)1, согласно которому каждому гражданину также предоставляется право на заявление возражений в отношении факта осуществления в отношении него сбора данных (профайлинга) и обработки его ре-

1 Regulation (EU) 2016/679 of the European Parliament and of the Council of 27 April 2016 on the protection of natural persons with regard to the processing of personal data and on the free movement of such data, and reppealing Directive 95/46/EC (General Data Protection Regulation). URL: http://eur-lex.europa.eu/legal-content/EN/TXT/PDF/?uri= CELEX: 32016R0679&from=EN.

зультатов, способной оказать существенное влияние на его права и обязанности.

Полагаем, однако, что в данной сфере необходимо более масштабное правовое регулирование: законодатель, осуществляя правовую и / или техническую регламентацию процессов функционирования искусственного интеллекта, должен иметь в виду базовые принципы, на основе которых эти процессы построены, а именно автономность и непрозрачность. Andrea Ottolia, анализируя особенности использования больших данных в деятельности систем искусственного интеллекта, весьма образно указала на следующую его особенность: «Большинство систем искусственного интеллекта являются "системами черных ящиков"» [55].

В науке идут дискуссии о том, каким образом можно регламентировать использование больших данных, предлагаются различные правовые режимы - авторского права либо смежных прав, коммерческой тайны, антимонопольное регулирование и т. д.

В отношении авторско-правовой охраны, предоставляемой компьютерным программам, следует отметить, что она не распространяется на содержание данных, охрана предоставляется форме произведения. Поэтому невозможно использовать ее для охраны, например, персональных данных. Что касается охраны в качестве баз данных, то эти данные, используемые системами искусственного интеллекта система может самостоятельно структурировать, делать выборки в соответствии с заданными самой этой системой параметрами, не придерживаясь заданного разработчиком этой базы принципа подбора и расположения материала.

Режим коммерческой тайны применим лишь для охраны информации, имеющей действительную или потенциальную коммерческую ценность, в то время как и иные данные могут быть важны для функционирования систем искусственного интеллекта.

С нашей точки зрения, антимонопольное законодательство в этом отношении может быть наиболее полезным, поскольку обладает надлежащими возможностями в предотвращении монополизации процессов сбора, обработки и хранения данных, использование его инструментов способно облегчить доступ к данным, однако необходимо это делать не только в со-

ответствии с нормами права, но и определенными техническими стандартами.

Таким образом, целый ряд исследователей правовых, социальных, экономических и иных проблем разработки и использования систем искусственного интеллекта приходят к выводу о необходимости унификации и стандартизации процедур в данной сфере. Необходимо как можно более точно прогнозировать и решать взаимосвязанные технологические и правовые проблемы, которые возникнут, когда использование роботов станет повсеместным, они будут широко внедрены во все сферы жизни общества. А мы полагаем, что такое внедрение произойдет в ближайшее десятилетие. Именно поэтому вопросы, касающиеся стандартов поведения автономных роботов, тесным образом связаны с безопасностью их использования.

Считаем также, что в современных условиях цифровизации очередной этап правового регулирования отношений, складывающихся в сфере сбора, хранения и использования больших данных, а также в сфере интеллектуальной собственности связан с необходимостью унификации и стандартизации систем искусственного интеллекта и технологии блокчейн.

Унификация позволяет выработать единые подходы к правовой регламентации соответствующих отношений, в результате чего происходит не только сближение законодательства различных стран, но и совершенствование правоприменительной практики. Начало процессу установления унифицированных требований к процедурам и средствам хранения больших данных, используемых при разработке, тестировании и эксплуатации систем искусственного интеллекта было положено сначала на международном уровне.

При обращении к анализу международного правового регулирования в указанной сфере становится очевидно, что еще начиная с 2000 г., в период бурного, революционного развития информационно-телекоммуникационных технологий, осуществлялось принятие в первую очередь актов общего характера - программных документов, признающих современный этап развития общества в качестве информационного общества и закрепляющих основные его характеристики.

Не случайно в указанный период по итогам Всемирной встречи на высшем уровне по во-

просам информационного общества в Женеве (декабрь 2003 г.), а также встречи, состоявшейся в Тунисе (ноябрь 2005 г.), были приняты весьма значимые документы: Окинавская хартия глобального информационного общества,1 План действий Тунисского обязательства2 и др., в которых основной целью, стоящей перед современным обществом, было провозглашено ускорение процессов формирования постиндустриальных тенденций во всех сферах его жизни - экономической, социально-политической и духовной. Декларация принципов по вопросам информационного общества, принятая в Женеве в 2003 г.3, провозгласила построение данного общества в качестве глобальной задачи в новом тысячелетии и определила принцип обеспечения повышения доверия и безопасности при использовании информационных технологий как один из ключевых.

Европейским парламентом в 2017 г. был опубликован Отчет с рекомендациями для Комиссии по гражданскому праву о правилах робототехники, в котором было, в частности, отмечено, что «тенденция к автоматизации требует, чтобы те, кто занимается разработкой и коммерциализацией приложений искусственного интеллекта, изначально строили систему безопасности и этики, тем самым признавая, что они должны быть готовы принять юридическую ответственность за качество производимой ими технологии» (пункт №)4. Также подчеркивается необходимость сбалансированного подхода, предполагающего обязательность стандартизации аппаратного и программного обеспечения систем искусственного интеллекта и в то же время, недопустимость создания препятствий инновациям.

1 Окинавская хартия глобального информационного общества. URL: http://www.iis.ru/library/okinawa/charter. ru.html.

2 План действий Тунисского обязательства. URL: http://ro-dinaprav.info/index.php/zakonodatelstvo/43-tunisskoe-obyazatelstvo.

3 Декларация принципов по вопросам информационного общества: принята в Женеве в 2003 г. URL: http://ro-dinaprav.info/index.php/zakonodatelstvo/36-deklaratsiya-printsipov-postroenie-informatsionnogo-obshchestva-global-naya-zadacha-v-novom-tysyacheletii.

4 Report of the European Parliament with recommendations to the Commission on Civil Law Rules on Robotics (2015/2103 (INL)) dated as of 27th of January, 2017. URL: http://www.eu-roparl. europa. eu/ sides/getDoc. do?pubRef= -//EP//TEXT+ RE-P0RT+A8-2017-0005+0+D0C+XML+V0//EN.

Как отмечено в Рекомендации Парламентской ассамблеи Совета Европы № 2102 от 28 апреля 2017 г. «Слияние с технологиями, искусственный интеллект и права человека»1, законодателям все труднее адаптироваться к темпу развития науки и технологий и разрабатывать необходимые нормативные акты и стандарты (п. 3), в связи с чем требуется разработать руководящие принципы, в частности, по вопросу автоматической обработки операций, направленных на сбор, обработку и использование персональных данных, а также общие рамки стандартов (п. 9.1). В данном документе сделан важный вывод о том, что любая машина, любой робот или любой искусственный интеллект должны оставаться под контролем человека.

В рамках Евразийского экономического союза принят технический регламент «О безопасности машин и оборудования», в котором, однако, не затронуты вопросы ответственности2.

В течение последнего десятилетия основные положения вышеобозначенных и иных стратегических, программных документов были внедрены в национальное законодательства целого ряда стран: в частности, Великобритания, Германия, Китай, США, Япония, Южная Корея предпринимают важные шаги в направлении регламентации базовых стандартов в сфере робототехники и искусственного интел-лекта3 [2, с. 3; 26].

Японский Комитет по политике в сфере робототехники в качестве меры, позволяющей решить либо предотвратить проблемы, связанные с функционированием роботов нового поколения, назвал в том числе разработку стандартов проектирования и производства роботов, где предполагается определить ответственность производителей за вред, причиненный действиями роботов4 [5, с. 216].

1 Recommendation № 2102 (2017) of Parliamentary Assembly of the Council of Europe «Technological convergence, artificial intelligence and human rights», 28 April 2017. URL: http://assembly.coe.int/nw/xml/XRef/Xref-XML2HTML-en. asp?fileid=23726&lang=en.

2 Решение Комиссии Таможенного союза от 18 окт. 2011 № 823 (ред. от 16.05.2016) [Электронный ресурс]. Доступ из справ.-правовой системы «КонсультантПлюс».

3 Draft Report with recommendations to the Commission on Civil Law Rules on Robotics (2015/2103(INL)), 31.05.2016 / Committee on Legal Affairs / European Parliament; Rapporteur: Mady Delvaux. URL: http://www.europarl.europa.eu/ sides/getDoc.do?pubRef=-//ep//nonsgml%2bcomparl%2bpe-582.443%2b01 %2bdoc%2bpdf%2bv0//en. P. 4.

4 Japan Ministry of Economy, Trade and Industry Robot Poli-

cy Council. Robot Policy Council Report, May 2006 (in Japa-

Российская Стратегия 2030 определяет искусственный интеллект как комплекс технологических решений. Данные решения могут быть объектами стандартизации, поскольку в соответствии с Федеральным законом от 29 июня 2015 г. № 162-ФЗ (ред. от 03.07.2016) «О стандартизации в Российской Федерации» (подп. 6 ст. 2)5, такими объектами могут являться: продукция (работы, услуги), процессы, системы менеджмента, терминология, условные обозначения, исследования (испытания) и измерения (включая отбор образцов) и методы испытаний, маркировка, процедуры оценки соответствия и иные объекты.

Данный подход соответствует Стратегии развития информационного общества в Российской Федерации, утвержденной Президентом РФ в 2017 г.6, и учитывает основные положения ния перечисленных выше международных документов.

Методические рекомендации по внедрению интернета вещей для оптимизации контрольно-надзорной деятельности содержат определение понятия «промышленный интернет вещей, применяемый в контрольно-надзорной деятельности»: это совокупность автоматических или автоматизированных средств измерения, передачи и обработки данных, систем реагирования и дистанционного мониторинга, обеспечивающих контрольно-надзорные органы достоверными сведениями о состоянии проверяемых объектов. Достоверность этих сведений может быть обеспечена только с помощью стандартизации. В данных рекомендациях также содержатся предложения об отказе от избыточного сбора персональных данных, ограничении его сообразно целям об-

nese). Цит. по: Weng Y. H., Chen C. H., Sun C. T. The legal crisis of next generation robots: on safety intelligence // Proceedings of the 11th international conference on Artificial intelligence and law. 2007. Pp. 205-209.

5 О стандартизации в Российской Федерации: Федер. закон Рос. Федерации от 29 июня 2015 г. №162-ФЗ (ред. от 03.07.2016) // Собр. законодательства Рос. Федерации. 2015. № 27, ст. 3953.

6 О Стратегии развития информационного общества в Российской Федерации на 2017-2030 годы: указ Президента РФ от 9 мая 2017 г. № 203 // Собр. законодательства Рос. Федерация. 2017. № 20, ст. 2901.

7 Методические рекомендации по внедрению и использованию промышленного интернета вещей для оптимизации контрольной (надзорной) деятельности: утв. протоколом заседания проект. комитета от 9 нояб. 2017 г. № 73(13) [Электронный ресурс]. Доступ из справ.-правовой системы «КонсультантПлюс».

работки, а также об установлении регламентированного порядка их раскрытия, допустимых сценариев агрегации и деперсонификации.

На наш взгляд, при разработке, тестировании и эксплуатации систем искусственного интеллекта необходима именно стандартизация -разработка норм технических стандартов, а не этических норм. Полагаем, что формулирование норм этики применительно к системам искусственного интеллекта так или иначе связано с попыткой наделить их определенным объемом правосубъектности, чего следует избегать. Мы придерживаемся подхода, изложенного в Стратегии 2030, и исходим из того, что искусственный интеллект - это технология, а не субъект права.

Стандартизация является одним из ключевых факторов, влияющих на модернизацию, технологическое и социально-экономическое развитие России, а также на повышение обороноспособности государства. Согласно ФЗ № 162-ФЗ «О стандартизации в Российской Федерации» (п. 4 ст. 2), «национальная система стандартизации» - механизм обеспечения согласованного взаимодействия участников работ по стандартизации (федеральный орган исполнительной власти, осуществляющий функции по выработке государственной политики и нормативно-правовому регулированию в сфере стандартизации, федеральный орган исполнительной власти в сфере стандартизации, другие федеральные органы исполнительной власти, Государственная корпорация по атомной энергии «Росатом» и иные государственные корпорации в соответствии с установленными полномочиями в сфере стандартизации, технические комитеты по стандартизации, проектные технические комитеты по стандартизации, комиссия по апелляциям, юридические лица, в том числе общественные объединения, зарегистрированные на территории Российской Федерации, физические лица - граждане Российской Федерации) на основе принципов стандартизации при разработке (ведении), утверждении, изменении (актуализации), отмене, опубликовании и применении документов по стандартизации, предусмотренных статьей 14 указанного Закона, с использованием нормативно-правового, информационного, научно-методического, финансового и иного ресурсного обеспечения.

Постановлением Правительства Российской Федерации от 17 июня 2004 г. № 294 «О Федеральном агентстве по техническому регулированию и метрологии»1 на Федеральное агентство по техническому регулированию и метрологии (Росстандарт) возложены функции национального органа Российской Федерации по стандартизации.

Актуализация Концепции Национальной системы стандартизации осуществлялась на основе осмысления и фиксации новых целей и задач, стоящих перед национальной системой стандартизации в контексте необходимости интенсификации экономического развития страны, ее технологической модернизации, улучшения качества жизни населения, охраны окружающей среды, усиления процессов интеграции в рамках СНГ, образования Таможенного союза, расширения внешнеэкономической деятельности и активизации процессов, связанных с вступлением Российской Федерации в ВТО, а также подготовки заключения Соглашения о сотрудничестве между Европейской организацией по стандартизацией (CEN / CENELEC) и Росстандартом.

В Российской Федерации был принят целый ряд документов по стандартизации в сфере интеллектуальной собственности, в частности: ГОСТ Р 55386-2012. Интеллектуальная собственность. Термины и определения (дата введения 01.07.2014); ГОСТ Р 56824-2015. Интеллектуальная собственность. Использование охраняемых результатов интеллектуальной деятельности в сети Интернет (дата введения 01.06.2016); ГОСТ Р 58223-2018. Интеллектуальная собственность. Антимонопольное регулирование и защита от недобросовестной конкуренции (дата введения 01.12.2018); ГОСТ Р 58086-2018. Интеллектуальная собственность. Распределение интеллектуальных прав между заказчиком, исполнителем и автором на охраняемые результаты интеллектуальной деятельности, создаваемые и/или используемые при выполнении научно-исследовательских, опытно-конструкторских, технологических и производственных работ (дата введения 01.08.2018); ГОСТ Р 58347-2019. Интеллектуальная собст-

1 О Федеральном агентстве по техническому регулированию и метрологии: постановление Правительства РФ от 17 июня 2004 г. № 294 (ред. от 20.07.2019) // Собр. законодательства Рос. Федерации. 2004. № 25, ст. 2575.

венность. Противодействие распространению контрафактной и фальсифицированной продукции в области машиностроения. Методы и технологии защиты (дата введения 01.07.2019); ГОСТ Р 58348-2019. Интеллектуальная собственность. Противодействие распространению контрафактной и фальсифицированной продукции в области машиностроения. Требования к процессам закупки, приемки и утилизации (дата введения 01.07.2019) и др.

Актуальность принятия данных стандартов тем более очевидна в связи с тем, что в российской практике нерешенными являются проблемы договорной и внедоговорной ответственности, ущерба, правового статуса роботов, их создателей, третьих лиц, вопросы конфиденциальности, безопасности, защищенности.

В финансовой сфере была сформирована Регулятивная площадка Банка России для внедрения и апробации новых финансовых сервисов и технологий искусственного интеллекта, требующих изменения правового регулирования. На данной площадке будут моделироваться процессы применения новых цифровых финансовых услуг, продуктов и технологий для их проверки в работе. По результатам этой работы технология может быть в дальнейшем одобрена и применена с необходимой нормативно-правовой базой. Такая площадка даст должную оценку эффективности новых финансовых технологий, а также будет содействовать оптимизации действующего законодательства (подробнее см. [17, с. 209-216]).

Это свидетельствует о том, что вопросам интеллектуальной собственности в системе нормативно-технического регулирования уделяется серьезное внимание.

Для повышения эффективности работ по стандартизации в области искусственного интеллекта на национальном, межгосударственном и международных уровнях в России был создан Технический комитет по стандартизации 164 «Искусственный интеллект» (Технический комитет 164)1. Основной задачей Комитета является создание нормативно-технической

1 О создании технического комитета по стандартизации «Искусственный интеллект» (ТК 164): утв. приказом Госстандарта от 25 июля 2019 г. № 1732 (ред. от 31.12.2019) [Электронный ресурс]. Документ опубликован не был. Доступ из справ.-правовой системы «Консультант Плюс».

базы и продвижение российских стандартов на международный уровень.

Техническому комитету 164 было предоставлено право участвовать в работе международных технических комитетов (с правом голосования) по согласованию с Федеральным агентством по техническому регулированию и метрологии, а также исполнение функций постоянно действующего национального органа в ISO/IEC JTC 1 SC 42 «Artificial Intelligence» (Международный комитет по стандартизации в сфере искусственного интеллекта).2

На международном уровне в настоящее время разработаны следующие стандарты: ISO / МЭК 20546:2019 Информационные технологии. Большие данные, ISO / IEC TR 205472:2018 Информационные технологии. Эталонная архитектура больших данных. Часть 2: Варианты использования и производные требования, ISO / МЭК 20547-3:2020 Информационные технологии. Эталонная архитектура больших данных. Часть 3: Эталонная архитектура; ISO / IEC TR 20547-5:2018 Информационные технологии. Эталонная архитектура больших данных. Часть 5: Дорожная карта стандартов.

В перспективе: разработка терминологии в сфере искусственного интеллекта; стандартов для систем искусственного интеллекта с использованием машинного обучения; управления рисками; нормативно-технического регулирования предвзятости в системах искусственного интеллекта и принятии решений с его помощью; надежности искусственного интеллекта; стандарт оценки надежности нейронных сетей; обзор примеров использования; этических и социальных проблем; вычислительных подходов для систем искусственного интеллекта; структура управления процессами для анализа больших данных; анализ управленческих последствий использования искусственного интеллекта организациями.

Таким образом, нормы, оформляющие процесс цифровизации в целом и регламентирующие процессы создания и использования систем искусственного интеллекта, роботов постепенно включаются в национальные законодательства всех развитых стран.

2 Технический комитет 164 «Искусственный интеллект» (ТК 164). URL: https://www.rvc.ru/eco/expertise/tc164/.

Заключение

Анализ показал, что в связи с выявленным и постоянно меняющимся составом высоких технологий, подпадающих под определение искусственного интеллекта, заявляют о себе разнопорядковые вопросы, которые делятся на группы. Ряд вопросов правового регулирования в данной сфере уже решены и потеряли свою актуальность для передовой юридической науки (правосубъектность технологии искусственного интеллекта); ряд вопросов может быть урегулирован с помощью имеющихся правовых механизмов (анализ персональных данных и иной информации в ходе применения технологии вычислительного интеллекта для принятия решений); а часть требует новых подходов правовой науки (выработка правового режима sui generis для результатов деятельности технологии искусственного интеллекта при условии получения оригинального результата).

Решением для юристов, и в первую очередь для правоприменителей, может стать разветвленная система стандартизации технологий искусственного интеллекта и результатов ее применения.

Библиографический список

1. Архипов В. В., Наумов В. Б. О некоторых вопросах теоретических оснований развития законодательства о робототехнике: аспекты воли и правосубъектности // Закон. 2017. № 5. С.157-170.

2. Британские законодатели намерены регулировать искусственный интеллект // Открытые системы. СУБД. 2016. № 4. С. 3-9.

3. Гурко А. В. Искусственный интеллект и авторское право: взгляд в будущее // Интеллектуальная собственность. Авторское право и смежные права. 2017. № 12. С. 7-18.

4. Джонс М. Принципы работы рекомендательных механизмов Интернета. URL: https://www.ibm.com/developerworks/ru/library/os -recommender1/index.html.

5. Ермолина Д., Перевалов В. Правовой режим объектов интеллектуальной собственности, созданных с использованием искусственного интеллекта. URL: http://www.rupto.ru/ con-tent/uploadfiles/s4_ermolina_perevalov.pdf.

6. Згуровский М. З., Зайченко Ю. П. Основы вычислительного интеллекта. Киев: Нау-кова думка, 2013. 406 с.

7. Ирискина Е. Н., Беляков К. О. Правовые аспекты гражданско-правовой ответствен-

ности за причинение вреда действиями робота как квазисубъекта гражданско-правовых отношений // Гуманитарная информатика. 2016. Вып. 10. С. 63-72.

8. Кашанин А. В. Минимальный уровень творческого характера произведений в авторском праве Германии // Законодательство и экономика. 2009. № 12. С. 48-57.

9. Морхат П. М. Искусственный интеллект: правовой взгляд: монография / РОО «Институт государственно-конфессиональных отношений и права». М.: Буки Веди, 2017. 257 с.

10. Морхат П. М. Правосубъектность искусственного интеллекта в сфере права интеллектуальной собственности: гражданско-правовые проблемы: дис. ... д-ра юрид. наук. М., 2018. 420 с.

11. Незнамов А. В. К вопросу о применении технологий искусственного интеллекта в правосудии: терминологический аспект // Арбитражный и гражданский процесс. 2019. № 10.

12. Основные тенденции развития права интеллектуальной собственности в современном мире, в том числе новые объекты интеллектуальных прав и глобальная защиты. [По заказу АО «РВК»]. М., 2017. 213 с.

13. Понкин И. В., Редькина А. И. Искусственный интеллект с точки зрения права // Вестник Российского университета дружбы народов. Серия: Юридические науки. 2018. Т. 22, № 1. С. 91-109.

14. Правосубъектность: общетеоретический, отраслевой и международно-правовой анализ: материалы к XII Ежегодным научным чтениям памяти С. Н. Братуся: сб. науч. ст. / А.В. Габов и др. М.: Статут, 2017. 434 с.

15. Прокопенко Н. Ю. Системы поддержки принятия решений: учеб. пособие; Нижегор. гос. архит.-строит. ун-т. Н. Новгород, 2017. 188 с.

16. Рахматулина Р. Ш.Концептуальные основы построения системы объектов авторского права. М., 2020.

17. Рахматулина Р. Ш., Свиридова Е. А., Савина В. С. Правовое регулирование искусственного интеллекта и роботизации - новый этап развития экономики // Гуманитарные и юридические исследования. 2019. № 4. С. 209216.

18. Санникова Л. В., Харитонова Ю. С. Новые технологии и право: современный правовой подход к технологии распределенного реестра // Актуальные проблемы российского права. 2019. № 4 (101). С. 62-69.

19. Санникова Л. В., Харитонова Ю. С. Цифровые компетенции юриста: проблемы формирования: монография. М.: Труды МГУ, 2020.

20. Сесицкий Е. П. Проблемы правовой охраны результатов, создаваемых системами искусственного интеллекта: дис. ... канд. юрид. наук. М., 2018. 218 с.

21. Скобцов Ю. А. Основы эволюционных вычислений. Донецк: ДонНТУ, 2008. 326 с.

22. Рассел С., Норвиг П. Искусственный интеллект. Современный подход [Artifical Intelligence: A Modern Approach]. 2-е изд. М.: ООО «И. Д. Вильямс», 2007.

23. Харитонова Ю. С. К вопросу об охраноспособности результата деятельности искусственного интеллекта // Право будущего: интеллектуальная собственность, инновации, Интернет: ежегодник. Вып. 1 / РАН. ИНИОН. Центр. социал. науч.-информ. исслед. Отд. правоведения; каф. предпринимательского права МГУ им. М. В. Ломоносова; отв. ред. Е. Г. Афанасьева. М., 2018.

24. Что такое цифровая экономика? Тренды, компетенции, измерение Ч-80: докл. К XX Апр. междунар. науч. конф. по проблемам развития экономики и общества (Москва, 9-12 апр. 2019 г.) / науч. ред. Л. М. Гохберг. М.: Изд. дом Высшей школы экономики, 2019. 82 с.

25. Энтин В. Л. Авторское право в виртуальной реальности (новые возможности и вызовы цифровой эпохи). М.: Статут, 2017. 216 с.

26. Automatisiertes und Vernetztes Fahren: Bericht der Ethik-Kommission, juni 2017 / Eingefügt durch den Bundesminister für Verkehr und digitale Infrastruktur [Автоматизированное и подключенное вождение: отчет Комиссии по этике Федер. М-ва транспорта и цифровой инфраструктуры Германии, июнь 2017 г.]. URL: https://www.bmvi.de/SharedDocs/DE/Publikatione n/DG/bericht-der-ethik-kommission.html?nn= 12830>; https://www.bmvi.de/SharedDocs/DE/ Publikationen/DG/bericht-der-ethik-kommis-

sion .pdf?_blob=publicationFile.

27. Belluz J. 3 ways AI is already changing medicine. They might surprise you. URL: https://www.vox.com/science-and-health/2019/3/ 15/18264314/ai-artificial-intelligence-deep-medi-cine-health-care.

28. Bettinger T. Der Werkbegriff im spanischen und deutschen Urheberrecht. München: Verlag C. H. Beck, 2001.

29. Bezdek J. C. What is computational intelligence? // Computational Intelligence Imitating Life. January 1994.

30. Bobadilla J., Ortega F., Hernando A., Gutiérrez A. Recommender systems survey, Knowledge-Based Systems. 2013. Vol. 46. Pp.109-132.

31. Bostrom N. Superintelligence: Paths, Dangers, Strategies. Oxford: Oxford University Press, 2016.

32. Cath C. et al. Governing artificial intelligence: Ethical, legal and technical challenges and opportunities. Philosophical Transactions of the Royal Society A: Mathematical, Physical and Engineering Sciences. 2018. Vol. 376, Issue 2133.

33. Cohn. Up for Bid, AI Art Signed 'Algorithm', New York Times, 22 October 2018. URL: https://www.nytimes.com/2018/10/22/arts/design/c hristies-art-artificial-intelligence-obvious.html.

34. Copeland B. J. Artificial intelligence, Encyclopedia Britannica. URL: https://www.bri-tannica.com/technology/artificial-intelligence.

35. Costa F. A. De, Carrano A. G. Intellectual property protection for artificial intelligence // Westlaw journal intellectual property. N.Y., 2017. 30 August. URL: https://www.finnegan.com/ print/content/46173/Intellectual-Property-Protec-tion-for-Artificial-Intelligence.pdf?q=.

36. Del Castillo A. P. A law on robotics and artificial intelligence in the EU? / European Trade Union Institute // The Foresight Brief. 2017, September. № 2. 11 p. URL: https://www.etui. org/Publications2/Foresight-briefs/A-law-on-robo-tics-and-artificial-intelligence-in-the-EU.

37. Deltorn J.-M., Macrez F. Authorship in the Age of Machine learning and Artificial Intelligence // Sean M. O'Connor (ed.), The Oxford Handbook of Music Law and Policy, Oxford University Press, 2019 (Forthcoming). Centre for International Intellectual Property Studies (CEIPI) Research Paper No. 2018-10. 25 p.

38. Dreier T., Schulze G. Urheberrechtsgesetz. Urheberrechtswahrnehmungsgesetz, Kunsturhebergesetz: Kommentar. XVII. München, 2004. 1690 S.

39. Dutton W. H. The Internet of Things (June 20, 2013). URL: https://ssrn.com/abstract= 2324902.

40. Engelbrecht A. P. Computional Intelligence: Introduction. John Wiley&Sons Ltd. 2007. 597 p.

41. For a Brief Critical Analysis of the Terminology and the Underlying Concept Herberger // NJW. 2018. 2825 p.

42. Ford M. The Rise of the Robots: Technology and the Threat of Mass Unemployment. New York: Oneworld Publications, 2016. 352 p.

43. Fromm F., Nordemann W. Urheberrecht. Stuttgart-Berlin-Köln-Mainz, 1973. S. 68.

44. Garcia D. Preparing for Artificial Intelligence in the Legal Profession // Lexis Practice Advisor Journal. 06.07.2017. URL: https://www.lex-isnexis.com/lexis-practice-advisor/the-jour-nal/b/lpa/archive/2017/06/07/preparing-for -artificial-intelligence-in-the-legal-profession.aspx.

45. Graeme L., Harmon S. HE and Arzua ga F. Foresighting futures: law, new technologies and the challenges of regulating for uncertainty, Law, Innovation and Technology, 4 (1), Pp. 1-33. (2012) DOI 10.5235/175799612800650626

46. Hawkins J, Blakeslee S. On Intelligence, Times Books, Henry Holt and Co. 2004. 261 p.

47. Hristov K. Artificial Intelligence and the Copyright Survey. 2019 DOI: 10.13140/ RG.2.2.25023.87207. URL: https://www.re-searchgate.net/publication/3 37387886_Artifi-cial_Intelligence_and_the_Copyright_Survey.

48. Schwab K. Die Vierte Industrielle Revolution // München: Pantheon Verlag, 2016. 240 S.

49. Leenes R., Lucivero F. Laws on Robots, Laws by Robots, Laws in Robots: Regulating Robot Behaviour by Design. 32 p. URL: https://pa-pers.ssrn.com/sol3/papers.cfm?abstract_id=254675 9 (дата обращения: 19.03.2020).

50. Marks R. Intelligence: computational versus artificial, IEEE Trans. Neural Networks, 1993. № 4. Pp. 737-739.

51. Marsan N., Hill S. International law and military applications of Artificial Intelligence. Research Report "The Brain and the Processor: Unpacking the Challenges of Human-Machine Interaction". URL: https://www.jstor.org/stable/re-srep19966.

52. McCarthy J. What Is Artificial Intelligence? Computer Science Department // Stanford University. November 12, 2007. URL: http://www-formal. stanford. edu/jmc/whatisai/whatisai.html.

53. Medeiros. The startup fighting cancer with AI, Wired, 22.3.2016. URL: http://www.wi-red.co.uk/article/ai-cancer-drugs-berg-pharma-startup.

54. Siddique N. Н.; Adeli Н. Computational Intelligence: Synergies of Fuzzy Logic, Neural Networks and Evolutionary Computing. John Wiley & Sons, 2013.

55. Ottolia A. Big Data e Innovazione Com-putazionale. Torino 2017. URL: http://www.an-dreaottolia.it/wp-content/uploads/2018/03/Big-Da-ta-e-innovazione-computazionale.pdf.

56. Abbott R. I Think, Therefore I Invent: Creative Computers and the Future of Patent Law, 57 B.C.L. Rev. 1079 (2016). URL: https://law-digitalcommons .bc. edu/bclr/vol57/iss4/2.

57. Taweepon S. Challenges of Future Intellectual Property Issues for Artificial Intelligence. URL: https://www.tilleke. com/re sources/challen-

ges-foture-intellectual-property-issues-artificial-intelligence.

58. Vijaya Kumar P. N., Raghunatha Reddy Dr. V. A Survey on Recommender Systems (RSS) and Its Applications, 2014. Pp. 5254-5260.

59. Weng Y. H, Chen C. H, Sun C. T. The legal crisis of next generation robots: on safety intelligence // Proceedings of the 11th international conference on Artificial intelligence and law. 2007. Pp. 205-209.

60. WIPO Technology Trends 2019 Artificial Intelligence. WIPO, 2019. 158 p.

61. Yukun Cao, Yunfeng Li. An intelligent fuzzy-based recommendation system for consumer electronic products. 2007. Vol. 33. Pp. 230-240.

References

1. Arkhipov V. V., Naumov V. B. O nekoto-rykh voprosakh teoreticheskikh osnovaniy razvitiya zakonodatel'stva o robototekhnike: aspekty voli i pravosub "ektnosti [On Certain Issues of Theoretic Grounds for Development of Robotics Legislation: the Aspects of Will and Legal Personality]. Zakon - ZAKON. 2017. Issue 5. Pp. 157-170. (In Russ.).

2. Britanskie zakonodateli namereny regu-lirovat ' iskusstvennyy intellekt [British Lawmakers Intend to Regulate Artificial Intelligence]. Otkrytye sistemy. SUBD - Open Systems. DBMS. 2016. Issue 4. Pp. 3-9. (In Russ.).

3. Gurko A. V. Iskusstvennyy intellekt i av-torskoe pravo: vzglyad v budushchee [AI and Copyright: Looking into Future]. Intellektual'naya sobstvennost '. Avtorskoe pravo i smezhnye prava -Intellectual Property. Copyright and Related Rights. 2017. Issue 12. Pp. 7-18. (In Russ.).

4. Jones M. T. Printsipy raboty rekomenda-tel 'nykh mekhanizmov Interneta [The Principles of Advisory Mechanisms of the Internet]. Available at: https://www.ibm.com/developerworks/ru/ li-brary/os-recommender1/index.html (In Russ.).

5. Ermolina D., Perevalov V. Pravovoy rezhim ob"ektov intellektual'noy sobstvennosti, sozdannykh s ispol 'zovaniem iskusstvennogo intel-lekta [Legal Regime of Intellectual Property Objects Created with Using Artificial Intelligence]. Available at: http://www.rupto.ru/content/upload-files/s4_ermolina_perevalov.pdf (In Russ.).

6. Zgurovskiy M. Z., Zaychenko Yu. P. Os-novy vychislitel 'nogo intellekta [The Fundamentals of Computational Intelligence]. Kiev, 2013. 406 p. (In Russ.).

7. Iriskina E. N., Belyakov K.O. Pravovye aspekty grazhdansko-pravovoy otvetstvennosti za prichinenie vreda deystviyami robota kak kvazi-sub"ekta grazhdansko-pravovykh otnosheniy [Legal Aspects of Civil Liability for Causing Harm by the Actions of a Robot as a Quasi-Subject of Civil

Law Relations]. Gumanitarnaya informatika -Humanitarian Informatics. 2016. Issue 10. Pp. 6372. (In Russ.).

8. Kashanin A. V. Minimal'nyy uroven' tvorcheskogo kharaktera proizvedeniy v avtorskom prave Germanii [The Minimum Level of the Creative Nature of Works in German Copyright]. Zako-nodatel'stvo i ekonomika - Legislation and Economy. 2009. Issue 12. Pp. 48-57. (In Russ.).

9. Morkhat P. M. Iskusstvennyy intellekt: pravovoy vzglyad: Nauchnaya monografiya [Artificial Intelligence: Legal View: Scientific Monograph]. Moscow, 2017. 257 p. (In Russ.).

10. Morkhat P. M. Pravosub"ektnost' iskusstvennogo intellekta v sfere prava intellek-tual 'noy sobstvennosti: grazhdansko-pravovye problemy: dis. ... d-rayurid. nauk [Legal Personality of Artificial Intelligence in Intellectual Property Law: Civil Law Problems: Dr. jurid. sci. diss.]. Moscow, 2018. 420 p. (In Russ.).

11. Neznamov A. V. K voprosu o primenenii tekhnologiy iskusstvennogo intellekta v pravosudii: terminologicheskiy aspekt [On Application of Artificial Intelligence Technologies in Justice: a Terminological Aspect]. Arbitrazhnyy i grazhdanskiy protsess - Arbitrazh and Civil Procedure. 2019. Issue 10. Access from the legal reference system 'Consultant Plus' (In Russ.).

12. Osnovnye tendentsii razvitiya prava in-tellektual'noy sobstvennosti v sovremennom mire, v tom chisle novye ob "ekty intellektual 'nykh prav i global 'noy zashchity [The Main Trends in the Development of Intellectual Property Law in the Modern World, Including New Objects of Intellectual Rights and Global Protection]. Moscow, 2017. 213 p. (In Russ.).

13. Ponkin I. V., Red'kina A. I. Iskusstven-nyy intellekt s tochki zreniya prava [Artificial Intelligence from the Point of View of Law]. Vestnik Rossiyskogo universiteta druzhby narodov. Seriya: Yuridicheskiye nauki - RUDN Journal of Law. 2018. Vol. 22. Issue 1. Pp. 91-109. (In Russ.).

14. Pravosub"ektnost': obshcheteoreti-cheskiy, otraslevoy i mezhdunarodno-pravovoy analiz [Legal Personality: General-Theoretical, Branch-Specific and International Legal Analysis]. Materialy k XII Ezhegodnym nauchnym chteniyam pamyati S. N. Bratusya: Sb. nauch. st. / A. V. Ga-bov i dr. [Materials for the XII Annual Scientific Readings to the Memory of S.N. Bratus: Collection of Scientific Articles; A.V. Gabov et al.]. Moscow, 2017. 434 p. (In Russ.).

15. Prokopenko N. Yu. Sistemy podderzhki prinyatiya resheniy: ucheb. posobie [Decision-Support Systems: Tutorial]. Nizhny Novgorod, 2017. 188 p. (In Russ.).

16. Rakhmatulina R. Sh. Kontseptual'nye osnovy postroeniya sistemy ob"ektov avtorskogo prava [Conceptual Framework for Building a System of Copyright Objects]. Moscow, 2020. (In Russ.).

17. Rakhmatulina R. Sh., Sviridova E. A., Savina V.S. Pravovoe regulirovanie iskusstvennogo intellekta i robotizatsii - novyy etap razvitiya ekonomiki [Legal Regulation of Artificial Intelligence and Robotization - a New Stage of Economic Development]. Gumanitarnye i yuridicheskie issledovaniya - Humanities and Law Studies. 2019. Issue 4. Pp. 209-216. (In Russ.).

18. Sannikova L. V., Kharitonova Yu. S. Novye tekhnologii i pravo: sovremennyy pravovoy podkhod k tekhnologii raspredelennogo reestra [New Technologies and Law: a Modern Legal Approach to the Distributed Registry Technology]. Aktual'nye problemy rossiyskogo prava - Actual Problems of Russian Law. 2019. Issue 4 (101). Pp. 62-69. (In Russ.).

19. Sannikova L. V., Kharitonova Yu. S. Tsi-frovye kompetentsii yurista: problemy formirova-niya: monografiya [Digital Competencies of a Lawyer: Problems of Formation: Monograph]. Moscow, 2020. (In Russ.).

20. Sesitskiy E. P. Problemy pravovoy ok-hrany rezul'tatov, sozdavaemykh sistemami iskusstvennogo intellekta: dis. ... kand. yurid. nauk [Problems of Legal Protection of the Results Created by AI Systems: Cand. jurid. sci. diss.]. Moscow, 2018. 218 p. (In Russ.).

21. Skobtsov Yu. A. Osnovy evolyutsionnykh vychisleniy [The Fundamentals of Evolutionary Computation]. Donetsk, 2008. 326 p. (In Russ.).

22. Rassel S., Norvig P. Iskusstvennyy intellekt. Sovremennyy podkhod. 2-e izdanie [Artificial Intelligence: a Modern Approach. 2nd ed.]. Moscow, 2007. (In Russ.).

23. Kharitonova Y. S. K voprosu ob okhra-nosposobnosti rezul'tata deyatel'nosti iskusstven-nogo intellekta [On Protectability of the Result of Artificial Intelligence Activity]. Pravo budushche-go: intellektual'naya sobstvennost', innovatsii, Internet: Ezhegodnik / RAN. INION. Tsentr. sot-sial. nauch.-inform. issled. Otd. pravovedeniya; Kafedra predprinimatel'skogo prava MGU im. M.V. Lomonosova. Otv. red. Afanas'eva E.G. [Law of the Future: Intellectual Property, Innovation, the Internet: Yearbook. RAS. INION. Centre for Social Scientific and Information Research. Department of Legal Studies. Chair of Entrepreneurial Law, Lomonosov Moscow State University; ed. by E. G. Afanas'eva ]. Moscow, 2018. Issue 1. (In Russ.).

24. Chto takoe tsifrovaya ekonomika? Trendy, kompetentsii, izmerenie. Dokl. k XXApr. mezh-

dunar. nauch. konf. po problemam razvitiya eko-nomiki i obshchestva, Moskva, 9-12 apr. 2019 g. / G. I. Abdrakhmanova, K. O. Vishnevskiy, L. M. Gokhberg i dr.; nauch. red. L. M. Gokhberg; Nats. issled. un-t 'Vysshaya shkola ekonomiki' [What is the Digital Economy? Trends, Competencies, Measurement. Report at the XX April International Scientific Conference on the Problems of Economic and Social Development. Moscow. April 9-12, 2019; G. I. Abdrakhmanova, K. O. Vishnevskiy, L.M. Gokhberg et al.; ed. by L. M. Gokhberg]. Moscow, 2019. 82 p. (In Russ.).

25. Entin V. L. Avtorskoe pravo v vir-tual'noy real'nosti (novye vozmozhnosti i vyzovy tsifrovoy epokhi) [Copyright in Virtual Reality (New Opportunities and Challenges of the Digital Age)]. Moscow, 2017. 216 p. (In Russ.).

26. Automatisiertes und Vernetztes Fahren: Bericht der Ethik-Kommission, juni 2017. Eingefügt durch den Bundesminister für Verkehr und digitale Infrastruktur. Available at: https://www.bmvi.de/SharedDocs/DE/Publikatione n/DG/bericht-der-ethik-kommission.html?nn= 12830>; https://www.bmvi.de/SharedDocs/DE/ Publikationen/DG/bericht-der-ethik-kommis-sion.pdf?_blob=publicationFile (In Germ.).

27. Belluz J. 3 Ways AI is Already Changing Medicine. They Might Surprise You. Available at: https://www.vox.com/science-and-health/2019/ 3/15/18264314/ai-artificial-intelligence-deep-medicine-health-care (In Eng.).

28. Bettinger T. Der Werkbegriff im Spanischen und Deutschen Urheberrecht. Munich: Verlag C.H. Beck, 2001. (In Germ.).

29. Bezdek J. C. What is Computational Intelligence? Computational Intelligence Imitating Life. January 1994. (In Eng.).

30. Bobadilla J., Ortega F., Hernando A., Gutiérrez A. Recommender Systems Survey, Knowledge-Based Systems. 2013. Vol. 46. Pp. 109-132. (In Eng.).

31. Bostrom N. Superintelligence: Paths, Dangers, Strategies. Oxford: Oxford University Press, 2016. (In Eng.).

32. Cath C. et al. Governing Artificial Intelligence: Ethical, Legal and Technical Challenges and Opportunities. Philosophical Transactions of the Royal Society A: Mathematical, Physical and Engineering Sciences. 2018. Vol. 376. Issue 2133. (In Eng.).

33. Cohn G. Up for Bid, AI Art Signed 'Algorithm'. New York Times. October 22, 2018. Available at: https://www.nytimes.com/2018/10/ 22/arts/design/christies-art-artificial-intelligence-obvious.html (accessed 12.03.2020). (In Eng.).

34. Copeland B. J. Artificial Intelligence, Encyclopedia Britannica. Available at:

https://www.britannica.com/technology/artificial-intelligence (In Eng.).

35. De Costa F. A., Carrano A. G. Intellectual Property Protection for Artificial Intelligence. Westlaw Journal Intellectual Property. August 30, 2017. Available at: https://www.finnegan.com/ print/content/46173/Intellectual-Property-Protec-tion-for-Artificial-Intelligence.pdf?q= (In Eng.).

36. Del Castillo A. P. A Law on Robotics and Artificial Intelligence in the EU? European Trade Union Institute. The Foresight Brief. September 2017. Issue 2. 11 p. Available at: https://www.etui.org/Publications2/Foresight-briefs/A-law-on-robotics-and-artificial-intelli-gence-in-the-EU (In Eng.).

37. Deltorn J.-M., Macrez F. Authorship in the Age of Machine Learning and Artificial Intelligence. The Oxford Handbook of Music Law and Policy; ed. by S.M. O'Connor. Oxford University Press, 2019 (Forthcoming). Centre for International Intellectual Property Studies (CEIPI) Research Paper No. 2018-10. 25 p. (In Eng.).

38. Dreier T., Schulze G. Urheberrechtsgesetz. Urheberrechtswahrnehmungsgesetz, Kunsturhebergesetz: Kommentar. Munich, 2004. Vol. XVII. 1690 p. (In Germ.).

39. Dutton W. H. The Internet of Things. June 20, 2013. Available at: https://ssrn.com/ab-stract=2324902 (In Eng.).

40. Engelbrecht A. P. Computational Intelligence: an Introduction. John Wiley & Sons, Ltd., 2007. 597 p. (In Eng.).

41. For a Brief Critical Analysis of the Terminology and the Underlying Concept Herberger. NJW. 2018. 2825 p. (In Eng.).

42. Ford M. The Rise of the Robots: Technology and the Threat of Mass Unemployment. New York: Oneworld Publications, 2016. 352 p. (In Eng.).

43. Fromm F., Nordemann W. Urheberrecht. Stuttgart-Berlin-Cologne -Mainz, 1973. P. 68. (In Germ.).

44. Garcia D. Preparing for Artificial Intelligence in the Legal Profession. Lexis Practice Advisor Journal. July 06, 2017. Available at: https://www.lexisnexis.com/lexis-practice-advi-sor/the-journal/b/lpa/archive/2017/06/07/prepa-ring-for-artificial-intelligence-in-the-legal-pro-fession.aspx (In Eng.).

45. Graeme L., Harmon S., Arzuaga F. Fo-resighting Futures: Law, New Technologies and the Challenges of Regulating for Uncertainty. Law, Innovation and Technology. 2012. Issue 4 (1).

Pp. 1-33. DOI: 10.5235/175799612800650626. (In Eng.).

46. Hawkins J., Blakeslee S. On Intelligence. Times Books, Henry Holt and Co., 2004. 261 p. (In Eng.).

47. Hristov K. Artificial Intelligence and the Copyright Survey. 2019. DOI: 10.13140/ RG.2.2. 25023.87207. Available at: https://www.research-gate.net/publication/3 37387886_Artificial_Intellig ence_and_the_Copyright_Survey (In Eng.).

48. Schwab K. Die Vierte Industrielle Revolution. Munich: Pantheon Verlag, 2016. 240 p. (In Germ.).

49. Leenes R., Lucivero F. Laws on Robots, Laws by Robots, Laws in Robots: Regulating Robot Behaviour by Design. Law, Innovation and Technology. 2014. Issue 6 (2). 32 p. Available at: https://papers.ssrn.com/sol3/papers.cfm?abstract_i d=2546759 (In Eng.).

50. Marks R. Intelligence: Computational Versus Artificial, IEEE Trans. Neural Networks. 1993. Issue 4. Pp. 737-739. (In Eng.).

51. Marsan N., Hill S. International Law and Military Applications of Artificial Intelligence. Research Report 'The Brain and the Processor: Unpacking the Challenges of Human-Machine Interaction'. Available at: https://www.jstor. org/stable/resrep19966 (In Eng.).

52. McCarthy J. What is Artificial Intelligence? Computer Science Department. Stanford University. November 12, 2007. Available at: http://www-formal. stanford.edu/jmc/whatisai/ whatisai.html (In Eng.).

53. Medeiros. The Startup Fighting Cancer with AI. Wired. 22.03.2016. Available at:

http://www.wired.co.uk/article/ai-cancer-drugs-berg-pharma-startup (In Eng.).

54. Siddique N.H., Adeli H. Computational Intelligence: Synergies of Fuzzy Logic, Neural Networks and Evolutionary Computing. John Wiley & Sons, 2013. (In Eng.).

55. Ottolia A. Big Data e Innovazione Com-putazionale. Torino, 2017. Available at: http://www.andreaottolia.it/wp-content/uploads/ 2018/03/Big-Data-e-innovazione-computaziona-le.pdf (In Ital.).

56. Abbott R. I Think, Therefore I Invent: Creative Computers and the Future of Patent Law. Boston College Law Review. 2016. Vol. 57. Issue 4. Pp. 1079-1126. Available at: https://lawdigital commons.bc.edu/bclr/vol57/iss4/2 (In Eng.).

57. Taweepon S. Challenges of Future Intellectual Property Issues for Artificial Intelligence. Available at: https://www.tilleke.com/resources/ challenges-future-intellectual-property-issues-artificial-intelligence (In Eng.).

58. Vijaya Kumar P.N., Raghunatha Reddy Dr. V. A Survey on Recommender Systems (RSS) and Its Applications. 2014. Pp. 5254-5260. (In Eng.).

59. Weng Y. H., Chen C. H, Sun C. T. The Legal Crisis of Next Generation Robots: on Safety Intelligence. Proceedings of the 11th International Conference on Artificial Intelligence and Law. 2007. Pp. 205-209. (In Eng.).

60. WIPO Technology Trends 2019: Artificial Intelligence. WIPO, 2019. 158 p. (In Eng.).

61. Cao Y., Li Y. An Intelligent Fuzzy-Based Recommendation System for Consumer Electronic Products. 2007. Vol. 33. Pp. 230-240. (In Eng.).