CC BY
25DOI 10.47643/1815-1337_2023_7_134 УДК 004.8
АНАЛИЗ СОСТОЯНИЯ ПРАВОВОГО РЕГУЛИРОВАНИЯ В СФЕРЕ ДЕЯТЕЛЬНОСТИ СИСТЕМ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА Analysis of the state of legal regulation in the field of artificial intelligence systems СЕМЕНОВ Сергей Васильевич,
соискатель кафедры компьютерного права и информационной безопасности
Высшей школы государственного аудита Московского государственного университета им. М.В. Ломоносова (МГУ). 119991, Российская Федерация, г. Москва, Ленинские горы, д. 1. E-mail: sergej-gossluzhba@yandex.ru;
Semenov Sergey Vasilievich,
Applicant of the Department of Computer Law and Information Security, Higher School of Public Audit of Moscow State University named after M.V. Lomonosov. 1 Leninskie Gory, Moscow, 119991, Russian Federation. E-mail: sergej-gossluzhba@yandex.ru
Краткая аннотация: Несмотря на огромное количество научных публикаций в сфере деятельности систем искусственного интеллекта в нашей стране правовое регулирование на законодательном уровне этого важнейшего направления развития человечества находится еще только на стартовой отметке. К большому сожалению, в планах законопроектных работ федеральных органов исполнительной власти не присутствуют названия законопроектов, содержащих надлежащее решение этой важной государственной задачи. По моему мнению, искусственный интеллект - это, прежде всего, программный код, исполняемый на конкретной аппаратной платформе (компьютерной технике). Данный программный код на языке высокого уровня реализует авторский алгоритм поведения некой информационной системы искусственного интеллекта, имеющей возможность накапливая данные (например, система распознавания лиц), обучаться в процессе выработки решения. Но пока способность системы перепрограммировать себя - нереальная фантастика. Значит, ответственность должна быть применена к цепочке граждан - разработчик алгоритма и программного кода, изготовитель и владелец системы, распространитель и пользователь системы. Межфакультетский курс «Кибернетические и организационно-правовые основы деятельности систем искусственного интеллекта» кафедры Компьютерного права и информационной безопасности ВШГА МГУ имени М.В. Ломоносова содержит определенный научно-педагогический результат, выработанный ведущими специалистами страны. Формируемые правовые нормы в Российской Федерации должны обладать свойством релевантности к будущим технологиям с учетом современных знаний и представлений, что тем самым позволит достичь относительной стабильности законодательства, регулирующего данную область и минимизировать неизбежные корректировки в условиях быстротечного развития технологий искусственного интеллекта.
Abstract: Despite the huge number of scientific publications in the field of artificial intelligence systems in our country, legal regulation at the legislative level of this most important area of human development is still at the starting point. Unfortunately, the plans of legislative work of federal executive bodies do not contain the names of bills containing the proper solution of this important state task. In our opinion, artificial intelligence is, first of all, a program code executed on a specific hardware platform (computer technology). This program code in a high-level language implements the author's algorithm for the behavior of a certain artificial intelligence information system that has the ability to accumulate data (for example, a face recognition system) and learn in the process of developing a solution. But for now, the system's ability to reprogram itself is an unrealistic fantasy. This means that responsibility must be applied to the chain of citizens - the developer of the algorithm and program code, the manufacturer and owner of the system, the distributor and user of the system. Interfaculty course "Cybernetic and organizational-legal foundations of the activity of artificial intelligence systems" of the Department of Computer Law and Information Security, GSOM MSU named after M. V. Lomonosov contains a certain scientific result developed by the leading experts of the country. The emerging legal norms in the Russian Federation should be relevant to future technologies, taking into account modern knowledge and ideas, which will thereby achieve relative stability of the legislation governing this area and minimize inevitable adjustments in the context of the rapid development of artificial intelligence technologies.
Ключевые слова: искусственный интеллект, правовое регулирование, информационная безопасность, ответственность, кафедра Компьютерного права и информационной безопасности ВШГА МГУ имени М.В. Ломоносова, межфакультетский курс.
Keywords: artificial intelligence, legal regulation, information security, responsibility, Department of Computer Law and Information Security, GSOM Moscow State University named after M. V. Lomonosov, interfaculty course.
Для цитирования: Семенов С.В. Анализ состояния правового регулирования в сфере деятельности систем искусственного интеллекта //Право и государство: теория и практика. 2023. № 7(223). С. 134-137. http://doi.org/10.47643/1815-1337_2023_7_134.
For citation: Semenov S. V. Analysis of the state of legal regulation in the field of artificial intelligence systems // Law and state: theory and practice. 2023. No. 7(223). pp. 134-137. http://doi.org/10.47643/1815-1337_2023_7_134.
Статья поступила в редакцию: 22.06.2023
Национальная стратегия развития искусственного интеллекта (далее - Стратегия)1 предусматривает к 2030 году создание действенной системы правового регулирования этого важнейшего направления развития нашей страны. Но, к сожалению, до сих пор в планах законопроектных работ пока не содержится названий законопроектов, которые внесли бы значимый вклад в совершенствование и развитие этого направления деятельности.
Многими авторами и исследователями в рассматриваемой области отмечается, что переносить положения и понятия, используемые в Стратегии в законодательные акты, в том числе четвертую часть Гражданского кодекса Российской Федерации2 еще преждевременно до их усовершенствования. Однако, их необходимо рассматривать как базовый компонент норм, регулирующих основания и порядок осуществления прав на результаты интеллектуальной деятельности. В этой связи весьма важным является обеспечение информационной безопасности населения, под которой следует понимать состояние защищенности, при которой невозможно нанесение вреда гражданам или объектам информационной безопасности, зависящим от деятельности систем искусственного интеллекта.
В Стратегии указываются основные принципы развития систем и технологий в исследуемой сфере деятельности. Кратко их можно описать следующим образом:
1) Защита прав и свобод человека. Прежде всего, это означает, что разработка и использование систем искусственного интеллекта
1 Указ Президента Российской Федерации от 09.05.2017 № 203 «О Стратегии развития информационного общества в Российской Федерации на 2017-2030 годы» // Собрание законодательства РФ. 2017. № 20. Ст. 2901.
2 Гражданский кодекс Российской Федерации: федер. закон от 18 декабря 2006 г. № 230-Ф3, часть четвертая // Российская газета. 2006. 22 декабря.
должна исходить из соблюдения конституционных прав гражданина и человека, связанных с его безопасностью, а затем возможностью получать и использовать новые знания, полученные указанными системами.
2) Прозрачность. Системы искусственного интеллекта - это своеобразный черный ящик, в котором с помощью программного кода, реализуется разработанный автором алгоритм деятельности. В подавляющем большинстве случаев пользователь лишь может предположить, как происходит процесс принятия решения, влияющего на конечный результат. В упрощенном виде можно представить домохозяйку, использующую пылесос, холодильник или СВЧ печь, и представляющую конечный результат их деятельности.
3) Безопасность. Состояние защищенности пользователя от угроз потенциального вредоносного воздействия, способного причинить ущерб имуществу, а также жизни и здоровью человеку.
Вторым важным документом, определяющим развитие правового регулирования в исследуемой сфере, является Концепция развития регулирования отношений в сфере технологий искусственного интеллекта и робототехники до 2024 года (далее - Концепция)1. Направленность Концепции имеет примерную схожесть с содержанием Стратегии, т.е. это цифровая экономика, безопасность и определение направлений правового регулирования, а также преодоление различных препятствий и барьеров в исследуемой сфере. Главной целью Концепции является выработка эффективных механизмов разработки и внедрения технологий и систем искусственного интеллекта для развития цифровой экономики, повышения состояния защищенности от вызовов и угроз, создания отечественных аппаратно-программных комплексов в сфере искусственного интеллекта.
Концепция рассматривает несколько общеотраслевых задач в области регулирования искусственного интеллекта:
1) Создание механизмов упрощенного внедрения продуктов с использованием технологий искусственного интеллекта и робототехники по принципу «регуляторной песочницы». Облегченные условия для реализации инновационных проектов, когда в отдельных сферах устанавливается особый правовой режим, позволяющий организациям проводить эксперимент по внедрению инновационных продуктов и услуг с определенными изъятиями в соблюдении отдельных регулятивных требований, оценивать возможные риски, анализировать необходимость внесения изменений в законодательство и делать вывод о целесообразности развития тех или иных продуктов и услуг.
2) Юридическая ответственность в случае применения систем искусственного интеллекта и робототехники. В Концепции не ставится задача глобального изменения существующих норм в области ответственности систем искусственного интеллекта, учитывая реальный уровень развития технологий. Вместе с тем, ставится задача разработки механизмов гражданско-правовой, административной и уголовной ответственности при условии определения вреда и ущерба гражданам и организациям, определения субъектов и их виновности в произведенном вреде или ущербе, а также правовых норм, закрепленных в соответствующих кодексах.
3) Разработка и уточнение терминов и определений в сфере технологий искусственного интеллекта и робототехники. В указанной задаче ставится вопрос возможности формулирования отраслевых понятий, что очень важно при дальнейшей правовой регламентации этой деятельности.
4) Разработка нормативных актов в сфере искусственного интеллекта и робототехники на международном уровне. В качестве примера результата схожего направления деятельности Российской Федерации, приведу разработанный Советом Безопасности РФ и представленный МИД России в ООН проект Концепции Конвенции ООН об обеспечении Международной информационной безопасности. Подобные нормативные правовые акты должны быть разработаны специалистами с высшим образованием, включающем международные, юридические и технические компетенции.
5) Создание нормативных условий при применении систем искусственного интеллекта при принятии юридически значимых решений. Это направление можно охарактеризовать как давний спор физиков и гуманитариев. В настоящее время такие юридические профессии как судья, прокурор, следователь, нотариус, адвокат и т.д. базируются на принятии обоснованного решения юристом профессионалом с определенным опытом и стажем работы. Но для математиков программистов нет никакой разницы разработать и внедрить программные комплексы искусственного интеллекта, полностью реализующие алгоритмы профессиональной деятельности указанных сфер юридической специальности. Пока юристы сопротивляются. Возьмите известные базы данных правовой информации, так называемые справочные правовые системы. Никто уже не ходит в справочную Минюста России для поиска нужного актуализированного текста правового акта. (Исключение - уникальные архивы Научного центра правовой информации).
6) Совершенствование порядка охраны прав на результаты интеллектуальной деятельности. Сегодня уже хорошо известны случаи создания авторских произведений с помощью систем искусственного интеллекта, начиная от курсовых и дипломных работ студентов до целых научных журналов, включающих различные авторские материалы по изучаемой отрасли науки. А уж создание литературных произведений, картин и музыки просто поставлено на поток. Все эти примеры говорят о необходимости правового регулирования этих важных направлений деятельности.
Как это не горько констатировать, а единственным федеральным законом, в названии которого имеется словосочетание «искусственный интеллект», является Федеральный закон от 24.04.2020 № 123-Ф3 «О проведении эксперимента по установлению специального регулирования в целях создания необходимых условий для разработки и внедрения технологий искусственного интеллекта в субъекте Российской Федерации - городе федерального значения Москве и внесении изменений в статьи 6 и 10 федерального закона «О персональных данных»2. И то этот закон посвящен довольно частному случаю разработки и применения технологий искусственного интеллекта на ограниченный срок.
Коллеги в своих исследованиях в сфере искусственного интеллекта упоминают Федеральный закон от 31 июля 2020 г. № 258-ФЗ «Об
1 Концепция развития регулирования отношений в сфере технологий искусственного интеллекта и робототехники до 2024 года. Утверждена распоряжением Правительства РФ от 19.08.2020 г. № 2129-р // СПС «Консультант Плюс».
2 Федеральный закон от 24.04.2020 № 123-Ф3 «О проведении эксперимента по установлению специального регулирования в целях создания необходимых условий для разработки и внедрения технологий искусственного интеллекта в субъекте Российской Федерации - городе федерального значения Москве и внесении изменений в статьи 6 и 10 федерального закона «О персональных данных» // СПС «Консультант Плюс».
экспериментальных правовых режимах в сфере цифровых инноваций в Российской Федерации»1, но это также узко специализированный нормативный правовой акт.
Согласно Дорожной карте развития «сквозной» цифровой технологии «Нейротехнологии и искусственный интеллект», в частности таблице 9, предусмотрено:
1)Обеспечены нормативные условия для доступа к данным. Это означает, что системы искусственного интеллекта (например, распознавания лиц) должны строить свою работу на нормативной законодательной базе, предусматривающей как минимум ответственность владельца системы за последствия ошибочной идентификации распознаваемого лица.
2) Создан упрощенный административно-правовой и нормативно- технический порядок тестирования и внедрения разработок в области искусственного интеллекта. Программные комплексы, претендующие на принадлежность к системам искусственного интеллекта, должны проходить те же этапы разработки и внедрения, как и обычные программные продукты с единственным отличием на определение ответственности разработчика, дистрибьютера и пользователя.
3) Разработан специальный инвестиционный режим для финансово- правового стимулирования инвестиций. Это направление скорее больше касается понятия «регуляторная песочница» в плане привлечения инвестиций на более выгодном для инвестора режиме налогообложения и других финансово-экономических категорий цифровой экономики.
4) Обеспечено поддержание эффективного баланса между интересами компаний, разрабатывающих и внедряющих искусственный интеллект и интересам общества. Здесь речь идет о дисбалансе ответственности программистов разработчиков, плохо ориентирующихся в нормах законодательства нашей страны, и простых граждан, которые могут попасть под колеса беспилотного автомобиля, управляемого системой искусственного интеллекта.
5) Создана полноценная система нормативно-технического регулирования в области искусственного интеллекта. Это создание не только основополагающих законодательно закрепленных базовых принципов деятельности систем искусственного интеллекта, но и технических регламентов разработки и использования указанных систем.
По моему мнению, искусственный интеллект - это, прежде всего, программный код, исполняемый на конкретной аппаратной платформе (компьютерной технике). Данный программный код на языке высокого уровня (например С++) реализует авторский алгоритм поведения некой информационной системы искусственного интеллекта, имеющей возможность накапливая данные (например система распознавания лиц), обучаться в процессе выработки решения. Но пока способность системы перепрограммировать себя - нереальная фантастика. Значит, ответственность должна быть применена к цепочке граждан - разработчик алгоритма и программного кода, изготовитель и владелец системы, распространитель и пользователь системы.
Как соискатель кафедры компьютерного права и информационной безопасности Высшей школы государственного аудита МГУ имени М.В. Ломоносова я участвовал в подготовке межфакультетского курса «Кибернетические и организационно-правовые основы деятельности систем искусственного интеллекта». Одна из тем курса «Правовое регулирование отношений с участием искусственного интеллекта» включает в себя понятия правосубъектность искусственного интеллекта, творческая самостоятельность искусственного интеллекта, деликтоспособность искусственного интеллекта, «вина» искусственного интеллекта, ответственность искусственного интеллекта.
Смешно и глупо разрабатывать вопросы ответственности для «железа», наполненного программным продуктом. Это все равно, что наказывать беспилотный аппарат (неважно летательный, водный, наземный или космический), управляемый оператором человеком. Оператор аппарата подобен водителю автомобиля, который должен оценивать опасность нарушения норм и правил, влекущую за собой все существующую виды ответственности (дисциплинарную, гражданскую, административную и уголовную). Но если оператор дрона, сбрасывающий на голову врага смертоносный груз, понимает последствия своих действий, то в чем виноват программист, реализующий разработанный кем-то алгоритм поведения, например беспилотного танка.
Для решения вопросов этического характера при использовании искусственного интеллекта в Российской Федерации в конце 2021 года был опубликован Меморандум о присоединении к Кодексу этики в сфере искусственного интеллекта. Как и во всех развитых странах, участники, подписавшие такой меморандум, признают положения Кодекса в качестве принципов реализации и правил действия при разработке, создании, эксплуатации, компенсации издержек систем искусственного интеллекта. Но общее у «этики» искусственного интеллекта и человеческой этики все же есть - это отношение к «добру» и «злу», причем эти понятия имеют ясную правовую интерпретацию, что позволяет формулировать нормы «права» (в кавычках) для искусственного интеллекта. Проблемы, связанные с функционированием системы искусственного интеллекта могут быть вызваны различными обстоятельствами, такими как - ошибки проектирования, перепрограммирование системы искусственного интеллекта пользователем, незаконные взломы и хакерские атаки на систему искусственного интеллекта и другое.
Подводя некоторый итог вышесказанному можно констатировать, что в настоящее время отсутствует необходимая законодательная база для полномасштабного правового регулирования в сфере деятельности систем искусственного интеллекта. Притом как всегда это бывает взгляды на эту проблему диаметрально противоположны. «Технари», разрабатывающие алгоритм и реализующие его в программно-аппаратной системе, воспринимают эту деятельность как чисто изобретательскую и не желают нести никакой ответственности подобно разработчикам атомной бомбы. С другой стороны умиляющиеся «правоведы», наделяют правосубъектностью мигающую глазками «железяку» с двигающимися руч-
1 Федеральный закон от 31 июля 2020 г. № 258-ФЗ «Об экспериментальных правовых режимах в сфере цифровых инноваций в Российской Федерации» // СПС «Консультант Плюс».
ками и ножками, вручая ей паспорт и все права гражданина. Однако вопрос о гражданской, административной и уголовной ответственности за причиненный ущерб или вред или иные негативные последствия заставляет ученых правоведов задуматься о совершенствовании и разработке надлежащего законодательства.
Серьезное исследование вместе с коллегой Полубинской С.В. провел в своей работе «Искусственный интеллект: правовой статус или правовой режим» заведующий кафедры Компьютерного права и информационной безопасности ВШГА МГУ имени М.В. Ломоносова член-корреспондент РАН Батурин Ю.М. [1]. Кстати под руководством Батурина Ю.М. в 2022 году на кафедре в МГУ имени М.В. Ломоносова защищена очень интересная выпускная квалифицированная работа (диссертация) магистра Мезвришвили Н.К. на тему «Правовые проблемы регулирования отношений в сфере технологий искусственного интеллекта» [2,3].
Существенный научный вклад в развитие правового регулирования деятельности систем искусственного интеллекта внесли такие ведущие ученые как Минбалеев А.В. [4,5] Морозов А.В. [6], Морхат П.М. [7] и Наумов В.Б. [8,9].
Также у профессора этой кафедры Морозова А.В. [10] есть мало замеченная коллегами работа, в которой он размышляет об устройстве (вещественной основе) человеческого сознания. Это уже попытка осмыслить возможность построения некого биологического организма, работающего и самообучающего на основе человекоподобной ткани живого организма.
Проанализировав имеющуюся литературу, можно сделать вывод, что искусственный интеллект является в некотором смысле наукой будущего, в которой нет жесткого разделения по областям и ясно видна связь между отдельными дисциплинами, которые лишь отражают определенную грань познания. К сожалению, пока размышления и взгляды ученых правоведов не достигли уровня активной законопроектной деятельности. Значительную часть законопроектов вносится от правительства страны. Механизм разработки этих законопроектов сугубо ведомственный. Это значит, что федеральный орган исполнительной власти, имеющий достаточно узкий функционал, должен создать рабочую группу в составе чиновников, ученых правоведов, практикующих юристов и представителей общественности, которые, прежде всего, должны в разрабатываемом законопроекте учесть ведомственные интересы. И пока это так, правовое регулирование такого сложного и многоаспектного направления как искусственный интеллект, будет на зачаточном уровне. Кроме того, формируемые правовые нормы должны обладать свойством системности, чтобы обеспечить возможность встраивания в существующие отрасли права.
Учитывая высокий уровень развития и распространения технологий искусственного интеллекта при отсутствии сбалансированных ре-гуляторных решений по управлению в исследуемой области очередным важным условием должен стать учет методологии и уже имеющихся в мире и в Российской Федерации этических аспектов создания систем искусственного интеллекта, а также их обучение.
Формируемые правовые нормы в Российской Федерации должны обладать свойством релевантности к будущим технологиям с учетом современных знаний и представлений, что тем самым позволит достичь относительной стабильности законодательства, регулирующего данную область и минимизировать неизбежные корректировки в условиях быстротечного развития технологий искусственного интеллекта.
В заключение выскажу пожелание, увидеть в ближайшее время для решения этой важной государственной задачи под эгидой администрации Президента РФ создание рабочей группы по разработке законопроекта по правовому регулированию в сфере деятельности систем искусственного интеллекта.
Библиогра фия:
1. Батурин Ю.М., Полубинская С.В. Искусственный интеллект: правовой статус или правовой режим. Государство и право. № 10, 2022, С. 141 - 154.
2. Мезвришвили Н.К «Правовые проблемы регулирования отношений в сфере технологий искусственного интеллекта». Выпускная квалифицированная работа (диссертация) магистра. Науч. рук. Батурин Ю.М., 2022, кафедра Компьютерного права и информационной безопасности ВШГА МГУ им. М.В. Ломоносова, 115 с.
3. Мезвришвили Н.К. Искусственный интеллект в сфере интеллектуальной собственности // Труды по интеллектуальной собственности. — 2021. — Т. 38, № 3. — С. 99-103.
4. Минбалеев, А. В. Проблемы регулирования искусственного интеллекта / А. В. Минбалеев // Вестник ЮУрГУ. Серия «Право». - 2018. - Т. 18, № 4. - С. 82- 87.
5. Дюфло А., Егорова М.А., Минбалеев А.В., Пономарева Д.В. Тенденции правового регулирования искусственного интеллекта в Российской Федерации и во Французской Республике. Вестник Университета имени О.Е. Кутафина (МГЮА). 2020; (№9), С. 223-229.
6. Морозов А.В. Искусственный интеллект: понятие и особенности правового регулирования. Монография. М.: ООО «Технолоджи-3000», 2021 132 с.
7. Морхат П.М. Правосубъектность искусственного интеллекта в сфере права интеллектуальной собственности: гражданско-правовые проблемы: дис. ... д-ра юрид. наук. М., 2018, 420 с.
8. Наумов В.Б. Комплексное исследование правовых и этических аспектов, связанных с разработкой и применением систем искусственного интеллекта и робототехники: монография / под ред. д.ю.н. В. Б. Наумова. Санкт-Петербург : НП-Принт, 2022. 336 с.
9. Наумов В.Б. Правовые и этические аспекты, связанные с разработкой и применением систем искусственного интеллекта и робототехники : история, современное состояние и перспективы развития: монография / под ред. д.ю.н. В. Б. Наумова. Санкт-Петербург : НП-Принт, 2020. 260 с.
10. Морозов А.В. Бионические конструкции человеческого сознания как основа построения ЭВМ будущего // Будущее российского права: концепты и социальные практики. V Московский юридический форум. XIV Международная научно-практическая конференция (Кутафинские чтения) : материалы конференции: в 4 ч. Часть 4. М.: РГ-Пресс, 2018. С. 82-89.
References:
1. Baturin Y.M., Polubinskay S.V. Iskusstvennyi intellekt: pravovoi status ele pravovoi rezim. Gosudarstvo i pravo. № 10, 2022, S. 141 - 154.
2. Mezvrishvili N.K Pravovie problemi regulirovaniy otnosheniy v sfere teshnologiy iskusstvennogo intellekta. Vipusknay kvalificionnay rabota magistra. Department of Computer Law and Information Security, Moscow State University named after M.V. Lomonosov, 2022, 115 s.
3. Mezvrishvili N.K Iskusstvennyi intellekt v sfere intelektualnoi sobstvennosti // Trudi po intelektualnoi sobstvennosti. — 2021. — Т. 38, № 3. — S. 99-103.
4. Minbaleev A.V. Problemi regulirovaniy iskusstvennogo intellekta / Minbaleev A.V. // Vestnik UYrGU. Seriy «Pravo». - 2018. - Т. 18, № 4. - S. 82- 87.
5. Dyflo А., Egorova М.А., Minbaleev A.V., Ponomoreva D.V. Тенденции pravovogo regulirovaniy iskusstvennogo intellekta v Rosseiskoi Federacei i vo Francuzskoi Respublike. Vestnik Universiteta imeni О.Е. ^tafina ^иА). 2020; (№9), S. 223-229.
6. Morozov A.V. Iskusstvennyi intellekt: ponytie i osobtnnosti pravovogo regulirovaniy [Artificial intelligence: the concept and features of legal regulation] Monograph. M.: Technology-3000 LLC, 2021. 132 p. (in Russian).
7. Morhat P.M. Pravosubektnost iskusstvennogo intellekta v sfere prava intelektualnoi sobstvennosti: grazdansko-pravovie problem. Dissertaciy PHD. М., 2018, 420 s.
8. Naumov V.B. Kompleksnoe issledovanie pravovyh i eticheskih aspektov, svyazannyh s razrabotkoj i primeneniem sistem iskusstvennogo intellekta i robototekhniki: monografiya [Comprehensive study of legal and ethical aspects related to the development and application of artificial intelligence and robotics systems: monograph] / pod red. d.yu.n. V. B. Naumova. Sankt-Peterburg : NP-Print, 2022. 336 s. (in Russian).
9. Naumov V.B. Pravovye i eticheskie aspekty, svyazannye s razrabotkoj i primeneniem sistem iskusstvennogo intellekta i robototekhniki : istoriya, sovremennoe sos-toyanie i perspektivy razvitiya: monografiya [Legal and ethical aspects related to the development and application of artificial intelligence and robotics systems: history, current state and prospects of development: monograph] / pod red. d.yu.n. V. B. Naumova. Sankt-Peterburg : NP-Print, 2020. 260 s. (in Russian).
10. Morozov A.V. Bionic constructions of human consciousness as the basis for building the computer of the future // The future of Russian law: concepts and social practices. V Moscow Legal Forum. XIV International Scientific and Practical Conference (Kutafin Readings): conference materials: at 4 o'clock. Part 4. M.: RG - Press, 2018 pp. 82-89 (in Russian).
