CC BY
47
социально-экономических проблем страны, повышения эффективности системы государственного управления, проведения необходимых реформ в образовании, науке и экономике [13].
Для создания в Беларуси системы цифрового государства требуется выделение необходимых материальных средств и реформирование нормативной правовой базы (в том числе регулирование компетенций электронного правительства, осуществление государственного и общественного контроля за его функционированием).
Белорусское цифровое государство будет развиваться на основе создания и совершенствования порталов госуслуг по принципу одного окна, систем информационной поддержки граждан и организаций для взаимодействия с органами исполнительной власти и местного самоуправления с использованием ИКТ, активизации обратной связи государства с гражданами и предоставления им полноценного пакета электронных услуг, обеспечения онлайн-платежей посредством применения ГО-карт..
Summary. The article reviews the definitions of an electronic state. The author's definition of the term of the digital state is proposed. The definitions of the concept "electronic government" are given. The main objectives and problems of an electronic government and the advantages of its introduction are enumerated. The experience of building up a modern digital state in Estonia, as well as a possibility of using Estonian experience in the Republic of Belarus is analyzed. The basic directions of introduction of digital technologies of an electronic government in the Republic of Belarus and expected results of this process are pointed out. Keywords: electronic state, electronic government, e-government, governance, electronic governance, e-governance, information and communication technologies (ICT), the Internet.
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ
1. Киселев А. С. Формирование идеи электронного государства и особенности ее реализации: теоретико-правовое исследование: дис. ... канд. юрид. наук: 12.00.01 / Тамбовский государственный университет им. Г. Р. Державина. - Тамбов, 2018.
2. Digital Government / OECD // https://www.oecd.org/gov/digitai-government/.
3. E-Government / Unated Nations // https://publicadministration.un.org/egovkb/en-us/About/UNeGovDD-Framework.
4. Ковалёв М., Шади Аль-Сараирех. Создание электронного правительства с учетом международного опыта // Банкаусга веснк 2006. №16. С. 16-25.
5. Стратегия развития информатизации в Республике Беларусь на 2016-2022 гг.: утв. на заседании Президиума Совета Министров от 03.11.2015 №26 // http://e-gov.by/zakony-i-dokumenty/strategiya-razvitiya-informatizacii-v-respublike-belarus-na-2016-2022-gody.
6. Об утверждении Государственной программы развития цифровой экономики и информационного общества на 2016-2020 гг.: Постановление Совета Министров Республики Беларусь, 23.03.2016 г., №235; в ред. Постановления Совета Министров Республики Беларусь от 22.03.2017 г. №215 // Консультант Плюс: Беларусь. Технология 3000 / ООО «ЮрСпектр», Нац. центр правовой информ. Респ. Беларусь. - Минск, 2019.
7. United Nations E-Government Survey 2018: Gearing E-Government To Support Transformation Towards Sustainable And Resilient Societies. - United Nations: New York, 2018.
8. The Digital Economy and Society Index (DESI) / European Commission // https://ec.europa.eu/digital-single-market/digital-economy-and-society-index-desi/.
9. Success Stories / e-estonia // https://e-estonia.com/.
10. The E-Estonia Brochure / e-estonia // https://e-estonia.com/wp-content/uploads/eestonia-guide-a5-14022019.pdf/.
11. E-Estonia In Numbers / e-estonia // https://e-estonia.com/wp-content/uploads/e-estonia-facts-18-09-21.pdf/.
12. 2019: На выборах в Эстонии почти 50% голосов были поданы онлайн / TAdviser // http://www.tadviser.ru/index.php/ Электронное_прави-тельство_Эстонии/.
13. Головенчик Г. Г. Становление и развитие цифровой экономики в современных условиях глобализации: автореф. дис. ... канд. экон. наук: 08.00.14 / Белорусский государственный университет. - Минск, 2019.
http://innosfera.by/2019/11/digital_state
Валерий Бельский,
директор Института экономики НАН Беларуси, доктор экономических наук, доцент
Дарья Маркевич,
младший научный сотрудник Центра государственного строительства и права Института экономики НАН Беларуси
Марина Сатолина,
заведующий сектором Центра государственного строительства и права Института экономики НАН Беларуси, кандидат юридических наук
елорусская ССР была одной из передовых республик Советского Союза в деле разработки промышленных роботов и роботов, имеющих двойное назначение [1]. В настоящее время наша страна развивает технологии искусственного интеллекта (ИИ) в контексте мировых процессов. В этой сфере работает более 70 компаний, в основном резиденты ПВТ [2], создано Белорусское общественное объединение специалистов в области искусственного интеллекта, растет количество обучающих программ.
В НАН Беларуси в ряде институтов осуществляются работы по проблемам реализации
■
■
Аннотация. В статье рассматриваются тенденции и перспективы развития искусственного интеллекта (ИИ) и робототехники как в мире, так и в Республике Беларусь. Отмечается, что их дальнейшее совершенствование и использование возможно только при условии реализации системно-комплексного подхода, который, с одной стороны, позволит учитывать необходимость развития законодательства, находящегося на стыке сразу нескольких отраслей права, с другой - предоставит возможность обеспечить учет и гармонизацию подходов, сформировавшихся в зарубежной научной доктрине и законодательстве, в том числе в рамках ЕС, ЕАЭС, СНГ. Ключевые слова: искусственный интеллект, робототехника, гражданское законодательство, правовое регулирование цифровой экономики.
подходов формализованной семантики в системах искусственного интеллекта, моделирования интеллектуальных процессов. Например, в Объединенном институте проблем информатики действует Открытая лаборатория искусственного интеллекта и робототехники, создается Межведомственный исследовательский центр по искусственному интеллекту совместно с КНР. Физико-технический институт наряду с другими белорусскими учреждениями и предприятиями выпускает беспилотные летательные аппараты. В августе 2019 г. на базе Института физиологии открыт Центр мозга, сотрудники которого совместно с учеными из Объединенного института проблем информатики, нейрохирургами РНПЦ неврологии и нейрохирургии, БГУИР и БГУ, иностранными коллегами занимаются исследованиями естественного и искусственного интеллекта.
В результате бурного развития цифровых технологий роботы становятся все более сложными, автономными и способными принимать решения
самостоятельно, что, в первую очередь, связано с понятием «глубокие нейронные сети». Они были известны ученым давно, но только в последнее время исследователи находят возможности совершенствовать «сетевые алгоритмы», обучать и тренировать их [3].
Со сложностью роботов, в том числе и самообучающихся, возрастает и степень ответственности за их действия, поскольку реальных и потенциальных ситуаций, опасных для человека, с участием роботов, где должны быть определены конкретные виновники, уже насчитывается немало. При этом возникают вопросы не только гражданско-правовой, но и административной и уголовной ответственности. Первые шаги в этом направлении уже сделаны Указом Президента Республики Беларусь №215 от 05.06.2019 г. «О пресечении полетов авиамоделей и беспилотных летательных аппаратов». Им устанавливается норма о том, что военнослужащие (сотрудники) воинских формирований и органов внутренних дел, работники военизированной
охраны не несут ответственности за вред, причиненный собственникам (владельцам) авиамоделей и беспилотных летательных аппаратов в связи с применением физической силы, специальных средств, оружия, боевой и специальной техники. При этом возмещение вреда, причиненного третьим лицам, осуществляется в соответствии с Гражданским кодексом Республики Беларусь.
Другим примером могут служить случаи поломки биржевых роботов в ходе торгов и, соответственно, причинение многомиллионных убытков. В настоящее время каждый участник торгов сам отвечает за своего робота, за его и свои действия, однако может возникнуть и вопрос об ответственности организации, написавшей алгоритм его действий [4].
Много сложных и спорных ситуаций прогнозируется в связи с появлением на дорогах автомоби-лей-беспилотников, а также с внедрением медицинских гаджетов в человеческий организм в случае банкротства или прекращения по иным причинам работы производителя имплантата [5].
Возникает вопрос и о том, имеют ли роботы права и какие, и могут ли роботы решать судьбы людей? Сейчас, например, это может делать «полуробот» -техническое устройство для наложения и выписывания штрафов на дорогах или на парковке. Но в будущем речь может идти о роботах-судьях (а может, и адвокатах), что серьезно беспокоит экспертов [6].
Вместе с тем в отечественной юридической литературе проблема ИИ мало изучена, а редкие публикации посвящены в основном отдельным отраслевым проблемам. В отличие от западных стран, где роботы активно используются в обществе, а правовые исследования являются более углубленными и детальными, для нашей юрисдикции общественные отношения с использованием роботов являются новыми. Это означает необходимость учета зарубежной доктрины и правоприменительной практики при выработке собственных концептуальных подходов по регламентации общественных отношений в сфере ИИ и разработке научно обоснованной стратегии их правового регулирования: с одной стороны, требуется совершенствование и дальнейшее развитие законодательства в данной сфере, которое находится на стыке сразу нескольких отраслей права, прежде всего гражданского, административного и информационного; с другой - насущно необходимы гармонизация подходов к правовому регулированию рассматриваемых технологий в рамках Евразийского экономического союза,
учет общемировых тенденций как в правовом регулировании, так и в стандартизации.
Для выработки направлений совершенствования правового обеспечения внедрения ИИ следует учитывать следующие аспекты.
Для целей эффективного правового регулирования внедрения и использования ИИ необходимо дать определения таким базовым категориям, как «искусственный интеллект» и «робот», установить нормы правового регулирования общественных отношений в данной сфере, выделить объекты, а также круг субъектов и их правовой статус, обозначить принципы распределения ответственности в случае нарушения прав третьих лиц и т.д.
Важнейшей проблемой является то, что искусственный интеллект - сложное и комплексное понятие. Так, в узком, техническом значении «искусственный интеллект» - это программное обеспечение, имитирующее работу человеческого мозга. В более широком смысле «искусственный интеллект» - это общий термин, используемый для обозначения ряда технологий, а именно: машинное обучение (например, система распознавания лиц), «умная» робототехника (манипуляционные и мобильные роботы, в том числе беспилотные летающие аппараты, плавающие роботы, а также роботы, перемещающиеся по вертикальным поверхностям и др.), технологии виртуального ассистирования (голосовые помощники); искусственные нейронные сети в качестве клинических систем для принятия решений в медицинской диагностике и др.
Отметим, что белорусское законодательство содержит определение робота, используемое для нужд Государственного таможенного комитета Республики Беларусь и Государственного военно-промышленного комитета. Так, в совместном постановлении ГТК и ГВПК от 28.12.2007 г. №15/137 «Об установлении перечней специфических товаров (работ, услуг)» имеется техническое примечание следующего содержания: «В пункте 1.1.3 термин «робот» означает манипулятор, который может перемещаться непрерывно или с интервалами, может использовать датчики и обладает всеми следующими характеристиками: а) является многофункциональным устройством; б) способен устанавливать или ориентировать материал, детали, инструменты или специальные устройства с помощью различных перемещений в трехмерном пространстве; в) включает три или более сервоустройства с замкнутым или разомкнутым контуром, которые могут включать в себя
шаговые двигатели, и г) обладает программируе-мостью, доступной пользователю с помощью метода обучения/воспроизведения или посредством ЭВМ, которой может быть программируемый логический контроллер, то есть без механического вмешательства».
В целом при разработке правового статуса ИИ следует учитывать три основных подхода, уже сложившихся в законодательстве других стран и научной литературе:
■ подход, согласно которому субъектом права может выступать только юридическое или физическое лицо, и, следовательно, ИИ будет являться объектом права. Создатель первичной программы будет считаться ее автором;
■ подход, предполагающий формирование концепции электронного лица, наделяемого ограниченной правосубъектностью. Здесь актуальным станет решение вопроса о его правовом статусе, правомерности реализации итогового продукта, возможности солидарной ответственности автора и электронного лица;
■ подход, при котором в случае создания искусственным интеллектом нового объекта гражданского правоотношения на него будет распространяться норма ст. 136 ГК «Плоды, продукция и доходы». Однако здесь потребуется существенная адаптация правового регулирования в сфере защиты интеллектуальной собственности [6]. Решение названной проблемы позволит определить направления дальнейшего совершенствования законодательства в сфере распределения рисков и ответственности субъектов. При этом возможные изменения не потребуют существенного пересмотра имеющихся норм, регулирующих гражданско-правовую ответственность. В то же время необходимо обеспечить пересмотр некоторых положений ответственности с учетом:
■ особенностей, связанных с основаниями возникновения ответственности (договорная или де-ликтная) в сфере использования искусственного интеллекта;
■ субъектов ответственности;
■ конструктивных характеристик роботов и других обстоятельств, объективно влияющих на вопросы распределения рисков.
Отдельные исследователи обращают внимание на необходимость разграничения ответственности создателя (разработчика), разработчика программного обеспечения, изготовителя робота, изготовителя
комплектующих, продавца, собственника робота, пользователя, третьих лиц, наконец самого робота. Так, признание робота в качестве субъекта ответственности (как один из вариантов в долгосрочной перспективе) потребует закрепления принципа солидарной со своим владельцем или субсидиарной ответственности, а также тщательного разграничения объема и условий ответственности собственника (оператора) и самого робота [7].
Кроме того, существующий баланс в системе перераспределения рисков может изменяться в зависимости от некоторых конструктивных технологических признаков и сферы назначения роботов. Данные особенности способны приводить к необходимости:
■ отнесения отдельных категорий роботов к источникам повышенной опасности (например, некоторые виды беспилотных летательных аппаратов, медицинские роботы);
■ отнесения причинения вреда полностью автономными роботами к обстоятельствам непреодолимой силы;
■ установления ответственности иных субъектов, которые не являются собственниками или конструкторами роботов, например в случае использования роботов с открытым исходным кодом ответственность может нести лицо, запрограммировавшее приложение [7].
С учетом изложенного стоит рассмотреть вопрос о совершенствовании действующей системы страхования ответственности и рисков, в том числе в части определения порядка и условий обязательного страхования ответственности (например, при использовании медицинских роботов), в долгосрочной перспективе рассмотреть вопросы создания компенсационного фонда и др.
Принимая во внимание имеющиеся концептуальные подходы, необходимо подготовить и принять Закон Республики Беларусь «О роботах и робототехнике». При разработке собственного законодательства в данной сфере с целью согласования с теми процессами, которые происходят в рамках СНГ, ЕАЭС и ЕС, следует учитывать опыт, который формируется как на международном, региональном уровнях, так и на уровне отдельных государств.
Ведется работа по обсуждению проекта модельной конвенции ООН о робототехнике и искусственном интеллекте, которая была разработана в Российской Федерации. Документ призван объединить основные подходы к регулированию и стать базой для принятия первого международного акта в этой
сфере. В конвенции, в частности, высказывается призыв создать наднациональный институт регулирования на уровне ООН [8].
В рамках ЕС 16 февраля 2017 г. была принята Резолюция Европарламента с рекомендациями для комиссии по гражданско-правовым нормам по робототехнике. В ней предлагается внедрение общеевропейской системы регистрации умных машин, присвоение отдельным категориям роботов индивидуального регистрационного номера, который будет заноситься в специальный реестр с детальной информацией о роботе, включая данные о производителе, владельце и условиях выплаты компенсации в случае причинения вреда, поддержание системы и контроль за роботами, которые возлагаются на Европейское агентство по робототехнике и искусственному интеллекту [9].
Нужно учитывать, что во многих странах уже действуют законы, регулирующие отдельные вопросы использования роботов. Так, в Эстонии внесены изменения в Закон о дорожном движении (399 8Б), в котором используется новый юридический термин «самоходный робот» [10], в Германии принят закон об автономном транспорте [11]. Подобный закон разрабатывается в Китае, там уже принят План развития технологий искусственного интеллекта нового поколения, в соответствии с которым к 2030 г. разработки в сфере ИИ должны стать ведущими в мире, обозначено намерение создать первые законы в этой области уже к 2020 г. [12].
В Южной Корее еще в 2008 г. был принят Закон «О содействии развитию и распространению умных роботов» [13], в котором термин «умный робот» обозначает механическое устройство, способное воспринимать окружающую среду, распознавать обстоятельства, в которых оно функционирует, и целенаправленно передвигаться самостоятельно. Законом также введен термин «хартия этики умных роботов», обозначающий кодекс этики, разработанный для лиц, принимающих участие в процессах создания, производства и использования умных роботов. Его цель - предотвращение различного рода негативных последствий, которые могут явиться результатом разработки функций и интеллекта умных роботов, а также для гарантии, что они будут содействовать повышению качества жизни людей.
В марте 2013 г. приняты «Инициативы Франции в сфере робототехники» [14].
Наконец, что особенно актуально в рамках построения Союзного государства, в Российской
Федерации в декабре 2016 г. юридическая фирма БеПюпв разработала концепцию первого в России законопроекта о робототехнике (авторы В. В. Архипов, В. Б. Наумов). Особенностью данного документа стало то, что в нем предложено выделить две предметные категории:
■ первая - «просто робот», то есть устройство, способное действовать, определять свои действия и оценивать их последствия на основе информации, поступающей из внешней среды, без полного контроля со стороны человека» (элемент объекта регулирования);
■ вторая - «робот-агент», который наделяется специальной правосубъектностью и определяется как робот, который по решению собственника и в силу конструктивных особенностей предназначен для участия в гражданском обороте. При этом робот-агент имеет обособленное имущество и отвечает им по своим обязательствам, может от своего имени приобретать и осуществлять гражданские права и нести гражданские обязанности [15]. Предложенный авторами законопроект определяет состав законодательства в области робототехники и устанавливает, в каком объеме может применяться смежное законодательство - о персональных данных, об информации, о техническом регулировании и др.; утверждает общие принципы использования отдельных категорий роботов в зависимости от области применения; закрепляет общие права и обязанности каждого из субъектов правоотношений, включая производителей, продавцов, владельцев, обслуживающие организации/специалистов; указывает критерии, позволяющие относить отдельных роботов к источникам повышенной опасности. Важным, как уже было обозначено, является и решение вопроса о применении норм гражданского законодательства, устанавливающих ответственность за причинение вреда при использовании источников повышенной опасности [15].
В Российской Федерации Указом Президента РФ от 10.10.2019 г. №490 утверждена Национальная стратегия развития искусственного интеллекта, в которой определены цели и основные задачи развития ИИ, а также меры, направленные на его использование для обеспечения национальных интересов и реализации стратегических национальных приоритетов, в том числе в области научно-технологического развития. Согласно Указу, под искусственным интеллектом понимается комплекс технологических решений, позволяющий имитировать когнитивные функции человека (включая самообучение и поиск
решений без заранее заданного алгоритма) и получать при выполнении конкретных задач результаты, сопоставимые, как минимум, с результатами интеллектуальной деятельности человека. Комплекс технологических решений включает в себя информационно-коммуникационную инфраструктуру, программное обеспечение (в том числе также, в котором используются методы машинного обучения), процессы и сервисы по обработке данных и поиску решений.
Следует рассмотреть вопрос о внесении изменений в законодательство, связанное с использованием электромобилей, самобалансируемых транспортных средств, гироскутеров и беспилотных транспортных средств, а также роботов-курьеров, передвигающихся по земле. Требуют решения вопросы о том, кто является субъектом правонарушения (виновное лицо) в аварии, произошедшей на дороге, какой алгоритм действий робота в данном случае, какие моральные и правовые нормы должны быть положены в основу принимаемых им решений, поскольку он не может сделать это спонтанно, а только так, как заложено в программе. Это означает, что этические и правовые аспекты действий в критической ситуации должны быть учтены его создателями (разработчиками программ). Потенциальными виновниками могут быть признаны производители, владельцы автомобиля, разработчики технологии или «железа», поставщики, страховая компания [4].
Это потребует внесения изменений в законы «Об автомобильном транспорте и автомобильных перевозках» (от 14.08.2007 г.), «О дорожном движении» (от 05.01.2008 г.), а также в Указ Президента Республики Беларусь от 28.11.2005 г. №551 «О мерах по повышению безопасности дорожного движения» (Правила дорожного движения). Прежде всего следует законодательно закрепить понятия «беспилотный автомобиль» и «электромобиль», а также необходимость установки «страхующей» системы удаленного управления для беспилотных автомобилей, которая позволит корректировать их поведение в нестандартной ситуации. Должны быть решены вопросы их тестирования на дорогах общего пользования, сохранения водителя (ответственного лица) за рулем и другие вопросы безопасности, а также распределения ответственности.
Кроме того, необходимо предложить закрепить в ПДД понятия «самобалансируемые транспортные средства», «самодвижущиеся роботы-курьеры», «владельцы», уточнить, что такие транспортные средства являются участниками дорожного движения в качестве пешеходов.
Таким образом, внедрение искусственного интеллекта должно сопровождаться системно-комплексным подходом по изменению действующего законодательства в различных сферах, выработкой научно обоснованной стратегии правового регулирования. В то же время, рассматривая отдельные инициативы по внесению поправок в существующее законодательство, нужно учитывать концептуальные изменения, которые сейчас формируются в юридической науке. Поскольку Национальная академия наук Беларуси является высшей государственной научной организацией страны, осуществляющей организацию и координацию, а также проведение фундаментальных и прикладных научных исследований, полагаем, что данный статус позволяет НАН предоставить свою площадку для дискуссий и разработки законодательства об искусственном интеллекте и роботах (робототехнике).
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ
1. Гусакова Н. Откуда пошел белорусский робот? // Наука и инновации. 2010. №4. // http://innosfera.by/node/685.
2. Столица европейского AI: в Беларуси больше 70 проектов в области искусственного интеллекта // https://dev.by/news/ne-tolko-maski-na-polnoy-karte-belorusskih-ii-proektov-bolshe-70-kompaniy.
3. Ирискина Е. Н. Правовые аспекты гражданско-правовой ответственности за причинение вреда действиями робота как квазисубъекта гражданско-правовых отношений / Е. Н. Ирискина, К. О. Беляков // Гуманитарная информатика. 2016. Вып. 10 // https://cyberleninka .ru/article/v/pravovye-aspekty-grazhdansko-pravovoy-otvetstvennosti-za-prichinenie-vreda-deystviyami-robota-kak-kvazisubekta-grazhdansko-pravovyh.
4. Соколова М.Коллизии «права роботов»: дискуссии юристов в связи с разработкой КиберКодекса в России // https://www.itweek.ru/ai/article/detail.php? ID=195514.
5. Незнамов А. Новые законы робототехники: как в Европе регулируют права роботов / Популярная механика // https://www.popmech.ru/technologies/379112-novye-zakony-robototehniki-kak-v - evrope-regu l iruyut-prava-ro botov/#pa rt1.
6. Кирсанова Е. Е. Возникновение новых объектов правовой защиты в условиях цифровой экономики / Е. Е. Кирсанова // Консультант Плюс: Версия проф. - М., 2019.
7. Развитие законодательства о робототехнике и киберфизических системах: отчет по результатам исследования (версия для экспертного обсуждения) / Центр компетенций по нормативному регулированию цифровой экономики // http://sk.ru /fou ndation/legal/m/sklegal11/21994.aspx.
8. Модельная конвенция о робототехнике и искусственном интеллекте / Исследовательский центр проблем регулирования робототехники и искусственного интеллекта «Робоправо» // http://robopravo. ru/modiel naia_konv ientsiia.
9. European Parliament resolution of 16 February 2017 with recommendations to the Commission on Civil Law Rules on Robotics // http://www.europarl.europa.eu/sides/getDoc.do?pubRef= —//EP//TEXT+TA+P8-TA-2017-0051+0+D0C+XML+V0//EN.
10. Рийгикогу принял 21 закон и одно постановление / Обзоры заседаний Рийгикогу, 2018 // https://www. riigikogu.ee/ru/press-relizy/plenarnoe-zasedanie/rijgikogu-prinyal-21-zakon-odno-postanovlenie/.
11. Straßenverkehrsgesetz für automatisiertes Fahren geändert // Deutscher Bundestag, 2018 //https://www. bundestag.de/dokumente/textarchiv/2017/kw13-de-automatisiertes- fahren/4 9 9 928.
12. China's Got a Huge Artificial Intelligence Plan // Bloomberg News, 2018 // https://www.bloomberg.com/ news/art icl es/2017—07—21 /china-artificial-inte ll igence-pl an-seeks-59-bill ion-industry.
13. Закон о содействии развитию и распространению умных роботов // Исследовательский центр проблем регулирования робототехники и искусственного интеллекта «Робоправо», 2018 // http://robotrends.ru/ pub/1730/regulirovanie-robototehniki-v- koree.-zakon-o-sodyaystvii-razvitiyu-i-rasprostraneniyu-umnyh-robotov.
14. Инициативы Франции в сфере робототехники / Исследовательский центр проблем регулирования робототехники и искусственного интеллекта «Робоправо», 2018 // http://robopravo.ru/initsiativy_ fra ntsii_v_sfierie_robotot iekhniki_2013.
15. Архипов В. В. Искусственный интеллект и автономные устройства в контексте права: о разработке первого в России Закона о робототехнике / В. В. Архипов, В. Б. Наумов // Труды СПИИРАН. 2017. Вып. 6(55) // http://proceedings.spiiras.nw.ru/ojs/index.php/sp/article/view/3621.
http://innosfera.by/2019/11/artificial_intelligence
