CC BY
882
УДК 343.11 DOI: 10.22394/2074-7306-2021-1-1-112-119
ОТВЕТСТВЕННОСТЬ ЗА ВРЕД, ПРИЧИНЕННЫЙ ИСКУССТВЕННЫМ ИНТЕЛЛЕКТОМ
Апостолова доктор юридических наук, профессор кафедры Наталья процессуального права, Южно-Российский институт
Николаевна управления - филиал Российской академии народного
хозяйства и государственной службы при Президенте РФ (344002, Россия, г. Ростов-на-Дону, ул. Пушкинская, 70/54). E-mail: [email protected]
Аннотация
За несоблюдение нормативно установленных требований безопасности и других принципов в сфере создания и применения ИИ, а также за противоправные (тем более, за общественно опасные) последствия деятельности автономного искусственного интеллекта должен нести ответственность человек. Способность искусственного интеллекта самообучаться, имитировать и превосходить человека в скорости, точности и объеме мыслительных операций вовсе не равнозначно человеческому сознанию, самосознанию и интеллекту.
Для установления ответственного за вред, причиненный «умным» автономным роботом, потребуется проверить и оценить действия (бездействия) программиста, производителя, пользователя или иного лица, незаконно вмешавшегося в его работу, с целью установления причин вредоносной деятельности ИИ. Ответственность этих лиц в зависимости от формы и степени вины (при ее наличии) и наступивших последствий должна носить гибкий, взвешенный характер. А чтобы такая ответственность не являлась препятствием для дальнейшего успешного развития технологий ИИ при ее установлении необходимо исходить из понятия обоснованного риска. Таких действий (бездействий) лица, которые были необходимы и безальтернативны для достижения общественно-полезной цели, при условии, что данным лицом соблюдены принципы и правила профессиональной деятельности и приняты все достаточные меры для предотвращения и минимизации рисков наступления негативных последствий. В таких случаях возмещение причиненного роботом вреда могло бы осуществляться из средств специально созданной обязательной системы страхования гражданской ответственности.
Ключевые слова: искусственный интеллект, юридическая ответственность, осознанное осуществление прав и выполнение обязанностей, обоснованный риск, гражданская ответственность, степень вины, вредоносная деятельность, профессиональная деятельность, безответственность.
В российской «Национальной стратегии развития искусственного интеллекта на период до 2030 года»1 искусственный интеллект (ИИ) определяется как комплекс технологических решений, способный имитировать мыслительные (когнитивные) функции мозга человека (включая самообучение и самостоятельный поиск решений) и получать определенные результаты, сопоставимые с результатами интеллектуальной деятельности человека.
1 URL:https://www.garant.ru/products/ipo/prime/doc/72738946/ (дата обращения 5.08.20 г.)
В резолюции Европарламента P8_TA-PROV (2017)0051 «Нормы гражданского права о робототехнике»1 под искусственным интеллектом предлагается понимать небиологическую автономную киберфизическую систему, способную взаимодействовать с другими аналогичными системами, самообучаться, адаптировать свои решения, действия и поведение в соответствии условиями среды.
В Докладе «Об этике робототехники» 2017 года Всемирной комиссии ЮНЕСКО по этике научных знаний и технологий (КОМЕСТ)2 называется четыре основных характеристики современного робота: мобильность; интерактивность; коммуникативность; автономность, позволяющая анализировать и самостоятельно принимать решения и осуществлять действия без вмешательства и контроля со стороны человека. Существует, конечно, множество и других понятий и трактовок технологий искусственного интеллекта.
Каким бы мощным не был интеллект современных роботов до тех пор, пока их создание и функционирование зависят от человека - за результат их работы ответственность должен нести человек. Вопреки большому желанию причастных к его созданию лиц снять с себя ответственность за возможные негативные последствия применения ИИ, делать этого ни в коем случае нельзя. Безответственность в таком жизненно важном для людей деле неминуемо приведет к произволу и другим непредсказуемым последствиям.
Нельзя забывать об отсутствии сознания (самосознания) даже у антропоморфных (человекоподобных) роботов, способных распознавать и воспроизводить эмоции и речь людей, выигрывать в шахматы или в Го, создавать произведения искусства посредством цифровой обработки информации.
Способность ИИ «обучаться и адаптироваться, планировать и прогнозировать, рассуждать и делать выводы, взаимодействовать на естественном языке и осуществлять визуальное восприятие»3, не дает оснований утверждать о наличии у него сознания и даже самосознания аналогичного человеческому.
Возможность сильных самообучающихся роботов превосходить людей в скорости, точности и объеме вычислительных операций (путем хотя и очень быстрого, но механического подбора подходящего варианта) далеко не равнозначно человеческому сознанию, самосознанию и интеллекту. Новое поколение искусственного интеллекта, функционирующего по принципу глубокого обучения (deep learning), пока не может подобно человеку осознавать свои действия. Да и понятно, что никогда не сможет.
Цифровое «сознание» сугубо рационально, оно лишено чувственно-эмоциональной составляющей, имеющей в образе мышления людей немаловажное значение. Даже, если признать, что роботы со временем обретут свое сознание и самосознание - оно все равно не будет человеческим. Это будет алгоритм мыслей в другой системе координат и приоритетов. Эмоции робота - это всего лишь цифровой навык (в такой-то ситуации я делаю то-то), а для человека это боль, радость, страдание и т.п. - все то, что не всегда возможно описать словами, тем более, оцифровать.
На работу человеческого интеллекта определенное влияние оказывает еще и подсознание (неосознанные процессы в мозге человека), в котором, возможно, и заложены те самые жизненно необходимые ограничения, которые называются разумом, совестью,
1 URL: http://robopravo.ru/riezoliutsiia_ies (дата обращения 5.08.20 г.)
2 URL:https://en.unesco.org/artificial-intellijence/ethics (дата обращения 5.08.20 г.)
3 Подробнее на сайте Исследовательского центра искусственного интеллекта (ИЦИИ) / URL: http://ai-center.botik.ru/Airec/ (дата обращения 30.01.20 г.)
чувством ответственности и другие. Ничего подобного нет (и не будет) ни в одной даже самой современной и продвинутой цифровой интеллектуальной системе.
Человеческий интеллект и цифровой интеллект - это две параллельных совершенно разных «вселенных». На каком основании «умному» роботу приписываются человеческие качества, права, обязанности и ответственность - не понятно. Чтобы создать что-то себе подобное надо четко знать и понимать, как устроен и работает человеческий мозг и сознание, а мы этого толком так и не знаем.
Предложение о наделении искусственного интеллекта особой правоспособностью [2, с. 24-48; 6, с. 37-40; 8, с. 14-25], равно как и рекомендация наделить наиболее продвинутых роботов статусом «электронного лица», способного нести ответственность за причиненный ими вред в тех случаях, когда они принимают решение самостоятельно, без вмешательства человека1 могут быть применимы лишь для гражданско-правовой сферы [1, с. 137-148; 3, с. 63-72; 4, 112-115; 5, с. 66-68; 9, 10, с. 42-48].
В случаях с административной и уголовно ответственностью такой подход не приемлем, поскольку для их реализации необходимо осознанное осуществление прав и выполнение обязанностей (равнозначную человеку самооценку себя в окружающем мире, своих поступков и действий). Эти виды ответственности неразрывно связаны с психологией личности человека, с чувством и осознанием такой ответственности.
В свете вышеизложенного сомнительно выглядят предложения о признании ИИ «электронной личностью», наличия субъективной противоправности в его поведении и т.п. [7, с. 471-473]. Не говоря уже об уравнивании человека и робота в правах, например, в праве на жизнь, на труд или других. Что такое жизнь и труд для ИИ? Чья жизнь ценнее обычного человека или супердорогого и уникального робота?
Даже если получится установить степень осознанности и мыслительные возможности самообучающихся роботов и уяснить, какими могут быть и не могут быть результаты их деятельности - уравнивание их правового статуса с человеком не разумно. У человеческого, в определенной степени чувственно-эмоционального интеллекта против рационально-цифрового бездушного интеллекта шансов нет. Это необходимо четко и ясно осознавать людям, принимающим соответствующие государственные решения и законы.
Процесс создания и развития таких серьезных и опасных для человечества технологий недопустимо отдавать на откуп очень небольшого числа специалистов. Иначе это может привести к чудовищно бесчеловечным и катастрофическим для подавляющего большинства людей последствиям. В соответствующих законах должны быть четко определены не только цели создания и применения ИИ, но и кто, как контролирует и отвечает за его работу.
Закрепленные в «Национальной стратегии развития искусственного интеллекта на период до 2030 года» и в «Концепции развития регулирования отношений в сфере искусственного интеллекта и робототехники до 2024 года» принципы должны неуклонно соблюдаться. Приоритет благополучия и безопасности человека, защита его основных прав и свобод, подконтрольность человеку и недопустимость противоправного манипулирования человеком 2 - должны стать безусловными правилами для разработчиков, создателей и пользователей систем искусственного интеллекта.
1 Подпункт f пункта 59 Резолюция Европарламента от 16 февраля 2017 г. «Нормы гражданского права о робототехнике. / URL: http://robopravo.ru/riezoliutsiia_ies (дата обращения 5.08.20 г.)
2 СПС КонсультантПлюс./ URL:www.consultant.ru (Дата обращения 5.08.20 г)
За нарушение данных требований, за противоправные (тем более, за общественно опасные) последствия деятельности автономно функционирующего искусственного интеллекта должен нести ответственность человек. Даже за вышедших из-под контроля и способных создавать себе подобных автономных интеллектуальных систем, так или иначе, ответственен человек. Он причина и творец этого феномена, обязанный осуществлять контроль и отвечать за последствия того, что им создано. Другое дело, в каких случаях, кто и какую ответственность будет нести - это вопросы, требующие серьезного осмысления и решения.
Основанием юридической ответственности является совершение правонарушения, которое характеризуется четырьмя элементами: объектом (защищаемое правом и нарушенное материальное или нематериальное благо); противоправным деянием (запрещенным законом действием или бездействием с вредоносными последствиями и причинно-следственной связью между ними); субъектом (совершившие правонарушение дееспособное лицо); виной (психическим отношением правонарушителя к деянию и его последствиям, за исключением случаев ответственности без вины по гражданскому законодательству).
Традиционно под противоправным деянием понималось запрещенное правом (законом) действие или бездействие (как акт волевого поведения) непосредственно самого человека. Теперь же деяние, которым будет причинен вред охраняемым законом отношениям, будет совершаться «умным» роботом, не способным, по вышеизложенным соображениям, наравне с человеком нести юридическую ответственность. В таких случаях, потребуется проверять и оценивать действия (бездействия) программиста, производителя, пользователя или иного лица, незаконно вмешавшегося в его работу, с целью установления причин вредоносной деятельности ИИ.
Необходимо будет сначала доказать факт причинения вреда действиями (бездействиями) автономного «умного» робота, а потом установить и дать юридическую квалификацию действиям (бездействиям) программиста, производителя, пользователя, иного лица, а также наличие либо отсутствие причинно-следственной связи между действиями (бездействиями) этих лиц и причинившими вред действиями (бездействиями) автономного ИИ.
Одно дело, когда это произошло ввиду недостаточной компетентности или необоснованного риска человека (программиста, производителя, пользователя) либо неправомерного вмешательства постороннего лица, совсем другое - когда робот непредсказуемо приобрел и развил вредоносные навыки и способности, приведшие к общественно опасным последствиям, исключительно самостоятельно в процессе самообучения.
В первом случае, речь может идти о неправильной оценке программиста, производителя, пользователя общественной опасности последствий, и (или) их тяжести и (или) о неправильной оценке этими лицами причинно-следственной связи между их деятельностью в сфере создания и применения ИИ и результатами деятельности роботов. Такие просчеты могут квалифицироваться как деяния, совершенные по неосторожности, ответственность за которые (в зависимости от последствий) может быть предусмотрена гражданским, административным и уголовным законодательством.
Опасения насчет того, что установить и доказать «прямую связь между действиями производителя или пользователя и тем вредом, который причинил робот, крайне сложно» [2, с. 24 - 48], имеют основания, вместе с тем представляется, что определенную причинно-следственную связь на уровне экспертных исследований выявить и доказать
будет можно. При соблюдении закрепленных в «Национальной стратегии развития искусственного интеллекта на период до 2030 года» и в «Концепции развития регулирования отношений в сфере искусственного интеллекта и робототехники до 2024 года» принципах безопасности и прозрачности это вполне посильная задача.
Исходя из этих принципов создатели и пользователи ИИ: не могут использовать его в противоправных целях; обязаны принимать меры по предупреждению и минимизации рисков наступления негативных последствий его использования; обязаны обеспечить «объяснимость работы искусственного интеллекта и процесса достижения им результатов», а также доступ к информации о применяемых алгоритмах работы искусственного интеллекта. Исходя из того, в какой степени соблюдались (или наоборот не соблюдались) создателями и пользователями данные принципы, и можно будет установить наличие либо отсутствие требующейся причинно-следственной связи.
По мере дальнейшего развития технологий могут иметь место и попытки целенаправленного создания и применения искусственного интеллекта непосредственно в противозаконных целях. Понятно, что такого рода «деятельность» программистов, производителей или пользователей должна квалифицироваться как умышленные деяния и влечь уже более строгую юридическую ответственность.
Еще более велика вероятность того, что в ходе использования «умных» автономных роботов будут осуществляться умышленные правонарушения, связанные с действиями по незаконному доступу (проникновению) в систему искусственного интеллекта извне и внесению изменений в ее работу. Такие действия также должны влечь более строгую гражданскую, административную и уголовную ответственность. В случаях умышленного использования ИИ в противоправных целях он будет являться всего лишь орудием совершения правонарушения.
Если лицо, создавшее и использовавшее робота, предприняло достаточные меры для предотвращения вреда охраняемым интересам и не предвидело и не могло предвидеть наступивших негативных последствий работы ИИ, можно ставить вопрос о привлечение к гражданско-правовой ответственности без вины владельца ИИ в соответствии со статьей 1079 ГК РФ.
Как показывает практика применения искусственного интеллекта в сфере транспорта, здравоохранения и других жизненно важных областях, его автономная, находящаяся вне полного контроля человека деятельность, действительно может создавать повышенную вероятность причинения вреда и серьезную опасность для людей.
Тем более, когда речь идет о роботизированных интеллектуальных системах военного или двойного назначения. Очевидно, для таких систем должны быть выработаны и приняты специальные правила и нормы, которые будут обеспечивать повышенную степень безопасности и ответственности при их создании и строго целевом использовании.
Субъектом юридической ответственности в сфере развития технологий искусственного интеллекта может быть достаточно широкий круг лиц. Прежде всего, это лица, осуществлявшие программное обеспечение «умного» автономного робота, а также лица, непосредственно создавшие эту систему. К этой же категории ответственных лиц следует отнести и пользователей искусственного интеллекта, использующих автономные интеллектуальные системы в той или иной сфере.
Помимо достижения ими установленного в законе возраста и дееспособности программисты, производители, пользователи как субъекты юридической ответственности должны отвечать еще и соответствующим профессиональным требованиям, таким
как компетентность, а также быть наделены правом на осуществление такого рода деятельности.
Для привлечения к ответственности лиц, незаконно взломавших систему искусственного интеллекта извне и внесших изменения в ее работу, необходимо, чтобы они достигли установленного статьей 1074 ГК РФ, статьей 2.3 КоАП РФ и статьей 20 УК РФ возраста, и были дееспособными (статья 21 ГК РФ, статья 25.3 КоАП РФ, статья 21 УК РФ).
Вина, то есть психическое отношение лица к совершенному им запрещенному законом деянию, как необходимый элемент правонарушения имеет особое значение при установлении ответственности за правонарушения в сфере создания и применения систем искусственного интеллекта. Как известно, вина характеризуется двумя элементами: интеллектуальным и волевым. Интеллектуальная составляющая вины подразумевает осознание характера (содержания и значения) деяния и его возможных последствий, а волевая состоит либо в целенаправленности действий, либо в неосмотрительном, беспечном, легкомысленном отношении к ним.
В первом случае, речь идет об умышленной форме вины программистов, производителей, пользователей и лиц, незаконно получивших доступ к системе ИИ, а во-втором, - о неосторожности. Очевидно, что в сфере создания и применения автономных «умных» роботов будет иметь место и первая, и вторая форма вины.
Однако логично предположить, что чаще всего действия, направленные на проникновение и внесение изменений в работу искусственного интеллекта, будут осуществляться с прямым или с косвенным умыслом. Нельзя исключать и того, что и у пользователей ИИ может появиться умысел на применение автономной интеллектуальной системы в неправомерных целях.
Правонарушения программистов, производителей и большинства пользователей автономных «умных» роботов, как правило, могут совершаться с неосторожной формой вины, когда они не предвидели возможность наступления вредных последствий, но должны были и могли их предвидеть, либо предвидели, но самонадеянно рассчитывали на их предотвращение. В случаях установления неосторожной формы вины - ответственность должна носить компромиссный, гибкий характер в зависимости от наступивших последствий.
Вместе с тем, установление и закрепление в соответствующих законах юридической ответственности лиц, занимающихся разработкой и созданием автономных интеллектуальных систем, не должно являться препятствием осуществления ими профессиональной деятельности по дальнейшему успешному развитию технологий ИИ.
В ходе решения вопроса об ответственности разработчиков и создателей ИИ при отсутствии умысла на совершение правонарушения необходимо исходить из понятия обоснованного риска, под которым принято понимать такие действия (бездействия) лица, которые были необходимы и безальтернативны для достижения общественно-полезной цели, при условии, что данное лицо соблюдало принципы и правила своей деятельности и приняло все достаточные меры для предотвращения и минимизации рисков наступления негативных последствий.
В соответствии со статьей 41 УК РФ обоснованный риск относится к обстоятельствам, исключающим преступность деяния и освобождающим от уголовной ответственности. Очевидно, что такие действия должны исключать и наступление административной ответственности.
Возмещение причиненного в таких случаях вреда могло бы осуществляться из средств специально созданной обязательной системы страхования гражданской ответственности для разработчиков и владельцев автономных «умных» роботов (например, с учетом рекомендаций пунктов 57-59 Резолюции Европарламента от 16 февраля 2017 г. «Нормы гражданского права о робототехнике»).
Вышеизложенные соображения по проблемам ответственности за различные правонарушения в сфере создания и использования автономных интеллектуальных систем носят, конечно же, дискуссионный характер и требуют дальнейшей серьезной проработки.
При этом хотелось бы надеяться, что юристы, занимающиеся данными вопросами, не будут смешивать и «сваливать в одну кучу» юридическую ответственность людей и «умных» роботов. Человек должен отвечать за свои деяния и их последствия по своим юридическим правилам, а в отношении искусственного интеллекта должны быть предусмотрены другие специальные меры воздействия в случае самостоятельного осуществления им действий, нарушающих закрепленные в законе цели, принципы и правила.
Литература
1. Войниканис Е.А., Семенова Е.В., Тюляев Г.С. Искусственный интеллект и право: вызовы и возможности самообучающихся алгоритмов. // Вестник ВГУ. Серия: Право. 2018. № 4. С. 137 - 148.
2. Гаджиев Г.А., Войниканис Е.А. Может ли робот быть субъектом права (поиск правовых норм для регулирования цифровой экономики)? // Право. Журнал Высшей школы экономики. 2018. № 4. С. 24 - 48.
3. Ирискина Е.Н., Беляков К.О. Правовые аспекты гражданско-правовой ответственности за причинение вреда действиями робота как квазисубъекта гражданско-правовых отношений // Гуманитарная информатика. 2016. Вып. 10. С. 63 - 72.
4. Коротаев Е.Э., Степанян Ж. Правовая идентификация искусственного интеллекта как объекта гражданского права // Актуальные исследования. 2020. № 11 (14). С. 112 - 114.
5. Мельничук М.А., Ченцова Д.В. Гражданско-правовая ответственность искусственного интеллекта // Закон и право. 2020. № 6. С. 66 - 68.
6. Морхат П.М. Правосубъектность искусственного интеллекта в сфере права интеллектуальной собственности: гражданско-правовые проблемы / Автореферат диссертации на соискание ученой степени доктора юридических наук. М., 2018. 44 с.
7. Мосечкин И.Н. Искусственный интеллект и уголовная ответственность: проблемы становления нового вида субъекта преступления. // Вестник СПбГУ. Право. 2019. Т. 10. Вып. 3. С. 461 - 476.
8. Незнамов А.В., Наумов В.Б. Вопросы развития законодательства о робототехнике в России и в мире // Юридические исследования. 2017. № 8. С. 14 - 25.
9. Салтанова С.В. Роботы в законе. Должен ли искусственный интеллект отвечать за свои проступки / URL:https://issek.hse.ru/news/227178200.html
10. Цуканова Е.Ю., Скопенко О.Р. Правовые аспекты ответственности за причинение вреда роботом с искусственным интеллектом // Вопросы российского и международного права. 2018. № 8. №4А. С. 42 - 48.
Apostolova Natalia Nikolaevna, Doctor of Jurisprudence, Professor of Department of Procedural Law, South-Russia Institute of Management - branch of Russian Presidential Academy of National Economy and Public Administration (70/54, Pushkinskaya St., Rostov-on-Don, 344002, Russian Federation). E-mail: [email protected]
LIABILITY FOR DAMAGE CAUSED BY ARTIFICIAL INTELLIGENCE
Abstract
A person should be held responsible for non-compliance with the established safety requirements and other principles in the field of creating and applying AI, as well as for illegal (especially socially dangerous) consequences of the Autonomous artificial intelligence activity. The ability of artificial intelligence to self-learn, imitate, and surpass humans in speed, accuracy, and volume of thought operations is not at all equivalent to human consciousness, self-awareness, and intelligence. To determine who is responsible for the harm caused by a "smart" Autonomous robot, you will need to check and evaluate the actions (inaction) of the programmer, manufacturer, user, or other person who illegally interfered with its work, in order to determine the causes of malicious AI activity. The responsibility of these persons, depending on the form and degree of guilt (if any) and the consequences that have occurred, should be flexible and balanced. In order for such liability not to be an obstacle to further successful development of technologies, it is necessary to proceed from the concept of reasonable risk when establishing it. Such actions (omissions)of a person that were necessary and have no alternative to achieve a socially useful goal, provided that the person observed the principles and rules of professional activity and took all sufficient measures to prevent and minimize the risks of negative consequences. In such cases, compensation for the damage caused by the robot could be carried out from the funds of a specially created mandatory civil liability insurance system.
Keywords: artificial intelligence, legal responsibility, informed exercise of rights and performance of duties, reasonable risk, civil liability, degree of guilt, harmful activity, professional activity, irresponsibility.
References
1. Voynikanis E.A., Semenova E.V., Tyulyaev G.S. Iskusstvennyy intellekt i pravo: vyzovy i vozmozhnosti samoobuchayushchikhsya algoritmov. // Vestnik VGU. Seriya: Pravo. 2018. № 4. P. 137 - 148.
2. Gadzhiev G.A., Voynikanis E.A. Mozhet li robot byt' sub"ektom prava (poisk pravovykh norm dlya regulirovaniya tsifrovoy ekonomiki)? // Pravo. Zhurnal Vysshey shkoly ekonomiki. 2018. № 4. P. 24 - 48.
3. Iriskina E.N., Belyakov K.O. Pravovye aspekty grazhdansko-pravovoy otvetstvennosti za prichinenie vreda deystviyami robota kak kvazisub"ekta grazhdansko-pravovykh otnosheniy // Gumanitarnaya informatika. 2016. Vyp. 10. P. 63 - 72.
4. Korotaev E.E., Stepanyan Zh. Pravovaya identifikatsiya iskusstvennogo intellekta kak ob"ekta grazhdanskogo prava // Aktual'nye issledovaniya. 2020. № 11 (14). P. 112 - 114.
5. Mel'nichuk M.A., Chentsova D.V. Grazhdansko-pravovaya otvetstvennost' iskusstvennogo intellekta // Zakon i pravo. 2020. № 6. P. 66 - 68.
6. Morkhat P.M. Pravosub"ektnost' iskusstvennogo intellekta v sfere prava intellektual'noy sobstvennosti: grazhdansko-pravovye problemy / Avtoreferat dissertatsii na soiskanie uchenoy stepeni doktora yuridicheskikh nauk. M., 2018. 44 p.
7. Mosechkin I.N. Iskusstvennyy intellekt i ugolovnaya otvetstvennost': problemy stanovleniya no-vogo vida sub"ekta prestupleniya. // Vestnik SPbGU. Pravo. 2019. T. 10. Vyp. 3. P. 461 - 476.
8. Neznamov A.V., Naumov V.B. Voprosy razvitiya zakonodatel'stva o robototekhnike v Ros-sii i v mire // Yuridicheskie issledovaniya. 2017. № 8. P. 14 - 25.
9. Saltanova S.V. Roboty v zakone. Dolzhen li iskusstvennyy intellekt otvechat' za svoi prostupki / URL:https://issek.hse.ru/news/227178200.html
10. Tsukanova E.Yu., Skopenko O.R. Pravovye aspekty otvetstvennosti za prichinenie vreda robot-om s iskusstvennym intellektom // Voprosy rossiyskogo i mezhdunarodnogo prava. 2018. № 8. №4A. P. 42 - 48.
