CC BY
473
УДК 34.03
Вестник СПбГУ Право. 2019. Т. 10. Вып. 3
Интегрирование искусственного интеллекта
в общественную жизнь:
некоторые этические и правовые проблемы
А. В. Малышкин
Владимирский государственный университет им. А. Г. и Н. Г. Столетовых, Российская Федерация, 600000, Владимир, ул. Горького, 87
Для цитирования: Малышкин, Александр В. 2019. «Интегрирование искусственного интеллекта в общественную жизнь: некоторые этические и правовые проблемы». Вестник Санкт-Петербургского университета. Право 3: 444-460. https://doi.org/10.21638/spbu14.2019.303
Распространение систем искусственного интеллекта порождает ряд технических, философских, юридических и этических вопросов, связанных как с допустимостью применения таких систем в тех или иных областях, так и с необходимостью соблюдения этических норм при их создании, а также возможностью внедрения этических норм в процесс принятия решений искусственным интеллектом. Поскольку для многих людей религия является основой мировоззрения, присутствуя в общественной жизни именно этикой, а не догматикой, то исследование различных аспектов соотношения религии и искусственного интеллекта также крайне актуально. Автор анализирует этико-религиозные проблемы, связанные с созданием и распространением систем искусственного интеллекта, и предлагает пути правового регулирования общественных отношений, связанных с применением искусственного интеллекта. В частности, затрагиваются следующие проблемы: правосубъектность и деликтоспособность искусственного интеллекта; сакрализация искусственного интеллекта; ответственность за вред, причиненный системами искусственного интеллекта; принятие искусственным интеллектом решений в отношении прав и обязанностей людей; усугубление расслоения и неравенства; массовая безработица; интеллектуальное превосходство носителей искусственного интеллекта над человеком; отчуждение людей друг от друга, одиночество человека; возможность следования этическим нормам при принятии решений искусственным интеллектом.
Ключевые слова: искусственный интеллект, роботы, религия, этика, нравственные аспекты робототехники, правовое регулирование, социальное регулирование, интегрированная юрисдикция.
1. Введение. Искусственный интеллект был благодатной почвой для научной фантастики начиная с 1920-х гг., когда Карел Чапек опубликовал пьесу «Россумские универсальные роботы» о мятеже роботов и уничтожении цивилизации. В настоящее время искусственный интеллект перестал быть фантастикой и активно распространяется во многих областях жизнедеятельности человека. Системы искусственного интеллекта призваны существенно упростить технические, операционные и управленческие процессы, процедуры обработки большого массива данных и облегчить принятие на основе их анализа решений, заменить человека при вы-
© Санкт-Петербургский государственный университет, 2019
полнении рутинных функций, а также в условиях, угрожающих жизни и здоровью людей (в космосе, тяжелых метеорологических условиях, под водой и под землей и т. п.). Получают распространение системы сканирования и распознавания лиц и голоса, беспилотные (или с системами автопилота) транспортные средства и летательные аппараты, нейронные сети, автоматизированные онлайн-помощники, «умные» дома и бытовая техника с системами искусственного интеллекта. В современных городах используются системы искусственного интеллекта для отслеживания движения городского транспорта, оптимизации расписания общественного транспорта, скорости движения, регулирования работы светофоров, ценообразования на платных дорогах (Jung, Chung, and Yeo 2014). В судах России применяются автоматизированные системы распределения дел, анализирующие многочисленные факторы, начиная от служебной нагрузки и заканчивая степенью сложности дела. В пилотном режиме внедряются основанные на применении искусственного интеллекта автоматизированные системы распознавания речи, сами составляющие протоколы судебных заседаний, которые затем сохраняются, распечатываются, подписываются председательствующим судьей, секретарем судебного заседания и приобщаются к материалам дела. Аналогичные системы, а также элементы электронного правосудия, основанные на применении искусственного интеллекта, активно внедряются в ряде европейских стран, например в Германии (Проскурякова 2018).
В утвержденной Распоряжением Правительства РФ от 01.11.2013 № 2036-р Стратегии развития отрасли информационных технологий в Российской Федерации на 2014-2020 гг. и на перспективу до 2025 г.1, прогнозируется, что к 2020 г. искусственный интеллект станет частью нашей жизни. Одним из целевых индикаторов развития науки и техники в России на ближайшие 10-15 лет является распространение систем обработки больших массивов данных, искусственного интеллекта и машинного обучения (п. 20 Стратегии научно-технического развития РФ, утвержденной Указом Президента РФ от 01.12.2016 № 642).
Вместе с тем распространение систем искусственного интеллекта порождает ряд технических, философских, юридических и этических вопросов, связанных как с допустимостью применения таких систем, так и с необходимостью соблюдения этических норм при их создании. Поскольку для многих людей религия является основой мировоззрения, присутствуя в общественной жизни именно этикой, а не догматикой, то исследование различных аспектов соотношения религии и искусственного интеллекта также крайне актуально.
В настоящей статье проанализируем этико-религиозные проблемы, связанные с созданием и распространением систем искусственного интеллекта, и предложим пути их решения.
2. Основное исследование. В литературе отсутствует единое определение понятия «искусственный интеллект». Рэймонд Курцвейл (Raimond Kurzweil) понимает под искусственным интеллектом машины, выполняющие функции, которые требуют интеллектуальных способностей при реализации их человеком (Kurzweil 1990, 17). Ларри Каменер (Larry Kamener) рассматривает искусственный интеллект как «машины, которые могут делать большее, чем просто следовать инструкци-
1 Здесь и далее все ссылки на нормативно-правовые акты и судебную практику приводятся по СПС «КонсультантПлюс». Дата обращения 9 марта, 2019. http://www.consultant.ru.
ям, выполняя те задачи, которые раньше зависели от человеческих рассуждений» (Kamener 2017). В. Н. Синельникова и О. В. Ревинский определяют искусственный интеллект как компьютерную программу, созданную человеком и способную создавать новую информацию или выраженные объективно результаты своей деятельности (Синельникова, Ревинский 2017, 18).
Полагаем, что сущностными признаками искусственного интеллекта являются: способность автономной работы и обмена данными с окружающей средой; способность обучаться на основе полученного опыта и в процессе взаимодействия с окружающей средой; способность адаптировать свои решения под изменяющиеся обстоятельства.
Считаем удачным определение искусственного интеллекта, сформулированное П. М. Морхатом, который рассматривает искусственный интеллект как независимый комплекс программных или программно-аппаратных средств с челове-ко-компьютерным интерфейсом, представляющий виртуальную вычислительную систему, оснащенный средствами «технического зрения» и средствами самостоятельного взаимодействия с реальностью, обладающий способностями биоподобных когнитивных и интеллектуальных речемыслительных действий (функций), обучения, самоорганизации и самотестирования, творческой и познавательной деятельности, в том числе на основе накопленных данных (Морхат 2018, 41).
Как мы отмечали, распространение систем искусственного интеллекта порождает ряд технических, философских, юридических, этических и иных проблем. Некоторые из них затронуты в докладе «Искусственный интеллект и жизнь в 2030 г.», подготовленном в Стэнфордском университете в 2016 г., в частности проблемы безопасности; определения правосубъектности искусственного интеллекта; обеспечения конфиденциальности личных данных; привлечения к гражданской и уголовной ответственности; сертификации систем искусственного интеллекта; негативного влияния систем искусственного интеллекта на количество рабочих мест для людей (Stone et al. 2016). Ряд рекомендаций по разрешению вопросов, возникающих в связи с применением систем искусственного интеллекта, содержится в Резолюции Европейского парламента вместе с рекомендациями Комиссии от 16.02.2017 «Нормы гражданского права о робототехнике» (Delvaux 2016).
Институт инженеров электротехники и электроники (Institute of Electrical and Electronics Engineers, IEEE) проводит исследования в области этики искусственного интеллекта, результатом которых, как предполагается, должны стать технические документы, регламентирующие разработку систем искусственного интеллекта в соответствии с этическими нормами. Первым документом стали Рекомендации по этически обоснованному проектированию (ethically aligned design), получившие некоммерческую лицензию Соединенных Штатов Америки, — Creative Commons Attribution-Non-Commercial 3.0 (Institute of Electrical and Electronics Engineers n. d.). Указанные рекомендации содержат перечень угроз и проблем внедрения автономных систем искусственного интеллекта, в том числе этических:
— в сфере общих принципов: необходимость определения и закрепления принципов верховенства прав человека, ответственности, прозрачности, обучения и информированности при разработке систем искусственного интеллекта;
— в сфере интеграции этических норм и ценностей в системы искусственного интеллекта: неуниверсальность этических норм и их вариативность в зависимости от пользователей и задач; вероятность конфликта между этическими нормами и ценностями; возможные встроенные или алгоритмические ошибки систем искусственного интеллекта, способные привести к нарушению этических норм в отношении определенных субъектов; необходимость достижения определенного уровня доверия между людьми и искусственным интеллектом;
— в сфере методологии этических исследований: отсутствие этики в образовательных программах; отсутствие модели межкультурного и междисциплинарного взаимодействия для учета отдельных этических аспектов; существование самобытных этических ценностей; отсутствие этической культуры и практики для промышленности; отсутствие заинтересованности в учете этических норм со стороны технического сообщества;
— в сфере безопасности использования искусственного интеллекта и искусственного суперинтеллекта: риск непредвиденного поведения искусственного интеллекта; затруднительность повышения безопасности будущих систем искусственного интеллекта; наличие у будущих систем искусственного интеллекта потенциала для воздействия на мир в масштабах промышленных революций;
— в сфере личных данных: отсутствие возможности определить и организовать свои персональные данные в алгоритмическую эпоху; возможность искусственного интеллекта сделать выводы о персональных данных на основе информации, которую человек распространяет в повседневности;
— в сфере автономных систем вооружения: непредсказуемость таких систем; исключение контроля человека над боевым пространством может привести к эскалации напряженности и непреднамеренному нарушению прав человека; неограниченное число покупателей автономных систем вооружения приведет к их распространению и неконтролируемому использованию;
— в сфере экономики: ограничение технологий искусственного интеллекта может замедлить внедрение инноваций; технологические изменения опережают методы подготовки рабочих с новой техникой; риски роста безработицы; увеличение социально-экономического разрыва между развитыми и развивающимися странами;
— в сфере права: необходимость обеспечения прозрачности в работе искусственного интеллекта и соблюдения индивидуальных прав; проблемы юридической ответственности в случае причинения системами искусственного интеллекта вреда; необходимость юридического обеспечения проверяемости систем искусственного интеллекта.
В Резолюции Европарламента от 16.02.2017 содержатся рекомендации для Европейской комиссии относительно норм гражданского права о робототехнике, а в качестве приложения к резолюции приведен Кодекс этики для разработчиков робототехники. Основные принципы этого Кодекса: «делай благо» — деятельность роботов должна быть направлена на интересы людей; «не навреди» — роботы не должны причинять вред человеку; принцип самостоятельности — человек имеет
право принимать добровольное информированное решение об условиях взаимодействия с роботами; принцип справедливости — все блага, получаемые в результате деятельности роботов, должны справедливо распределяться.
Учитывая названные исследования и рекомендации, выделим следующие эти-ко-правовые проблемы применения систем искусственного интеллекта.
1. Возможность признания человекоподобного носителя искусственного интеллекта равным с человеком субъектом. Безусловно, сейчас в повестке дня, учитывая уровень развития науки и техники, такой вопрос еще не стоит. Но в перспективе развитие систем искусственного интеллекта может поставить вопрос о необходимости наделения человекоподобных его носителей статусом субъектов права с предоставлением им равных с людьми правомочий.
В сериале «Мир Дикого Запада» (Westworld, реж. Дж. Нолан, Л. Джой, 20162018 гг.) человекоподобные роботы населяют огромную территорию «парка развлечений», в который приезжают люди, чтобы насладиться увлекательными кве-стами или пуститься с роботами «во все тяжкие». При этом роботы, наделенные искусственным интеллектом, способны к саморазвитию, что приводит к появлению у некоторых из них самосознания, в результате становится невозможно определить, робот перед зрителями или человек. Крайне остро встает этическая проблема вмешательства в память таких роботов с целью стереть воспоминания, внесения изменений в программу роботов, ставших личностями, а главное — проблема права человека на причинение вреда таким роботам и на лишение их жизни. Фильм снят настолько удачно, что зритель на эмоциональном уровне становится причастным к решению этих этических вопросов.
Если машина обладает способностью мыслить и чувствовать, как человек, следует ли ее считать человеком? Если исходить из того, что человек — это венец творения Бога, его подобие, единственное создание, обладающее свободой воли и душой, то, какого бы уровня ни достиг в своем развитии искусственный интеллект, приравнивать его носителя к человеку нельзя. С теологической точки зрения создание по божественному образу и подобию дает человеку уникальность. Как отмечает Дерек Берес (Derek Beres), человек создан Богом и является венцом творения, поэтому сама идея о том, что люди могут имитировать творение, приравнивать кого-то к человеку, богохульна (Beres 2018).
Хейди Кэмпбелл (Heidi A. Campbell) и Стивен Гарнер (Stephen Garner) в работе «Сетевая теология: вера в цифровую культуру» (Networked Theology: Negotiating Faith in Digital Culture) полагают, что искусственный интеллект может рассматриваться как еще одна Вавилонская башня, как еще один пример попытки человечества узурпировать положение Бога в мире (Campbell and Garner 2016, 18).
Другие исследователи считают, что, если носитель искусственного интеллекта будет обладать волей и сознанием, он может быть наделен всеми правами человека (Deva 2012, 187). Джонатан Мерритт (Jonathan Merritt) в подтверждение этой позиции приводит довод, согласно которому в результате применения таких созданных человеком технологий, как экстракорпоральное оплодотворение или генетическое клонирование, на свет появляются люди, у которых есть душа и которые не отличаются от людей, появившихся на свет «традиционным» способом. Если человек научится кодировать человеческий мозг цифровым способом, то искусственный интеллект станет нашей цифровой версией, у которой должна быть душа (Merritt 2017, 2).
По мнению протоиерея Михаила Захарова, положения Библии о сотворении человека не следует понимать буквально, необходимо исходить из общего смысла: человек создан по воле Бога, без которой ничего не происходит в этом мире; поскольку созданные человеком по воле Бога новые виды растений и животных — творения Божии, то и созданное человеком искусственное существо небиологической природы, наделенное искусственным интеллектом, тоже следует рассматривать как творение Божие (Потапейко 2018). Соответственно, при наличии необходимых условий (воли, сознания и др.) носитель искусственного интеллекта может быть наделен правосубъектностью.
Если человекоподобные носители искусственного интеллекта будут наделены правосубъектностью, то за причинение вреда таким субъектам гражданско-правовая и уголовная ответственность будет наступать по общим основаниям. Более того, само право собственности на такие субъекты незаконно и неэтично, становясь, по существу, рабовладением. Полагаем, создатели человекоподобных носителей искусственного интеллекта — субъектов права должны будут заключать с «пользователями» договоры, построенные по типу договоров найма (аренды) рабочей силы.
До наделения носителя искусственного интеллекта правосубъектностью может возникнуть еще один вопрос, имеющий как юридическую, так и этико-религиозную природу. В случае уничтожения человекоподобного робота вправе ли его владелец, помимо возмещения убытков, требовать компенсацию морального вреда?
С одной стороны, ответ на этот вопрос однозначно отрицательный, поскольку в силу ст. 151 Гражданского кодекса РФ компенсация морального вреда взыскивается только при нарушении личных неимущественных прав, а при нарушении имущественных — только в случаях, прямо предусмотренных законом (Гражданский кодекс РФ (часть первая) от 30.11.1994 № 51-ФЗ; далее — ГК РФ). В настоящее время роботы относятся к имуществу, поэтому их повреждение и уничтожение нарушает имущественные права, за что компенсация морального вреда законом не предусмотрена.
С другой стороны, не все так однозначно. С обладающими искусственным интеллектом роботами-нянями, роботами-помощниками, роботами-партнерами могут устанавливаться сильные эмоциональные связи. В качестве аналогии можно привести домашних животных, к которым человек порой испытывает устойчивую и сильную душевную привязанность. Вместе с тем, поскольку животные Гражданским кодексом РФ отнесены к имуществу (ст. 137 ГК РФ), суды в большинстве случаев отказывают в удовлетворении требований о компенсации морального вреда, причиненного смертью домашних животных (например, когда собаку сбивает автомобиль или она погибает от укусов другой собаки).
В последнее время наметилась иная тенденция. Апелляционным определением Московского городского суда от 22.11.2017 по делу № 33-48080/17 отменено решение Перовского районного суда г. Москвы от 12.04.2017 в части отказа во взыскании компенсации морального вреда хозяину собаки, который в иске ссылался на то, что после смерти собаки, произошедшей по вине ответчика, он испытал сильный стресс, страдал бессонницей, ухудшением концентрации внимания, находился в состоянии тревоги, был вынужден обратиться за медицинской помощью в поликлинику, где ему был поставлен диагноз: вегетососудистая дистония, астено-
депрессивный синдром. Суд апелляционной инстанции указал, что истцу причинены физические и нравственные страдания в результате нарушения его нематериальных благ, связанных с отношением к собаке как к члену семьи, проявлением к ней привязанности, заботы и понимания, и взыскал компенсацию морального вреда в размере 10 тыс. руб.
Апелляционным определением Санкт-Петербургского городского суда от 07.09.2017 по делу № 33-15023/17 оставлено без изменения решение Куйбышевского районного суда г. Санкт-Петербурга от 04.04.2017, которым с ответчика, нарушившего правила выгула собак и не принявшего мер к предотвращению нападения своей собаки на принадлежавшую истцу собаку, погибшую в результате нападения, взысканы возмещение ущерба в размере 51 520 руб. 50 коп. и компенсация морального вреда в размере 10 тыс. руб. Суды обеих инстанций пришли к выводу, что утратой домашнего питомца истцу бесспорно причинены нравственные страдания.
В настоящее время подготовлен законопроект, предусматривающий предоставление права на компенсацию морального вреда лицам, потерявшим домашних животных (Куликов 2018, 3).
Соответственно, в будущем возможно внесение изменений в законодательство в части предоставления права требования компенсации морального вреда за уничтожение человекоподобных роботов, наделенных искусственным интеллектом, если будет доказано, что между человеком и человекоподобным роботом существовала сильная эмоциональная связь и утрата робота повлекла переживания человека либо существенно ухудшила условия его жизни (например, слепой человек лишился робота-поводыря).
До установления каких-либо мер ответственности в любом случае будет возникать нравственный вопрос о необходимости этичного отношения к роботам, являющимся носителями искусственного интеллекта и полностью копирующим человека. Из этого вопроса вытекает и следующий: нужно ли, чтобы роботы выглядели очень похожими на людей? Ведь если роботы выполняют конкретные, «узкие» функции, возможно, отсутствует необходимость для их портретного и анатомического сходства с людьми.
С вопросом о правосубъектности искусственного интеллекта связан и вопрос о правовом статусе результатов интеллектуальной деятельности, создаваемых искусственным интеллектом, а также об обладателе интеллектуальных прав на такие произведения. Например, робот-поэт WASP сочиняет красивые стихотворения, используя существующие стихотворения, грамматические модели, новости и лексические базы, постоянно совершенствуясь и пополняя словарный запас и «чувство ритма и рифмы» (Gervas 2019). Компьютерный «музыкант» Amper написал музыку к вышедшему в 2017 г. альбому певицы Тарин Саузерн Break Free.
П. М. Морхат предлагает следующие возможные режимы правового регулирования прав интеллектуальной собственности на результаты интеллектуальной деятельности, произведенные при участии носителя искусственного интеллекта или непосредственно им самим:
— предоставление носителю искусственного интеллекта прав интеллектуальной собственности в случае наделения его правосубъектностью;
— полный отказ от наделения носителя искусственного интеллекта какими-либо правами интеллектуальной собственности и возникновение интел-
лектуальных прав либо у лица, создавшего базовую концепцию результата интеллектуальной деятельности, либо у пользователя-оператора, либо у производителя компьютерной системы, оснащенной искусственным интеллектом, либо у владельца базового программного обеспечения носителя искусственного интеллекта, либо у владельца компьютерной системы, оснащенной искусственным интеллектом;
— переход произведений, созданных искусственным интеллектом, в общественное достояние;
— произведения носителя искусственного интеллекта рассматриваются как служебные;
— предоставление интеллектуальных прав одновременно носителю искусственного интеллекта и одному из лиц, указанных при описании первого варианта правового режима (Морхат 2018, 237-241).
Представляется, что до наделения систем искусственного интеллекта статусом субъекта права интеллектуальные права на произведения, созданные искусственным интеллектом, должны возникать у владельца системы искусственного интеллекта, поскольку разработчик таких систем получает экономический эффект от их продажи, а для владельца возможность приобретения интеллектуальных прав будет стимулом для приобретения таких систем, что будет приводить к росту потребности общества в их разработке и производстве. Соответствующие изменения необходимо внести в часть четвертую ГК РФ, дополнив ее ст. 1258.1, в которой закрепить, что интеллектуальные права на произведения, созданные искусственным интеллектом, возникают у владельца системы, оснащенной искусственным интеллектом.
Наконец, последний этико-религиозный вопрос, связанный с правосубъектностью искусственного интеллекта, который мы обозначим: приблизятся ли роботы к людям настолько, что у них возникнет потребность в религии и появится вера? Если это произойдет, то носителям искусственного интеллекта должно быть обеспечено право на свободу вероисповедания.
2. Искусственный интеллект как религиозный объект. Неограниченные возможности, которые предоставляет искусственный интеллект, его оперативность, производительность, способность помочь человеку в решении разнообразных задач, начиная от бытовых вопросов и заканчивая освоением космоса и постижением тайн Вселенной, делают его не только перспективным и увлекательным объектом исследования, но и предметом восхищения, которое может доходить до степени поклонения и сакрализации, превращения в кумира.
Как отмечает Элен Дюффер (Ellen Duffer), если машина с искусственным интеллектом обладает лекарством от смертельных болезней, знает, как повысить продолжительность жизни и улучшить образование, навести порядок в обществе, вполне вероятно, что люди начнут боготворить ее (Duffer 2017).
Американский инженер Энтони Левандовски (Anthony Levandowski) создал первую в истории религию поклонения искусственному интеллекту, названную «Путь будущего» (Way of the Future). В уставных документах этой религиозной организации указано, что ее деятельность будет сосредоточена на поклонении божеству на основе искусственного интеллекта, разработанного с помощью компьютерного оборудования и программного обеспечения. При этом Э. Левандовски подчеркива-
ет, что это будет «не бог в том смысле, что он делает молнии и вызывает ураганы», но «если есть что-то в миллиард раз умнее самого умного человека, то это можно назвать божеством». Пока такая технология не создана, однако, по мнению Э. Ле-вандовски, «идея должна распространяться раньше технологии», ведь «в начале было Слово». Адептов новой «прогрессивной» религии планируют искать с помощью информационно-пропагандистской работы, ориентируясь в первую очередь на группы инженеров, IT-специалистов, а также любых иных «последователей, заинтересованных в поклонении Богу, созданному на основе искусственного интеллекта» (Harris 2017).
Конечно, можно относиться к возникновению новой религии с определенной степенью иронии и скептицизмом, но, на наш взгляд, не следует недооценивать ее перспективы. Уже в наши дни у значительной части населения, особенно молодежи, существует культ технических новинок: последних моделей смартфонов, компьютерных игр, программ и т. д. Ради обладания новыми гаджетами люди порой идут на многое: от серьезных самоограничений и строжайшей экономии до преступлений. И движет ими не только мода и желание демонстрировать определенный жизненный уровень, но и сформировавшаяся потребность находиться в виртуальном, цифровом пространстве, которое постоянно обновляется, для чего необходимо использовать последние технические достижения в сфере электронных устройств, ставших важной, смыслоопределяющей частью жизни. Перспективные разработки искусственного интеллекта, предоставляющие гораздо больше возможностей, чем существующие смартфоны, имеют все шансы поглотить внутренний мир людей и стать глобальным объектом поклонения.
Сакрализация искусственного интеллекта, превращение его в объект поклонения несут серьезные риски для традиционных религий. Теоретически возможно самостоятельное, неподконтрольное человеку управление людьми со стороны искусственного интеллекта — божества. Последствия такого управления непредсказуемы. В связи с этим представляется необходимым установить законодательный запрет на деятельность религиозных организаций, создаваемых в целях совместного исповедания и распространения веры в искусственный интеллект как сакральный объект. Соответствующие изменения должны быть внесены в п. 2 ст. 14 Федерального закона от 26.09.1997 № 125-ФЗ «О свободе совести и о религиозных объединениях».
Системы искусственного интеллекта активно применяются представителями различных религий. Например, мусульмане по всему миру могут загружать приложения, такие как Muslim Pro, содержащие ежедневные расписания молитв, уведомления о восходе и закате солнца и электронный компас, указывающий направление на Мекку. Другие приложения автоматически регулируют время поста в течение месяца Рамадан в зависимости от местоположения устройства. Опрос, проведенный исследовательским центром Pew в 2017 г., показал, что относительно бедные мусульманские страны могут похвастаться большим количеством людей со смартфонами, чем западноевропейские страны. В Японии создан робот-священник, запрограммированный на проведение буддийских ритуалов, который, например, может выполнить похоронную церемонию за 462 доллара, что дешевле, чем 2232 доллара, взимаемые обычным священником для выполнения той же задачи (Musaddique 2018).
3. Возможность причинения вреда системами искусственного интеллекта высшим ценностям — жизни и здоровью человека. Неправильно заложенный в систему искусственного интеллекта алгоритм может привести к масштабным негативным последствиям. Как отметил Г. Греф, выступая 26 февраля 2019 г. на «Уроке цифры» в одной из московских школ, в результате ошибок искусственного интеллекта, возникших вследствие неточностей алгоритмов, Сбербанк России потерял миллиарды рублей (Гайва 2019).
Случаи причинения вреда системами искусственного интеллекта непосредственно человеку распространяются по мере развития самого искусственного интеллекта. В марте 2018 г. беспилотный автомобиль компании Uber, не увидев на дороге женщину, осуществил наезд на нее, в результате чего она погибла. В мае того же года цифровой помощник IBM Watson рекомендовал больным онкологическими заболеваниями неправильные и угрожающие здоровью препараты (Шнуренко 2019, 39).
Допустима ли с этической точки зрения разработка систем искусственного интеллекта, способных приводить к смерти людей? На этот сложный этико-фило-софский вопрос не может быть однозначного ответа. Многие технические изобретения — от велосипеда до самолета и космического корабля — независимо от того, кем они управляются — человеком или машиной, при стечении определенных факторов могут причинить вред человеку. Но отказ от научных разработок в таких технических сферах остановит развитие цивилизации.
Возникает еще один этико-юридический вопрос: кто несет ответственность за вред, причиненный системами искусственного интеллекта? Искусственный интеллект полностью сам принимает решения и реализует их. Разработчики систем искусственного интеллекта не задают исчерпывающих алгоритмов действий и принятия решений, системы искусственного интеллекта имеют способности к самообучаемости и автономному функционированию. Насколько обоснованно возложение ответственности, например, на пилота или врача, применяющего технологии искусственного интеллекта, за ошибки искусственного интеллекта? Если возлагать ответственность на людей, использующих системы искусственного интеллекта, люди станут избегать их применения, что будет препятствовать развитию соответствующих технологий. Если ответственность возлагать на разработчиков систем искусственного интеллекта, то могут наступить аналогичные последствия. Если же ответственность не возлагать ни на кого из указанных лиц, возникает проблема отсутствия возможности возмещения вреда, причиненного искусственным интеллектом человеку.
Полагаем необходимым ввести обязательное страхование гражданской ответственности за вред, причиненный системами искусственного интеллекта человеку, в этом случае вред будет возмещаться страховыми компаниями. Кроме того, если страхового возмещения недостаточно для возмещения вреда, лицо, применяющее систему искусственного интеллекта, разработчик и производитель должны нести солидарную ответственность, для чего необходимо внести соответствующие изменения в гл. 59 ГК РФ.
4. Принятие искусственным интеллектом решений в отношении прав и обязанностей людей, их юридической ответственности может противоречить базовым правовым и этическим ценностям. Если системы искусственного
интеллекта будут принимать решения о правах и обязанностях людей, об ответственности людей за нарушения, то, учитывая непрозрачность алгоритмов решений, принимаемых искусственным интеллектом, могут нарушаться базовые права, отстаиваемые человеком столетиями: право на ознакомление со всеми документами, затрагивающими права и свободы человека; право на мотивированное решение, в котором дается подробная юридическая квалификация действий, совершенных гражданином; право на обжалование решений органов власти и должностных лиц; право на справедливый суд (может ли вообще искусственный интеллект судить человека?) и т. д.
Поэтому, если носитель искусственного интеллекта наделяется правом принимать юридически значимые решения в отношении людей, необходимо соблюдение следующих принципов:
— должна иметься возможность изложить операции искусственного интеллекта в понятной человеку форме (исходная информация, пути ее обработки, юридическая квалификация, мотивы принятого решения);
— у человека должна быть возможность обжаловать принятое искусственным интеллектом решение человеку.
Сейчас названные принципы применяются при видеофиксации нарушений правил дорожного движения: автовладелец видит, за что ему назначен штраф (государственный регистрационный знак своего автомобиля, место, время, скорость движения, фотографии), имеет возможность обжаловать постановление.
5. Искусственный интеллект усугубляет расслоение и неравенство, а также создает условия для централизации власти. Развитие искусственного интеллекта приведет к еще большему неравенству между теми, кто владеет технологиями, и теми, у кого они отсутствуют, поскольку он создает условия для централизации власти и сосредоточения ресурсов в руках тех, кто им обладает.
6. Внедрение искусственного интеллекта породит массовую безработицу. По оценкам консалтинговой компании Bain, внедрение роботов и искусственного интеллекта приведет к тому, что ежегодно ряды безработных будут пополнять 2,5 млн американцев (для сравнения: в начале XX в. при переходе к индустриальной экономике этот показатель был вдвое меньше (Шнуренко 2019, 41)). Это ударит по всем социальным институтам, в том числе по институту семьи, повлечет за собой демографические проблемы.
7. Интеллектуальное превосходство носителей искусственного интеллекта над человеком. У человека есть определенные биологические пределы развития, у искусственного интеллекта их нет. Люди ограничены медленной биологической эволюцией и не могут по скорости развития конкурировать с искусственным интеллектом. В результате человечество, которое начнет восприниматься искусственным интеллектом как угроза, может быть стерто с лица земли. Носители искусственного интеллекта могут начать рассматривать людей как препятствие на пути достижения целей, для которых они разработаны. Подобные сценарии уже воплощены в кинематографе, например в фильмах «Терминатор» (реж. Д. Кэме-рон, 1984 г.) и его продолжениях, «Искусственный интеллект. Доступ неограничен» (реж. Д. Мур, 2016), сериалах «Черное зеркало», «Мир Дикого Запада» и др. В результате человек может оказаться порабощенным либо целенаправленно уничто-
женным искусственным интеллектом. Алгоритмы, закладываемые в искусственный интеллект, должны предусматривать безусловную возможность их отключения человеком.
8. Отчуждение людей друг от друга, одиночество человека. Распространение систем искусственного интеллекта в сферах, в которых крайне важны личностное общение и взаимодействие, проявление человеческих чувств и эмоций, может привести к отчуждению людей друг от друга и росту одиночества.
Так, уже в наши дни роботы-няни могут следить за детьми, передавать родителям информацию о ребенке, играть с детьми, поддерживать беседу с ребенком, принимать участие в его обучении. Проблема состоит в том, что вместо родителей, чьи любовь, забота и ласка необходимы ребенку для полноценного развития, с ним находится робот, от которого ребенок не может получить то, что ему крайне необходимо. В результате это может отразиться на психическом, физическом, интеллектуальном, эмоциональном развитии ребенка, привести к отсутствию необходимой эмоциональной связи ребенка с родителями и к будущим трудностям в воспитании. Аналогичные проблемы возникают при использовании роботов-сиделок по уходу за больными людьми, которым также необходимо человеческое внимание и забота людей, а не машин.
Райан Кало (M. Ryan Calo), написавший ряд трудов по робототехнике, задается вопросом: будут ли люди продолжать наслаждаться перспективой одиночества в мире, пронизанном искусственным интеллектом, «живущим» в домах, машинах, офисах, больничных палатах и телефонах? (Calo 2009).
9. Возможность следования этическим нормам при принятии решений искусственным интеллектом. Системы искусственного интеллекта могут быть поставлены перед нравственным выбором, в частности при возникновении нестандартных ситуаций. Например, интеллектуальная беспилотная система управления транспортным средством должна сделать выбор между наездом на пешехода и маневром, грозящим причинением вреда жизни и здоровью пассажиров. Можно ли заложить необходимость следования этическим нормам при принятии решений искусственным интеллектом?
Как отмечают В. Э. Карпов, П. М. Готовцев, Г. В. Ройзензон, существует проблема математического описания этических норм, которые отличаются в разных культурах и могут быть вариативными в зависимости от ряда факторов; вторая проблема — способность объективно контролировать соответствие компонентов систем искусственного интеллекта этическим нормам; третья проблема — возможное ограничительное влияние этических стандартов на развитие систем искусственного интеллекта (Карпов, Готовцев, Ройзензон 2018, 86-87).
Действительно, отсутствие четких алгоритмов в этике существенно затруднит математическое описание этических норм и процессов. В качестве примера можно привести существующие системы онлайн-переводчиков, основанные на искусственном интеллекте. Поскольку язык также не всегда укладывается в четкие математические алгоритмы, автоматические переводы некоторых слов и выражений порой далеки от их истинного смысла, о чем свидетельствуют многочисленные фотографии нелепых объявлений, реклам, инструкций по эксплуатации товаров, содержащиеся в сети Интернет. Так, в одном из спортивных объектов проходившего в России чемпионата мира по футболу слово «душ» переведено на английский язык
как soul (душа), а «кормушка для белок» как feeder protein (белковая (протеиновая) кормушка).
Тем не менее в науке разрабатываются различные способы формализации этических норм. Так, в работе В. Лефевра «Алгебра совести» есть целая глава, посвященная вопросам этики и процедурам формализации этических понятий и категорий, для чего используется аппарат булевой алгебры (Лефевр 2003). О. И. Ларичев для формализации этических понятий применительно к их внедрению в системы искусственного интеллекта предлагает использовать методы вербального анализа решений (Ларичев 2006).
Способность систем искусственного интеллекта к самообучаемости, а также развитие различных концепций формализации этических понятий, на наш взгляд, в перспективе делают возможным внедрение в искусственный интеллект необходимости следования этическим нормам при принятии каждого решения. При этом, как обоснованно считают В. Э. Карпов, П. М. Готовцев и Г. В. Ройзензон, алгоритмы управления системой искусственного интеллекта должны быть таковыми, чтобы при нарушении этических норм система не могла функционировать, т. е. этические нормы должны быть базисом системы искусственного интеллекта, а не дополнительным набором критериев, которым будет пользоваться такая система при принятии решений (Карпов, Готовцев, Ройзензон 2018, 100).
3. Выводы. Проведенное исследование позволяет сделать следующие выводы.
На законодательном уровне нужно разработать и утвердить систему этических принципов, которые должны соблюдаться при разработке систем искусственного интеллекта. Для эффективного решения этой задачи необходимы международное сотрудничество и вовлечение большого числа экспертов, которые понимают и могут анализировать взаимодействие между технологиями искусственного интеллекта, программными целями и этическими категориями.
Алгоритмы, закладываемые в искусственный интеллект, должны предусматривать безусловную возможность их отключения человеком.
Кроме того, алгоритмы управления системой искусственного интеллекта должны быть таковыми, чтобы при нарушении этических норм система не могла функционировать, т. е. этические нормы должны быть базисом системы искусственного интеллекта, а не дополнительным набором критериев, которым будет пользоваться система искусственного интеллекта при принятии решений.
Следует ввести обязательное страхование гражданской ответственности за вред, причиненный системами искусственного интеллекта человеку, в этом случае вред будет возмещаться страховыми компаниями. Если страхового возмещения недостаточно для возмещения вреда, лицо, применяющее систему искусственного интеллекта, разработчик и производитель должны нести солидарную ответственность. Соответствующие изменения должны быть внесены в гл. 59 ГК РФ.
В п. 2 ст. 14 Федерального закона от 26.09.1997 № 125-ФЗ «О свободе совести и о религиозных объединениях» необходимо внести изменения в части запрета деятельности религиозных организаций, создаваемых в целях совместного исповедания и распространения веры в искусственный интеллект как сакральный объект.
При наделении искусственного интеллекта правом принимать юридически значимые решения в отношении людей нужно законодательно закрепить следующие принципы: должна иметься возможность изложить операции искусственного
интеллекта в понятной человеку форме (исходная информация, пути ее обработки, юридическая квалификация, мотивы принятого решения); у человека должна быть
возможность обжаловать принятое искусственным интеллектом решение человек-
Часть четвертую ГК РФ необходимо дополнить ст. 1258.1, в которой закрепить, что интеллектуальные права на произведения, созданные искусственным интеллектом, возникают у владельца системы, оснащенной искусственным интеллектом.
Следует рассмотреть вопрос о дополнении ст. 151 ГК РФ положением о праве на компенсацию морального вреда за уничтожение человекоподобных роботов, наделенных искусственным интеллектом, если будет доказано, что между человеком и человекоподобным роботом существовала сильная эмоциональная связь и утрата робота повлекла переживания человека либо существенно ухудшила условия его жизни (например, слепой человек лишился робота-поводыря).
В ближайшей перспективе отсутствуют технические, юридические, этические и философские основания для наделения систем искусственного интеллекта правосубъектностью.
Поскольку роботы создаются для выполнения конкретных, «узких» функций, отсутствует необходимость создавать их максимально портретно и анатомически приближенными к людям, что снизит остроту многих этических проблем, возникающих при взаимодействии людей с роботами.
Библиография
Гайва, Евгений. 2019. Греф рассказал о миллиардных потерях из-за искусственного интеллекта. Дата обращения 28 февраля, 2019. https://rg.ru/ 2019/02/26/gref-rasskazal-o-milliardnyh-poteriah-iz-za-iskusstvennogo-intellekta.html. Карпов, Валерий Э., Павел М. Готовцев, Григорий В. Ройзензон. 2018. «К вопросу об этике и системах
искусственного интеллекта». Философия и общество 2: 84-105. Куликов, Владислав. 2018. «Но трогать ее не моги. Предлагается разрешить взыскивать компенсацию морального вреда за гибель домашних любимцев». Российская газета — Федеральный выпуск 153 (7616): 3. Ларичев, Олег И. 2006. Вербальный анализ решений. М.: Наука. Лефевр, Владимир А. 2003. Алгебра совести. М.: Когито-Центр.
Морхат, Петр М. 2018. Правосубъектность искусственного интеллекта в сфере права интеллектуальной собственности: гражданско-правовые проблемы. Дис. ... д-ра юрид. наук, Российская государственная академия интеллектуальной собственности. Потапейко, Павел. 2018. Развитие искусственного интеллекта в ЕАЭС: взгляд из Беларуси. Дата обращения 28 февраля, 2019. http://eurasia.expert/razvitie-iskusstvennogo-intellekta-v-eaes-vzglyad-iz-belarusi/.
Проскурякова, Мария И. 2018. «Электронное правосудие в Германии: актуальное состояние и перспективы развития». Вестник Санкт-Петербургского университета. Право 3: 433-447. Синельникова, Валентина Н., Олег В. Ревинский. 2017. «Права на результаты искусственного интеллекта». Копирайт 4: 17-27. Шнуренко, Игорь. 2019. «Искусственный интеллект на грани нервного срыва». Эксперт 1-3 (1103): 39-42.
Beres, Derek. 2018. "Are A. I. churches and "tech faith" cults the future of religion?" Дата обращения 7 марта, 2019. https://bigthink.com/21st-century-spirituality/are-religion-and-artificial-intelligence-compatible.
Calo, Ryan M. 2009. "People Can Be So Fake: A New Dimension to Privacy and Technology Scholarship". Penn State Law Review, vol. 114, no. 3 (2010): 809-855.
Campbell, Heidi A., Stephen Garner. 2016. Networked Theology: Negotiating Faith in Digital Culture. Michigan: Baker Academic.
Delvaux, Mady (report.) 2016. Draft report with recommendation to the Commission on Civil Law Rules on Robotics. Committee on Legal Affairs of European Parliament. Дата обращения 28 февраля, 2019. http://robotrends.ru/images/1702/853648/DraftReport_with_recommendations_to_the_comission_ on_civil_Law_Rules_on_Robotics.pdf.
Deva, Surya. 2012. "Can Robots have Human Rights Obligations? A Futuristic Exploration". The Law of the future and the future of Law 2, ed. by Sam Muller, 185-193. The Hague: Torkel Opsahl Academic EPublisher.
Duffer, Ellen. 2017. As Artificial Intelligence advances, what are its religious implications? Дата обращения 3 марта, 2019. https://religionandpolitics.org/2017/08/29/as-artificial-intelligence-advances-what-are-its-religious-implications/.
Gervas, Pablo. 2019. "WASP: Evaluation of different strategies for the automatic generation of Spanish verse". Дата обращения 1 марта, 2019. https://scholar.google.ru/citations?user=AcY-Y2gAAAAJ.
Harris, Mark. 2017. "Inside the first church of artificial intelligence". Дата обращения 28 февраля, 2019. https://www.wired.com/story/anthony-levandowski-artificial-intelligence-religion/.
Institute of Electrical and Electronics Engineers. n. d. "Ethically Aligned Design". Дата обращения 8 марта, 2019. http://creativecommons.org/licenses/by-nc/3.0/us/.
Jung, Kitae, Chung Koohong, Yeo Hwasoo. 2014. "A Dynamic Pricing Strategy for High Occupancy Toll Lanes". Transportation Research Part A: Policy and Practice 67: 69-80.
Kamener, Larry. 2017. "Courting change: the verdict on AI and the courts". Дата обращения 7 марта, 2019. https://www.centreforpublicimpact.org/courting-change-verdict-ai-courts.
Kurzweil, Raymond. 1990. The Age of Intelligent Machines. Cambridge, Mass.: MIT Press.
Merritt, Jonathan. 2017. "Is AI a threat to Christianity?" The Atlantic 2: 2-4.
Musaddique, Shafi. 2018. How artificial intelligence is shaping religion in the 21st century. Дата обращения 28 февраля, 2019. https://www.cnbc.com/2018/05/11/how-artificial-intelligence-is-shaping-religion-in-the-21st-century.html.
Stone, Peter et al. 2016. Artificial Intelligence and Life in 2030: One Hundred Year Study on Artificial Intelligence. Stanford: Stanford University. Дата обращения 28 февраля, 2019. https://ai100.stanford.edu/ sites/g/files/sbiybj9861/f/ai100report10032016fnl_singles.pdf.
Статья поступила в редакцию 12 марта 2019 г.;
рекомендована в печать 17 мая 2019 г.
Контактная информация:
Малышкин Александр Викторович — канд. юрид. наук, доцент; law33region@yandex.ru
Integration of artificial intelligence into public life: some ethical and legal problems
A. V. Malyshkin
Vladimir State University named after A. G. and N. G. Stoletovs,
87, ul. Gor'kogo, Vladimir, 600000, Russian Federation
For citation: Malyshkin, Alexandr V. 2019. "Integration of artificial intelligence into public life: some
ethical and legal problems". Vestnik of Saint Petersburg University. Law 3: 444-460.
https://doi.org/10.21638/spbu14.2019.303 (In Russian)
The spread of artificial intelligence systems raises a number of technical, philosophical, legal and ethical issues related to the admissibility of using artificial intelligence in various fields, and the need to comply with ethical standards in the creation of artificial intelligence systems, as well as the possibility of introducing ethical standards in the decision-making process of
artificial intelligence. Since for many people religion is the basis of the worldview, present in public life as ethics, not dogmatics, the study of various aspects of the relationship between religion and artificial intelligence is also extremely important. The author analyzes the ethical and religious problems associated with the creation and distribution of artificial intelligence systems and proposes ways of legal regulation of new social relations associated with the use of artificial intelligence. The author explores the following problems: the ability of artificial intelligence to be a subject of law; liability of artificial intelligence; sacralization of artificial intelligence; the responsibility for harm caused by artificial intelligence systems; the adoption of artificial intelligence decisions concerning the rights and duties of people; increasing stratification and inequality; mass unemployment; intellectual superiority of the carriers of artificial intelligence over man; alienation of people from each other, the loneliness of man; the ability to follow ethical standards when artificial intelligence makes decisions.
Keywords: artificial intelligence, robots, religion, ethics, moral aspects of robotics, legal regulation, social regulation, integrated jurisdiction.
References
Beres, Derek. 2018. "Are A. I. churches and "tech faith" cults the future of religion?" Accessed March 7, 2019. https://bigthink.com/21st-century-spirituality/are-religion-and-artificial-intelligence-compatible.
Calo, Ryan M. 2009. "People Can Be So Fake: A New Dimension to Privacy and Technology Scholarship". Penn State Law Review, vol. 114, no. 3 (2010): 809-855.
Campbell, Heidi A., Stephen Garner. 2016. Networked Theology: Negotiating Faith in Digital Culture. Michigan, Baker Academic.
Delvaux, Mady (report.) 2016. Draft report with recommendation to the Commission on Civil Law Rules on Robotics. Committee on Legal Affairs of European Parliament. Accessed February 28, 2019. http:// robotrends.ru/images/1702/853648/DraftReport_with_recommendations_to_the_comission_on_ civil_Law_Rules_on_Robotics.pdf.
Deva, Surya. 2012. "Can Robots have Human Rights Obligations? A Futuristic Exploration". The Law of the future and the future of Law 2, ed. by Sam Muller, 185-193. The Hague, Torkel Opsahl Academic EPublisher.
Duffer, Ellen. 2017. As Artificial Intelligence advances, what are its religious implications? Accessed March 3, 2019. https://religionandpolitics.org/2017/08/29/as-artificial-intelligence-advances-what-are-its-reli-gious-implications/.
Gaiva, Evgenii. 2019. Gref told about the billions of losses because of artificial intelligence. Accessed February 28, 2019. https://rg.ru/2019/02/26/gref-rasskazal-o-milliardnyh-poteriah-iz-za-iskusstvennogo-in-tellekta.html. (In Russian)
Gervas, Pablo. 2019. WASP: Evaluation of different strategies for the automatic generation of Spanish verse. Accessed March 1, 2019. https://scholar.google.ru/citations?user=AcY-Y2gAAAAJ.
Harris, Mark. 2017. Inside the first church of artificial intelligence. Accessed February 28, 2019. https://www. wired.com/story/anthony-levandowski-artificial-intelligence-religion/.
Institute of Electrical and Electronics Engineers. n. d. "Ethically Aligned Design". Accessed March 8, 2019. http://creativecommons.org/licenses/by-nc/3.0/us/.
Jung, Kitae, Chung Koohong, Yeo Hwasoo. 2014. "A Dynamic Pricing Strategy for High Occupancy Toll Lanes". Transportation Research Part A: Policy and Practice 67: 69-80.
Kamener, Larry. 2017. "Courting change: the verdict on AI and the courts". Accessed March 7, 2019. https:// www.centreforpublicimpact.org/courting-change-verdict-ai-courts.
Karpov, Valerii E., Pavel M. Gotovtsev, Grigorii V. Roizenzon. 2018. "On the issue of ethics and artificial intelligence systems". Filosofiia i obshchestvo 2: 84-105. (In Russian)
Kulikov, Vladislav. 2018. "But you couldn't touch her. It is offered to allow to exact compensation of moral harm for death of pets". Rossiiskaia gazeta — Federal'nyi vypusk 153 (7616): 3. (In Russian)
Kurzweil, Raymond. 1990. The Age of Intelligent Machines. Cambridge, Mass., MIT Press.
Larichev, Oleg I. 2006. Verbal analysis of decisions. Moscow, Nauka Publ. (In Russian)
Lefevr, Vladimir A. 2003. Algebra of conscience. Moscow, Kogito-Tsentr Publ. (In Russian) Merritt, Jonathan. 2017. "Is AI a threat to Christianity?" The Atlantic 2: 2-4.
Morkhat, Petr M. 2018. Legal personality of artificial intelligence in the field of intellectual property law: civil
law problems. PhD Thesis, Russian State Academy of Intellectual Property. (In Russian) Musaddique, Shafi. 2018. How artificial intelligence is shaping religion in the 21st century. Accessed February 28, 2019. https://www.cnbc.com/2018/05/11/how-artificial-intelligence-is-shaping-religion-in-the-21st-century.html.
Potapeiko, Pavel. 2018. Development of artificial intelligence in the EEU: a view from Belarus. Accessed February 28, 2019. http://eurasia.expert/razvitie-iskusstvennogo-intellekta-v-eaes-vzglyad-iz-belarusi/. (In Russian)
Proskuriakova, Mariia I. 2018. "E-Justice in Germany: Current status and development prospects". Vestnik
Sankt-Peterburgskogo universiteta. Pravo 3: 433-447. (In Russian) Sinel'nikova, Valentina N., Oleg V. Revinskii. 2017. "Rights to the results of artificial intelligence". Kopirait 4: 17-27. (In Russian)
Shnurenko, Igor'. 2019. "Artificial intelligence on the verge of a nervous breakdown". Ekspert 1-3 (1103): 39-42. (In Russian)
Stone, Peter et al. 2016. Artificial Intelligence and Life in 2030: One Hundred Year Study on Artificial Intelligence. Stanford: Stanford University. Accessed February 28, 2019. https://ai100.stanford.edu/sitesZg/ files/sbiybj9861/f/ai100report10032016fnl_singles.pdf.
Received: March 12, 2019 Accepted: May 17, 2019
Author's information:
Alexandr V. Malyshkin — PhD, associate professor; law33region@yandex.ru
