CC BY
137
Комаров С.В., Столбова Н.В., Незнамов А.В., Чудинов О.Р., Файнбург Г.З. Обзор панельной дискуссии «Беспилотные автомобили: моральные вызовы и правовое регулирование» (3 декабря 2018 года) // Технологос. - 2019. - № 2. -С. 52-67. DOI: 10.15593/perm.kipf/2019.2.05
Komarov S.V., Stolbova N.V., Neznamov A.V., Chudinov O.R., Faynburg G.Z. Review of the Panel Discussion "Self-driving Cars: Moral Challenges and Legal Regulation" (December 3, 2018). Technologos, 2019, no. 2, pp. 52-67. DOI: 10.15593/perm.kipf/2019.2.05
Б01: 10.15593/регш.к1рГ/2019.2.05 УДК 656.13-519
ОБЗОР ПАНЕЛЬНОЙ ДИСКУССИИ «БЕСПИЛОТНЫЕ АВТОМОБИЛИ: МОРАЛЬНЫЕ ВЫЗОВЫ И ПРАВОВОЕ РЕГУЛИРОВАНИЕ» (3 ДЕКАБРЯ 2018 ГОДА)*
С.В. Комаров1, Н.В. Столбова1, А.В. Незнамов2, О.Р. Чудинов1, Г.З. Файнбург1
1Пермский национальный исследовательский политехнический университет, Пермь, Россия Исследовательский центр проблем регулирования робототехники и искусственного интеллекта в России, Москва, Россия Институт государства и права РАН, Москва, Россия
О СТАТЬЕ
АННОТАЦИЯ
Получена: 11 января 2019 г. Принята: 13 мая 2019 г. Опубликована: 28 июня 2019 г.
Ключевые слова:
беспилотный автомобиль, высокоавтоматизированный автомобиль, «проблема вагонетки», системы искусственного интеллекта, «пронизывающие» технологии, социальный контекст техники, правовое регулирование, ответственность, опасности и риски, безопасность.
Данная статья представляет собой обзор панельной дискуссии «Беспилотные автомобили: моральные вызовы и правовое регулирование», которая проходила в Пермском национальном исследовательском политехническом университете 3 декабря 2018 года. В дискуссии участвовали специалисты (философы, юристы, инженеры и др.) из Германии и России. Также в обсуждении участвовали и студенты ПНИПУ. В ходе дискуссии обсуждались проблемы формирования социальных практик, позволяющих внедрить в жизнь (социум) беспилотные автомобили. Изначально был представлен опыт Германии: в контексте социальной оценки техники об этом опыте рассказал А. Грунвальд. Речь шла об общественных дебатах в Германии 2014-2015 годов (в центре которых стояла знаменитая «проблема вагонетки»), работе Этической комиссии, выработанных комиссией рекомендаций, начале дебатов уже на уровне политической системы. После выступления развернулась дискуссия, которая фактически являлась реакцией на позицию А. Грунвальда. Философы рассмотрели ряд вопросов: современный технологический пессимизм в контексте социальной оценки техники, современное состояние технологий, характеризующееся слитностью технологий с социальными практиками; метафизика искусственного интеллекта; необходимость перехода от спекулятивных рисков к практикам работы с технологиями. Юристы говорили о становлении правового регулирования ответственности за создание новой техники на примере правовой системы Германии, а также современном состоянии правового регулирования сферы высокоавтоматизированного вождения в мире и в России в частности. Специалист по безопасности продемонстрировал современные подходы к безопасности эксплуатации техники и показал значимость того факта, что любые социальные практики, как бы детально ни разрабатывались, во многом детерминированы экономическим базисом. Фактически реальные риски от спекулятивных отличаются тем, что принятие реальных рисков - есть результат понимания превышения пользы беспилотного автомобиля над причиненным этим использованием вредом (и соответствующими суммами страховых выплат).
© ПНИПУ
Комаров Сергей Викторович - доктор философских наук, профессор кафедры философии и права, ORCID: https://orcid.org/0000-0001-7358-6151, e-mail: philos.perm@gmail.com.
Столбова Наталья Викторовна - кандидат философских наук, доцент кафедры философии и права, ORCID: https://orcid.org/0000-0002-6103-367X, e-mail: pilthekid@mail.ru.
Незнамов Андрей Владимирович - кандидат юридических наук, руководитель, старший научный сотрудник, ORCID: https://orcid.org/0000-0003-2880-7394, e-mail: alegista@mail.ru.
Чудинов Олег Ревокатович - доцент кафедры философии и права, ORCID: https://orcid.org/0000-0002-2738-2358, e-mail: oleg.chudinow@yandex.ru. Файнбург Григорий Захарович - доктор технических наук, профессор, заслуженный работник высшей школы Российской Федерации, директор Института безопасности труда, производства и человека, ORCID: https://orcid.org/0000-0001-8004-1969, e-mail: faynburg@mail.ru.
Sergey V. Komarov - PhD, Full Professor, Department of Philosophy and Law, ORCID: https://orcid.org/0000-0001-7358-6151. e-mail: philos.perm@gmail.com. Natalya V. Stolbova - PhD, Associate Professor, Department of Philosophy and Law, ORCID: https://orcid.org/0000-0002-6103-367X, e-mail: pilthekid@mail.ru. Andrey V. Neznamov - PhD, Head of Robolaw Project, Senior Researcher, ORCID: https://orcid.org/0000-0003-2880-7394, e-mail: alegista@mail.ru.
Oleg R. Chudinov - Associate Professor, Department of Philosophy and Law, ORCID: https://orcid.org/0000-0002-2738-2358, e-mail: oleg.chudinow@yandex.ru.
Grigoriy Z. Faynburg - PhD, Full Professor, Director of Institute for Safety & Health, Honored Worker of the Higher Education of the Russian Federation, ORCID: https://orcid.org/0000-0001-8004-1969, e-mail: faynburg@mail.ru.
•Работа выполнена в рамках гранта РФФИ № 18-29-16015, выделенного для проведения комплексного исследования правовых и этических аспектов разработки и применения систем искусственного интеллекта и робототехники.
л. Эта статья доступна в соответствии с условиями лицензии Creative Commons Attribution-NonCommercial 4.0 International
(ccj w CS? License (CC BY-NC 4.0)
^^^HI^HH^H This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License (CC BY-NC 4.0)
REVIEW OF THE PANEL DISCUSSION "SELF-DRIVING CARS: MORAL CHALLENGES AND LEGAL REGULATION" (DECEMBER 3, 2018)
Sergey V. Komarov1, Natalya V. Stolbova1, Andrey V. Neznamov2, Oleg R. Chudinov1, Grigoriy Z. Faynburg1
1Perm National Research Polytechnic University, Perm, Russian Federation Research Center for Problems of Robotics and Artificial Intelligence Regulation (Robolaw project), Moscow, Russian Federation Institute of State and Law of RAS, Moscow, Russian Federation
ARTICLE INFO
ABSTRACT
Received: 11 January 2019 Accepted: 13 May 2019 Published: 28 June 2019
Keywords:
Self-driving car, highlyautomated motor car, trolley problem, system of artificial intelligence, "penetrating" technologies, social context of technology, legal regulation, responsibility, dangers and risks, security
This article represents there view of the panel discussion "Self-driving Cars: Moral Challenges and Legal Regulation" which was held in Perm National Research Polytechnic University on the 3d of December, 2018. Such professionals as philosophers, legal experts, engineers, etc., as well as students of PNRPU took part in that discussion. The problems of forming social practices which makes possible to introduce unpiloted motor cars in social community were discussed. Initially the experience of Germany was presented: A. Grunvald told about this experience in the context of technology assessment (description of social German debates in 2014/2015 in the center of which it was the well-known trolley problem, the work of the Ethic commission, recommendations drawn by commission, the beginning of debates was at the level of political system). After his speech the discussion which was in fact the reaction to A. Grunvald position developed. Philosophers presented: the sense of technological pessimism in the context of technology assessment (TA), the modern condition of technology characterized by the unity of technologies and social practices; metaphysics of artificial intelligence; the necessity of speculative risks transfer to the practices of the work with technologies. Legal experts described formation of the legal regulation of responsibility for the creation of the new technologies by the example of the German legal system as well as the modern condition of the legal regulation in the sphere of highly automated driving in the world and in Russia in particular. Expert in security demonstrated the modern approaches to the operational safety and showed the importance of financial base of any social practice. Actually, real risks differ from speculative ones by the fact that the adoption of real risks is the result of understanding the exceeded advantage of unpiloted motor car compared with the damage of its use (and the amount of the insurance pay out).
© PNRPU
3 декабря 2018 года в Пермском национальном исследовательском политехническом университете состоялась панельная дискуссия «Беспилотные автомобили: моральные вызовы и правовое регулирование». В роли основного докладчика выступил Армин Грунвальд (директор 1ТЛ8 в г. Карлсруэ), рассказавший о немецком опыте сопровождения (в рамках социальной оценки техники) внедрения беспилотных автомобилей в социум. Была описана ситуация в целом, специфика общественных дебатов, начавшихся в 2014-2015 годах (в центре которых стояла знаменитая «проблема вагонетки»), создание и деятельность Этической комиссии по вопросам автоматизированного и подключенного вождения (при Министерстве транспорта), положившей начало общественным дебатам и в политической системе. Были представлены рекомендации, сформулированные Этической комиссией1.
После основного доклада состоялась дискуссия, участниками которой стали философы, юристы, инженеры и студенты ПНИПУ и представители других организаций Москвы и Перми. В ходе дискуссии были выделены несколько проблемных узлов, которые, собственно, мы и рассмотрим в данном обзоре. Их можно разделить на три группы:
1 Подробно позиция А. Грунвальда представлена в статье: Грунвальд А., Железняк В.Н., Середкина Е.В. Беспилотный
автомобиль в свете социальной оценки техники // Технологос. - 2019. - № 2. - С. 41-51.
1) философское обоснование внедрения беспилотных автомобилей (С.В. Комаров, Н.В. Столбова);
2) юридическое сопровождение (А.В. Незнамов, О.Р. Чудинов);
3) проблемы безопасности (Г.З. Файнбург).
С.В. Комаров. 1. Смысл технического пессимизма. Первое положение, из которого исходит А. Грунвальд, - это положение о безальтернативности техники для человечества. Это положение является первым не только для данного доклада, но и для доминирующего умонастроения. Мы настолько зависим от развития современных технических устройств, а наши города от технической инфраструктуры, наш образ жизни настолько связан с использованием различных технических устройств и гаджетов, что сегодня помыслить мир без техники совершенно невозможно. Можно сказать: не столько мы владеем техникой, сколько она нами, не столько люди создают и используют ее, сколько она создает и формирует людей под свои стандарты. Не техника «вручена» нам, а мы «вручены» технике. Достаточно вспомнить известные технические катастрофы, связанные с энергетическими локаутами в Москве и Нью-Йорке в конце нулевых годов. Разом были обесточены огромные районы города, прекратил движение электротранспорт, была нарушена мобильная связь, дали сбои системы жизнеобеспечения города и т.п. Жизнь людей в огромном мегаполисе была парализована и отброшена на две или три ступеньки цивилизационного развития. Последний пример показывает, что при всем критическом отношении к техническому прогрессу, техническом пессимизме и техническом алармизме отказаться от техники невозможно. Рассуждения о войне машин и людей, о контроле машин над людьми - свидетельство необратимости технического развития. Техника -это судьба современного человечества.
Создание искусственного интеллекта (беспилотные автомобили, обучающиеся машины, дополнительная реальность и т.п.) подтверждает этот, в общем-то, тривиальный вывод. Однако безальтернативность технического развития отнюдь не означает его автоматизма; весь вопрос в том, как осуществляется это развитие, кто и что остается под контролем. Вопрос именно в том, чтобы понять, что технологии существуют для людей, а не люди для технологий. Это значит, что основной вопрос технического развития заключается отнюдь не в возможностях технологий, а в возможности людей понимать самих себя, понимать, что им нужно, в чем их благо. Собственно, из этого исходит А. Грунвальд в своем докладе, когда сосредотачивается именно на философии и этике искусственного интеллекта, на ценностях, которые определяют развитие техники.
Здесь открывается нам смысл технического пессимизма. Его суть не в истерической реакции, связанной со страхом перед неуправляемым развитием техники, войной машин, контролем искусственного интеллекта над людьми, вытеснением разумного начала перед машинным Молохом и т.д. Можно видеть в техническом пессимизме романтическую ностальгию по утраченному миру теплых человеческих чувств и непосредственных личных отношений между людьми. Утраченное гармоничное отношение к пасторальной Природе. Отсутствие отчуждения в механизированном мире производства и рынка. Отрицание репрессивного или авторитарного характера. Можно видеть в нем неприкрытость бытия, а техне понимать как нераскрывшуюся форму пойэ-сиса. Все это неоднократно обсуждалось в различных философиях техники. Но все эти версии означают непонимание сути технического пессимизма. Мы можем продолжать модернизацию наших технических систем с помощью искусственного интеллекта (здесь и далее - ИИ) и приведем их в автоматическое состояние, когда действительно могут наступить фатальные последствия для человека, но изначально негативное отношение к этому не спасет нас.
Суть и смысл технического пессимизма в том, что он задает позицию бдительности. Это не алармистская, негативная и отрицательная установка к развитию техники и ИИ. Запретить создание техники нельзя, отменить ее развитие невозможно, ностальгировать и предаваться негативной критике вообще бесполезно. Если мы не можем отказаться от техники, то мы должны понять, что опасность не в негативных сторонах технологий, а в самодовольстве и попустительстве со стороны человека, который не замечает их или - вот обратная сторона романтизма - не хочет замечать. Конструктивная и позитивная роль технического пессимизма в том, чтобы участвовать в создании техники в качестве внутренней критической и этической функции ее развития. Трезвая позиция технического пессимизма заключается в выполнении этой функции: участвуя в создании, разработке и развитии технологии, выделять критические точки этого развития не с точки зрения «технической разрешимости», а с точки зрения социальной и этической разрешимости технологии. Надо исходить из того, что мы ожидаем от технологий, а не что технологии ожидают от нас (А. Грунвальд).
2. Социальный контекст развития искусственного интеллекта. Второе положение А. Грунвальда тоже интересно - это социальный контекст развития систем ИИ. Сама по себе мысль о социальном контексте развития техники отнюдь не нова: техника всегда имела социальные последствия. Однако использование ИИ в современных условиях имеет принципиальные отличия от техники прошлых поколений. Речь идет не только о масштабе, но о самом характере воздействия на дальнейшее развитие общества. Развитие техники ведет к вытеснению человека из производственного процесса: сначала рабочий инструмент заменяет руку человека, затем бортовой компьютер заменяет мозг, а система ИИ берет на себя функцию распознавания образов, заменяя органы чувств. Это замена телесного движения, интеллектуального движения (принятия решения), чувственности человека; мускульная энергия человека заменяется механической, умственная работа заменяется электрической энергией, энергия чувственного восприятия заменяется оптико-электронной кодировкой. Это движение особенно наглядно проявляется в создании беспилотных автомобилей, но и в других современных системах с использованием ИИ происходит то же самое.
Однако отличие современной интеллектуальной техники заключается в ее системном характере. Можно заменить человеческую руку механическим протезом-инструментом, некоторые функции человеческого мозга - компьютером, работу мозга и глаза заменить оптико-механической системой, подключенной к компьютеру. Но функционирование ИИ требует не замены некоторых функций или органов, а глобальной трансформации всей инфраструктуры жизни человека.
Так, создание и эксплуатация беспилотных автомобилей решается не созданием таких устройств как таковых, но требует трансформации городской транспортной сети, системы заправок и парковок, «разведения» дорог для автомобилей с водителями и беспилотных автомобилей, изменения системы дорожных знаков и дорожной разметки, что связано с изменением режима работы службы дорожного контроля и полиции. Мнение, что это должно быть включено в единую систему контроля дорожного движения, управляемого общим искусственным суперинтеллектом, предполагает, что каждый автомобиль должен быть подключен к этой системе, а также системе навигации GPS. Работа такой системы должна быть согласована с другой инфраструктурой, связанной с поддержанием нормального функционирования городского хозяйства, поскольку любые ремонтные работы городского водопровода, перекладка электрических сетей, строительные и ремонтные работы зданий и сооружений будут важным фактором, влияющим на характер, ритм и маршруты движения беспилотников. Ис-
пользование беспилотных автомобилей требует также создания системы сервисных пунктов по обслуживанию и ремонту беспилотников, что включает в себя не только собственно создание этих пунктов, но и подготовку персонала, его обучение, создание логистических цепочек по доставке запчастей и т.д. Наконец, все эти трансформации должны быть демократически одобрены обществом, приняты потребителями и бизнес-сообществом. Все эти изменения включают в себя трансформацию отношений власти и управления городским хозяйством.
Можно дальше перечислять изменения в инфраструктуре эксплуатации беспилотных автомобилей (или других интеллектуальных систем). Основным выводом будет следующий: системный характер ИИ заключается в том, что его функционирование требует создания инфраструктуры, которая обладает следующими характеристиками. Во-первых, системы ИИ не работают без соответствующей инфраструктуры, элементом которой они являются (самолеты пятого поколения управляются не столько летчиком, сколько всей системой навигации, диспетчирования, наземного контроля за работой бортовых систем, и т. п.). Во-вторых, эта инфраструктура ИИ отнюдь не является сама искусственным интеллектом. В-третьих, функционирование этой инфраструктуры зависит от совсем других систем деятельности, связанных с ее обеспечением: обучением персонала, развитием команд, созданием экспертных сообществ, изучением общественного мнения, выстраиванием связей между властью и обществом, властью и бизнесом и т.д. В-пятых, создание и эксплуатация ИИ и его инфраструктуры связано с решением множества не технических, не технологических, не градостроительных и подобных инженерных проблем, но с решением множества этических и правовых проблем. Кто ответит за аварию, совершенную беспилотным автомобилем? Как относиться к потере множеством людей своих рабочих мест в связи с применением ИИ? Как относиться к новому «луддизму» или угрозе демократии? Все эти проблемы должны быть осмыслены еще на стадии проектирования. Наконец, в-шестых, это цена решения данной проблемы, то есть экономические, инвестиционные вопросы, которые возникают в связи с созданием систем с ИИ.
Таким образом, дело не в последствиях применения ИИ для социума, а в том, что его создание не является сугубо инженерной задачей. В отличие от техники предыдущего поколения его создание уже на первом этапе включает в себя решение не технических, а социальных и этических проблем, которые и определяют требования к собственно инженерному решению. Создание систем ИИ - это не инженерная, а междисциплинарная задача. Она требует конфигурации технических, этических, градостроительных, логистических, экономических, градостроительных, социологических знаний, знаний в области менеджмента и этики и др. Она требует иных форм проектной работы, отличных от привычных форм инженерной деятельности. Но самое главное - она требует иных форм мышления.
3. «Метафизика» искусственного интеллекта. Негативный смысл технопессимизма как раз и связан с тем, что создание ИИ рассматривается исключительно как инженерная задача, когда не видится его действительный социальный и этический контекст. Позитивный смысл технопессимизма заключается, как было показано выше, именно в понимании того, что это междисциплинарная задача, что она содержит в себе определенные ценностные установки. Именно с этим связано третье положение А.Грунвальда.
Рассуждая о правах роботов и проблеме ответственности, А. Грунвальд говорит, что германское законодательство в этом вопросе опирается на этику Канта. Именно Кант разделил легальные и моральные поступки, именно он придал окончательно рациональный характер этике. Очень сомнительно, что немецкое законодательство действительно в вопросе
о правах роботов опирается на кантовскую этику (скорее для этого больше подходит операциональная этика Дж. Мура). Но в речи А. Грунвальда более важно замечание, что рациональная этика - это этика человека. Вот здесь и возникает отнюдь не праздный вопрос: а как при этом понимается сам разум?
Кант, определяя свою этику, исходил из допущения, что она имеет всеобщий характер для «всякого разумного существа». Однако для него признаком разумности обладает не только человек, признаком человека является скорее воображение. Это общее место для всей новоевропейской традиции мышления: разумность понимается не как антропологическая характеристика, а как характеристика самосознания. Иначе говоря, неявно допускается, что существуют и другие разумные существа (например, ангелы и Бог), а разум в человеке проявляет себя в самосознании и мотивированной им воле. Иначе говоря, когда мы отдаем отчет в своих мыслях и поступках, мы становимся субъектами разума. Понятие «субъекта» в классической метафизике напрямую связано с состоянием самосознания и ответственности.
Вот тут и возникает ключевой вопрос, который в современных технологических дискуссиях об искусственном интеллекте только воспроизводится. Это вопрос о «субъективности» машин. Опасения, что машины путем развития интеллекта установят власть над людьми, подчинив их себе, опираются именно на это важнейшее допущение классической метафизики, что разум, создающий другой разум, должен быть всеохватывающим: Бог не может создать существо «умнее» его самого. Однако Декарт в своей философии формулирует доказательство бытия Бога следующим образом: временность сознания предполагает интеллект бесконечно больший наличного. Иначе говоря, может существовать разум, который больше разума того, кто проектирует и создает ИИ. Все предпосылки создания самообучающегося искусственного интеллекта как раз и опираются на такое неявное допущение. Тем не менее Декарт говорит, что если нечто ясно и отчетливо продумано, то тем самым мыслится само существующее, и это положение таково, что даже Бог теперь не может его изменить (не будем углубляться в сугубо философские аргументы этого положения). Это значит, что хотя эмпирически человеческий интеллект и меньше божественного по своей интенсивности, он является также интеллектом, только конечным. И другого интеллекта быть не может. Это подтверждает Лейбниц: мы мыслим, когда действительно мыслим, так, как мыслит сам Бог (верховный интеллект). Это же утверждает и Кант: разум есть свойство всякого интеллектуального существа. Но таковыми мы, люди, являемся только тогда, когда ясно и отчетливо мыслим и подчиняем такому мышлению волю.
Вот в этом вся и проблема: мы не можем быть полностью сознательными существами. Дело не в том, что скорость наших мыслительных операций меньше, чем скорость ИИ - это не так; в этом направлении и движется создание биологического компьютера. Дело не в том, что проектировщик при создании ИИ должен знать все его будущие виртуальные состояния -это просто невозможно и бессмысленно, поскольку подрывает саму идею самообучения ИИ. Дело в том, что наш разум не может быть всеохватывающим. Поэтому А. Грунвальд и выдвигает этическое требование, согласно которому искусственный интеллект должен быть по крайней мере таким же хорошим, как люди.
Это означает с философской точки зрения, что если мы проектируем ИИ так, как мы понимаем себя, то искусственный интеллект и будет таким, каковы мы сами. Если мы ответственные, сознательные и бдительные существа, он будет таким же, если мы безответственны и самодовольны, то и искусственный интеллект будет вести себя аналогичным образом. ИИ обладает большей интенсивностью работы и большей мощностью, чем наше мышление, но он той же природы.
Н.В. Столбова. Возьмем обычную шариковую ручку. Это - технический объект. Мы можем ее представить в любой точке пространства, подбросить вверх, поймать, делать при ее помощи какие-либо записи или же использовать в качестве указки и т.д. Или возьмем шапку Мономаха. Это тоже технический объект. Он уникальный, в отличие от ручки, но такой же автономный. Автономные технические объекты представляют собой первый уровень организации техники. Для их описания хорошо подходит концепция органопроекции, предложенная Э. Каппом. Следующий уровень организации технических объектов - системы. Например, конвейер Г. Форда. Где он расположен? На заводе Форда. Он находится внутри заводского помещения. Но речь идет уже не об уникальных автономных объектах, а об их взаимосвязи, об их системной организации. Именно взаимосвязь (а не сам объект) становится ключевой для интерпретации техники. Современные же технические объекты недостаточно понимать и в качестве систем. Интернет, спутниковая связь, электроэнергия - назовем их «пронизывающими» технологиями - невозможно рассматривать, как говорит А. Грунвальд (и на чем сделал акцент Сергей Владимирович Комаров), в отрыве от общества, они вплетены в нашу жизнь. Не будем останавливаться на описании социального контекста техники (об этом говорил предыдущий докладчик), а сконцентрируемся на двух интересных последствиях такого подхода. Во-первых, внедрение таких технологий - это эксперимент2, который проводится в реальном времени над всем обществом и всегда недостаточно нормирован. Выработать приемлемые практики сосуществования с новыми технологиями - одна из первостепенных задач человека, живущего в условиях современной техногенной цивилизации. Создание технологий одновременно и становится созданием социальных практик приемлемого вплетения технологий в жизнь. Второе последствие тесно связано с первым. С позиции А. Грунвальда, чем многообразнее привлеченное к дебатам о технологиях экспертное сообщество, чем большее количество разнообразных социальных групп участвует, тем полнее оценка техники, тем эффективнее можно поставить научно-технический прогресс в рамочные условия и тем корректнее сформированы социальные практики внедрения технологий. Соответственно, в наибольшей степени значимы те дебаты о технологиях, которые привлекают как можно больше заинтересованных сторон. Дебаты вокруг беспилотных автомобилей, бесспорно, относятся именно к таким, ведь в отличие от специализированных машин (например, роботов-манипуляторов, использующихся на заводах) беспилотный автомобиль встраивается на уровне повседневной жизни, его присутствие и соседство актуально для каждого человека вне зависимости от профессии или принадлежности к какой-либо социальной группе. Назовем такие дебаты, охватывающие фактически все общество, «дебаты-маркеры». Это обосновывает актуальность обсуждения именно беспилотных автомобилей. Поэтому закономерным является созданная MIT платформа Moral Machine, позволяющая каждому желающему пройти тест, включающий 13 ситуаций с неизбежными авариями (варианты «дилеммы вагонетки»), и сделать свой моральный выбор. Охват респондентов со всего мира оказался просто огромным - 492 921 пользователь. Что позволило исследователям провести тщательный анализ ожиданий общества относительно беспилотных автомобилей3. Однако опираться на мнение общественности недостаточно. С общественностью необходимо постоянно работать, учитывать ее мнения, открыто обсуждать не спекулятивные, а реальные риски внедрения технологии (ведь реальные риски может оценить только специалист) и тем самым превращать технологии в «нормальные» [3]. Тем более сама по себе обсуждаемая «проблема вагонетки» носит спекулятивный характер. Какова вероят-
2 В контексте социальной оценки техники описание внедрения технологий как эксперимента см. в [1].
3 Результаты данного исследования см. в [2].
ность, что в реальности машине придется решать именно такую дилемму? Она ничтожно мала. С другой же стороны, путь от спекуляции к реальности достаточно труден, беспилотным автомобилям еще предстоит его пройти. И «проблему вагонетки» в разнообразных ее вариантах обойти невозможно. Как нормируется моральная «дилемма вагонетки» сегодня, когда автомобилем управляет человек? Фактически, никак. Это вопрос случайности, удачи, даже божественной милости, если в момент решения конкретный водитель сможет среагировать оптимально. Эта сфера человеческих действий подобна черному ящику. Еще Норберт Винер в работе «Творец и робот» писал, что содержание религии напоминает «запертую гостиную фермерского дома Новой Англии, с опущенными шторами» или «моральный эквивалент неаполитанского катафалка - той великолепной черной кареты» [4]. То, что происходит внутри, скрыто от взора, виден только результат, желанный или не желанный. «Проблема вагонетки» указывает на эту пустоту, которую немыслимо оставить таковой при внедрении беспилотных автомобилей. Сегодня задача, которая стоит перед обществом, заключается во всесторонней выработке практик использования беспилотников.
А.В. Незнамов. Технологии автоматизации вождения автомобильного транспорта активно развиваются уже давно. Как следствие постепенно стало формироваться и первое регулирование [5]. Это прежде всего касается тех стран, где традиционно сильна автомобильная промышленность. В Германии в середине 2017 года изменили ПДД [6] для того, чтобы открыть путь на дороги общего пользования для высокоавтоматизированных машин. Они должны быть оснащены специальным черным ящиком, а ответственность за причинение вреда для таких авто удвоена. Однако водителю официально разрешено отвлекаться от управления машиной - он лишь должен сохранять «достаточную внимательность», чтобы взять управление на себя, если этого потребует система (или если того потребует дорожная обстановка).
К 2017 году законодательство, разрешающее тестирование беспилотного транспорта, было принято и в тех странах, где своя автопромышленность отсутствует. В Норвегии Закон «Об испытаниях высокоавтоматизированных автотранспортных средств» вступил в силу с 1 января 2018 года [7]. Закон позволяет проводить испытание машин с любой степенью автоматизации на дорогах общего пользования. Это распространяется даже на те случаи, когда водителя в машине вообще нет.
Обсуждения идут и на международном уровне. Уже на протяжении нескольких лет в ООН ведутся работы по созданию руководства для государства о порядке регулирования высокоавтоматизированного транспорта [8].
В России первый акт регулирования инновационного колесного транспорта появился с большим опозданием. Лишь 26 ноября 2018 года было подписано Постановление Правительства РФ «О проведении эксперимента по опытной эксплуатации на автомобильных дорогах общего пользования высокоавтоматизированных транспортных средств» [9].
Основные положения данного нормативного акта заключаются в следующем:
• С 1 декабря 2018 по 1 марта 2022 года будет проходить правовой эксперимент, когда высокоавтоматизированные автомобили смогут двигаться по дорогам общего пользования наравне с другими участниками движения.
• Эксперимент будет проходить на территории г. Москвы и Республики Татарстан.
• На дороги общего пользования смогут быть допущены автомобили, в которые внесены конструктивные изменения, связанные с их оснащением автоматизированной системой вождения.
• Для получения разрешения на тестирование автомобиля заявитель должен обратиться в специальный научный центр «НАМИ».
• Если заключение «НАМИ» положительное, МВД зарегистрирует внесенные в машину конструктивные изменения и сделает об этом специальную отметку в свидетельстве о регистрации ТС. В дальнейшем такую машину нельзя будет продавать, а эксплуатироваться она сможет только на территории проведения эксперимента.
• Разрешение сможет получить только юридическое лицо, а ответственность за причинение вреда каждым автомобилем должна быть застрахована на 10 миллионов рублей.
• Водители таких автомобилей должны иметь стаж три года, а в их биографии не должно быть факта лишения прав.
• Для получения разрешения нужно предоставить видеозаписи испытаний автомобиля с полигона, а также программу эксперимента, руководство для водителя и специальную декларацию о безопасности ТС.
• Сам автомобиль должен быть серьезно дооснащен. Помимо собственно систем автоматического вождения в нем должны быть системы видеозаписи действий водителя и дорожной обстановки; кнопка активации / деактивации системы автоматического вождения и «черный ящик», а также знак «автономное управление»
• Полная ответственность за все происшествия (кроме тех, что произошли по вине других участников) возложена на собственника автомобиля.
Таким образом, первый акт регулирования в России появился. Стал ли он своевременным? К сожалению, нет.
В 2018 году компанией КРМО был составлен своеобразный рейтинг стран по готовности к внедрению технологий беспилотного транспорта [10]. В нем были ранжированы 20 государств. За основу были взяты такие критерии, как наличие специального регулирования, степень развития технологий, наличие инфраструктуры и восприятие высокоавтоматизированного транспорта потребителями. Победили Нидерланды, на втором месте Сингапур, на третьем - США. Лидер рейтинга разрешил тестирование в 2015 году, а в 2017-м эксперимент был расширен даже на те машины, где водителя нет внутри [11]. Россия в этом рейтинге занимает 18-е место, опередив лишь Мексику и Индию. По критерию развитости технологий наша страна заняла последнее место.
Рейтинг был составлен без учета принятого Постановления. Однако оно, как кажется, не откроет дорогу беспилотникам. Следует выделить два наиболее критических недостатка. Первый - это необоснованное сужение тестируемых типов высокоавтоматизированных автомобилей. Согласно Постановлению, тестируемые ТС должны управляться водителем, который находится во время проведения эксперимента на месте водителя. А сам смысл получения разрешения заключается в согласовании с НАМИ и МВД внесения изменений в конструкцию, по сути, обычного серийного автомобиля. Между тем в сферу действия Постановления не попали машины, изначально создаваемыми как беспилотные. Такие автомобили уже создают некоторые производители ^аушо, КАМАЗ, ТеБ1а, Аврора Роботикс). По сути, Постановление исключает возможность тестирования подавляющего большинство видов ТС, которые объективно в наибольшей степени нуждаются в особенном экспериментальном регулировании. В частности, беспилотные шаттлы и другие автомобили, изначально создаваемые как беспилотные. Второй недостаток - территория и срок эксперимента. Для тестирования выбраны регионы с самым, пожалуй, лучшим качеством дорожного покрытия в стране. Более того, Москва и Татарстан не имеют серьезных отличий с точки зрения климата или рельефа. Представля-
ется, что невозможно уверенно полагаться на результаты такого тестирования, выпуская потом машины на дороги общего пользования в других городах России.
Как следствие в 2022 году, когда первый отечественный эксперимент закончится, будет юбилей: пять лет, как в ведущих странах действует законодательство о широком тестировании любых видов беспилотных колесных ТС. Более того, почти наверняка в мире к этому моменту будет не менее десятка стран с полноценными законодательством о беспилотных автомобилях. Поэтому, хотя задача минимум выполнена, проблема технологического отставания правовыми средствами отнюдь не решена.
Чудинов О.Р. Хотелось бы обратиться к вопросу об ответственности инженеров, творцов технических чудес за созданные ими новинки, который уже не первый раз ставится на встречах, посвященных обсуждению социальной оценки техники в нашем вузе. Общий тренд предыдущих встреч был задан, на наш взгляд, одной из фраз постоянного участника профессора А. Грунвальда о том, что «усиливающаяся техническая мощь человека, растущая глубина технической интервенции в природу и общество... неразрывно связаны с возрастающей ролью человеческой ответственности» [12, с.13]. Однако, как ни странно, впервые была затронута проблема правовой регламентации ответственности за создание новых объектов техники, осуществляющих эту интервенцию. Излишне напоминать о важности определения именно правовой ответственности, конечно, не только автора открытия, изобретателя, коллектива разработчиков, но особенно и в первую очередь тех, кто будет создавать, производить эти технические новинки для массового использования человеком. Немаловажен вопрос и об ответственности пользователя этих технических новинок. Соглашаясь в целом с важностью морально-этических ограничений творчества человека, отметим, что только право в его позитивном значении, и исключительно право, позволит привлечь к реальной ответственности за искалеченные жизни и утраченное здоровье, за утрату физических и имущественных возможностей, за гибель или повреждение имущества.
Обращение к опыту немецкого права в связи с этим не случайно. В праве ФРГ, на наш взгляд, разработана и действует лучшая модель юридической ответственности за вред, причиненный такими техническими чудесами, или, как говорят цивилисты, ответственности за вред, причиненный источником повышенной опасности.
Отметим сразу - вопросы криминального использования «технических чудес» нами не рассматриваются. Орудие преступления - это предмет оценки объективной стороны преступления. Орудия преступления, будь это кухонный нож или быстроходный внедорожник с использованием автопилота, различаются только по степени возможного причинения вреда. Другое дело - «техническое чудо», созданное для полезного использования и используемое в правомерных целях, но «в силу своих свойств» способное причинить или обладающее способностью причинить вред жизни, либо здоровью, либо ущемить принадлежащие лицу материальные блага с высокой вероятностью, как об этом пишет Е.А. Флейшиц [13, с. 132]. Однако ответственность возникает не за само наличие «технического чуда», а за деятельность человека по эксплуатации такого «технического чуда», которая может привести к созданию ситуации повышенной опасности ввиду свойств самого «технического чуда», слабого развития техники и низкого уровня контроля за процессом со стороны человека. Именно так характеризовали источник повышенной опасности О.С. Иоффе [14, с. 804] и Б.С. Антимо-нов [15, с. 46]. Оставив в стороне доктринальные споры, отметим, что последняя точка зрения нашла свое отражение в Гражданском кодексе Российской Федерации. Норма ста-
тьи 1079 ГК РФ определяет ответственность за вред, причиненный деятельностью, создающей повышенную опасность для окружающих [16].
На наш взгляд, такая позиция законодателя во многом связана с рецепциями из Германского Гражданского уложения, вступившего в действие 1 января 1900 года и продолжающего действовать до сих пор. Параграф 823 ГГУ гласит: «Лицо, противоправными умышленными или небрежными действиями причинившее вред жизни, телесной неприкосновенности или здоровью, посягнувшее на свободу, право собственности или иное право другого лица, обязано возместить потерпевшему понесенные вследствие этого убытки» [17].
Но еще до этой нормы генерального деликта в праве Германии появились протонормы. Появление таких норм связано с началом эксплуатации в Германии такого «технического чуда» XIX века, как паровоз.
В 1838 году был принят и вступил в силу Прусский закон о железных дорогах (Preussische Eisenbahngesetz), как его называют некоторые авторы. Наименование закона Gesetz über die Eisenbahn-Unternehmungen [18] или, вернее, «Закона о железнодорожных предприятиях» точнее передает юридический смысл. Закон действительно посвящен деятельности предприятия, эксплуатирующего новое средство передвижения Берлино-Потсдамской железнодорожной компании. Разработка и принятие закона были связаны со строительством первой железной дороги в Пруссии Берлин - Потсдам. Железнодорожная компания открыла движение на участке Потсдам - Целендорф 22 сентября, а путь до Берлина был введен в эксплуатацию 29 октября 1838 года. Закон был принят и подписан Фридрихом Вильгельмом III 3 ноября 1838 года. Отметим, с момента открытия движения прошло всего восемь дней, срок для разработки, принятия и вступления в силу закона рекордный.
В целом закон касался организации деятельности железнодорожного предприятия. Так, параграф 1 определял статус компании как частного акционерного общества, другие параграфы касались технических нормативов. Но нас интересует параграф 25, определявший ответственность компании, эксплуатирующей железную дорогу. Впервые вводился принцип безвиновной ответственности, т.е. компания была обязана возместить вред в любом случае, вина ее презюмировалась. Единственное, что могло освободить компанию от ответственности - это виновное поведение потерпевшего или действие внешней непреодолимой силы, т.е. природной стихии. Технологические процессы, происходящие в самой «чудо-машине», не учитывались как непреодолимая сила.
Следующий шаг был сделан уже в рамках Германского единого государства. В 1871 году был принят имперский закон «Об обязательной ответственности» [19], так он назван во многих трудах российских правоведов, а на немецком языке это звучит как Haftpflichtgesetz, что можно перевести как закон о материальной ответственности. Возможно, российские авторы хотели подчеркнуть обязательный характер исполнения предписания закона, памятуя старую русскую традицию, что суровость закона смягчается необязательностью его исполнения. В Германии этот принцип не действует, поэтому точнее было бы перевести наименование закона как Закон «Об имущественной ответственности владельцев источников повышенной опасности». Обязательность его исполнения не подлежит обсуждению. Появление закона необходимо связать с резким ростом сети железных дорог, появлением новых «чудес техники» типа фуникулера, трамвая, городской железной дороги. Забегая вперед, отметим, что развитие этого закона в XX веке, а он продолжает действовать в обновленной редакции и в настоящее время, будет связано с «чудесами» энергетики, такими как электроснабжение, газоснабжение, теплоснабжение. «Чудеса» все больше увеличивали свою интервенцию, а следом возрастала и степень общественной опасности. Это хорошо поняли законодатели, да и правопримени-
тели потребовали нормативного обоснования для разрешения растущего числа исков о возмещении вреда, в судах накопилось огромное количество исков, которые оставались без удовлетворения. И такое обоснование появилось в виде параграфа 1 Закона «Об обязательной ответственности». Параграф определял, что в случае если при эксплуатации рельсовой дороги или подвесной дороги будет причинена смерть человеку, причинен вред здоровью или организму человека либо повреждена вещь, предприниматель обязан возместить потерпевшему возникший вред. Закон пошел немного дальше, чем прусский вариант. Виновность потерпевшего теперь не освобождала владельца транспортного средства от ответственности, она лишь учитывалась при определении суммы возмещения вреда. Как определял параграф 4, вина потерпевшего учитывается как обстоятельство, которое, возможно, и способствовало возникновению вреда, что само по себе не является основанием для освобождения владельца транспортного средства от ответственности. Принцип вмененной или безвиновной ответственности получил нормативное закрепление. В XX веке принцип безвиновной ответственности сохранился и получил свое развитие в других федеральных законах, охватывающих сферу действия новых источников повышенной опасности, вошедших в обиход человека. Возникла целая система таких нормативно-правовых актов.
Сегодня система законодательных актов ФРГ об ответственности за причинение вреда источниками повышенной опасности кроме Закона 1871 года «Об обязательной ответственности» включает такие законы, как Закон «Об автомобильном движении» 1909 года [20], Закон «О воздушных перевозках» 1922 года [21], Закон «О регулировании водного режима», действующая редакция 2009 года [22], Закон «Об атомной энергии» 1959 года [23] и др. Это система не застывшая, окостеневшая, а развивающаяся и совершенствующаяся. Последняя встреча с профессором А. Грунвальдом лишний раз доказывает это. Мы можем только порадоваться за немецкого бюргера: немецкие юристы и законодатели, обслуживающие интересы общества, не отстают ни от достижений научно-технического прогресса, в результате которого появилось такое новое «чудо техники», как беспилотный автомобиль, ни от общественного мнения, высказанного в ходе работы комиссии с участием нашего гостя.
Г.З. Файнбург. Быстро наступающее внедрение беспилотных автомобилей ставит перед человечеством массу проблем, технических, которые успешно решаются, социальных, которые, скорее всего, неразрешимы в ближайшем обозримом будущем, правовых, которые предстоит оперативно разрешить (в рамках действующих правовых традиций).
Несомненно, что центральной проблемой всех ныне существующих и более частных проблем использования беспилотных автомобилей является безопасность их использования.
И так же несомненно, что эта проблема будет решаться в рамках господствующей в современном обществе парадигмы безопасности. Эта парадигма имеет свою теорию, свой практически недостижимый идеал и свою реалистичную, реальную и реализуемую практику.
Как известно, основными принципами обеспечения безопасности, реализуемыми на практике во всем мире, являются 1) принцип предупреждения (принцип профилактики) неблагоприятных событий и 2) принцип минимизации последствий этих событий, если их по несчастному случайному стечению обстоятельств не удалось предотвратить.
Идеалом обеспечения безопасности, несомненно, является АБСОЛЮТНАЯ БЕЗОПАСНОСТЬ! Именно она подразумевается всеми людьми без исключения при использовании слова безопасность , но именно ее-то и не существует на практике. В свое время в нашей стране
4 В английском языке слово «безопасность» имеет двойное значение: safety - техническое, материальное сохранение или защита от опасностей того или иного объекта защиты, и security - защита и охрана социального и финансового благополучия того или иного субъекта права.
это породило неофициальную директиву: «Каждый советский человек, уходя утром на работу, должен быть уверен, что вечером он вернется с работы домой живым и невредимым!», а за рубежом возникли лозунги типа «zero accidents ». Заметим, что высочайшая степень безопасности в сфере массового использования техники достигнута в гражданской авиации - примерно один неблагоприятный случай на два миллиона вылетов. Это в два раза безопаснее, чем ничтожный риск погибнуть от удара молнии в течение года . Но это не НУЛЬ!
Современная парадигма безопасности построена на основе теории риска и исповедует риск-ориентированный подход ко всем явлениям. В соответствии с ней общей (и в чем-то обязательной для всех) тенденцией является «VISION ZERO» - ВИДЕНИЕ НУЛЯ, т.е. стремление достичь полного отсутствия несчастных случаев. Однако понимание того, что такое состояние недостижимо всегда и везде, привело к развитию и применению иной более прагматичной концепции - концепции АЛАРА/ALARA (As Low As Reasonably Achievable): так низко, как это обоснованно достижимо. Одновременно в Великобритании и странах Британского содружества существует и другой аналогичный принцип - АЛАРП/ALARP, означающий As Low as Reasonable Practible - так низко, как это обоснованно возможно на практике.
Применяемый в международной практике принцип АЛАРА был первые сформулирован в 1954 году Международной комиссией по радиологической защите (МКРЗ) с целью минимизации вредного воздействия ионизирующей радиации и получил свое развитие в действующих ныне Рекомендациях МКРЗ, изданных в 1990 году.
Замечательной особенностью концепции АЛАРА является то, что в ней неразрывно (открыто и детально не говорится, но фактически подразумевается) сплелись технические, организационные и финансовые аспекты обеспечения безопасности конкретного технического объекта, подконтрольного тому или иному субъекту права. В силу этого все экономические, социальные и правовые вопросы государственного и международного регулирования также должны быть соблюдены. При этом степень «допустимого риска» небезопасного (или опасного) «поведения» технического объекта, подконтрольного тому или иному субъекту права, не должна превышать определяемую обществом в лице государства степень «приемлемого риска».
Поэтому в современном рыночном государстве (и в глобальной экономике) на первоочередную позицию выходят финансовые затраты на обеспечение безопасности, особенно на соблюдение второго основного принципа безопасности - минимизации последствий. Дело в том, что, во-первых, стоимость, цена, затраты являются естественным обобщенным (интегрированным) показателем для рыночной экономики. Во-вторых, если неблагоприятное событие произошло, то уже поздно говорить о сохранности того или иного материального объекта или человека, поздно и рассуждать о морально-этических аспектах этого происшествия, нужно как-то возмещать причинение вреда, нанесение ущерба и т.п. Это означает, что уменьшение причинителем вреда своих неизбежных, но нежелательных затрат на возмещение вреда является крайне желательным. Механизм такого уменьшения (вплоть до нуля, а иногда (парадокс!) с получением «дохода») связан со страхованием рисков.
Именно поэтому использование беспилотного автомобиля как источника корпоративной прибыли, частного дохода и интереса неизбежно будет сопряжено, по нашему мнению, с отсутствием абсолютной безопасности его эксплуатации, допустимой в рамках превышения
5 Поскольку английское accident означает и несчастный случай с человеком (травму или иное повреждение здоровья), и аварию (своеобразный несчастный случай с оборудованием), в русской речи возникли словосочетания типа «нулевой травматизм» или «нулевая аварийность».
6 За эталон принимаются южные штаты США с их частыми грозами и торнадо.
пользы от использования беспилотного автомобиля над причиненным этим использованием вредом (и суммами страховых выплат). Парадоксально, но чем более эффективна будет в экономическом смысле слова эксплуатация беспилотных автомобилей, тем больший вред им будет позволено причинять в силу отсутствия абсолютной безопасности. А поскольку ожидается снижение числа аварий (ДТП) с автомобилями за счет элиминации «человеческого фактора» в беспилотных автомобилях, то общество рыночной экономики «закроет глаза» и на число жертв беспилотников, и на морально-этические нормы этого травматизма.
Подчеркнем, что практически все проблемы безопасного применения беспилотных самодвижущихся транспортных средств (включая автомобили) не выходят за рамки аналогичных проблем применения транспортных средств, управляемых человеком.
Действительно, технические средства беспилотного пилотирования и обеспечения безопасности применения будут непрерывно развиваться, как это сегодня происходит в автомобилестроении, какими бы мотивами (высокоэтическими и социально значимыми или экономически привлекательными) ни руководствовались конструкторы, дизайнеры и производители.
Правовое регулирование применения беспилотных автомобилей практически не изменит действующее сегодня правовое регулирование дорожного движения и возмещения вреда. Но ряд вопросов, фактически детализации ныне существующих правил, будут необходимы. Во-первых, все национальные законодательства так или иначе «ограничат» безграничное применение беспилотников, особенно на начальном этапе их внедрения в практику. Во-вторых, будет конкретизирована детализация возмещения вреда. Страховые компании определятся со страховыми тарифами и с расследованием ДТП с участием беспилотников. Но это все частности, важные, неизбежные, но преодолимые в условиях массового использования беспилотных транспортных средств.
Список литературы
1. Martin M.W., Schinzinger R. Ethics in Engineering. - New York: McGraw-Hill Inc., 1989.
2. The Moral Machine Experiment / E. Awad, S. Dsouza, R. Kim, J. Shulz, J. Henrich, A. Shariff, J.-F. Bonnefon, I. Rahwan // Nature. - 2018. - No. 563. - P. 59-64. DOI: https://doi.org/10.1038/s41586-018-0637-6
3. Грунвальд А. 15 лет исследованиям по наноэтике: итоги и достижения // Вестник Пермского национального исследовательского политехнического университета. Культура. История. Философия. Право. - 2016. - № 2. - С. 17-31.
4. Винер Н. Творец и робот: обсуждение некоторых проблем, в которых кибернетика сталкивается с религией. - М.: Прогресс, 1966. - 104 с.
5. Незнамов А.В., Смирнова К.М., Побрызгаева Е.П. Зарубежный опыт правового регулирования высокоавтоматизированных (беспилотных) автомобилей: тенденции и проблемы обеспечения информационной безопасности // Информационное пространство: обеспечение информационной безопасности и право: сб. науч. трудов / под ред. Т. А. Поляковой. - М.: Институт государства и права РАН, 2018.
6. Восьмой закон о внесении изменений в Закон о дорожном движении от 16 июня 2017 года [Электронный ресурс]. URL: http://robopravo.ru/uploads/s/z/6/g/z6gj0wkwhv1o/file/5MZ0clyT.pdf (дата обращения : 11.01.2019).
7. Об испытаниях высокоавтоматизированных автотранспортных средств [Электронный ресурс]: Закон. - URL: https://lovdata.no/dokument/NL/lov/2017-12-15-112?q=Lov%20om% 20utpr%C3%B 8ving%20av%20selvkj%C3%B 8rende (дата обращения: 11.01.2019).
8. Незнамов А.В. Правила беспилотного вождения: об изменениях Венской конвенции о дорожном движении // Закон. - 2018. - № 1. - C. 172-182.
9. О проведении эксперимента по опытной эксплуатации на автомобильных дорогах общего пользования высокоавтоматизированных транспортных средств»: Постановление Правительства РФ от 26 ноября 2018 г. № 1415 [Электронный ресурс]. - URL: http://publication.pravo.gov.ru/File/GetFile/0001201811270008?type=pdf (дата обращения: 11.01.2019).
10. Рейтинг стран по готовности к внедрению технологий беспилотного транспорта [Электронный ресурс]. - URL: https://assets.kpmg/content/dam/kpmg/tw/pdf/2018/03/KPMG-Autonomous-Vehicle-Readiness-Index.pdf (дата обращения: 11.01.2019).
11. Пресс-релиз Правительства Нидерландов о внедрении беспилотных автомобилей [Электронный ресурс]. - URL: https://www.government.nl/latest/news/2017/02/24/driverless-cars-on-the-roads (дата обращения: 11.01.2019).
12. Железняк В. Н., Железняк В. С. Будущее во множественном числе: социальная футурология техники в Германии // Вестник ПНИПУ. Культура. История. Философия. Право. -2016. - № 2. - С. 12-16.
13. Флейшиц Е. А. Обязательства из причинения вреда и обязательства из неосновательного обогащения. - М.: Госюриздат, 1951. - 239 с.
14. Иоффе О.С. Обязательственное право. - М.: Юрид. лит., 1975. - 880 с.
15. Антимонов Б. С. Гражданская ответственность за вред, причиненный источником повышенной опасности. - М.: Юрид. лит., 1952. - 300 с.
16. Гражданский кодекс Российской Федерации (часть вторая): ФЗ от 26.01.1996 № 14-ФЗ (в ред. от 29.07.2018 №225-ФЗ) // Собрание законодательства РФ. - 29.01.1996. - № 5. -Ст. 410; Собрание законодательства РФ. - 30.07.2018. - № 31. - Ст. 4814.
17. Германское Гражданское уложение = Bürgerliches Gesetzbuch [Электронный ресурс]. -URL: http://www.gesetze-im-internet.de (дата обращения: 10.01.2019).
18. Закон о железнодорожных предприятиях = Gesetz über die EisenbahnUnternehmungen. Vom 3 November 1838 [Электронный ресурс]. - URL: http://www.umwelt-online.de/recht/gefahr.gut/laender/bln/eisenunt.htm (дата обращения: 10.01.2019).
19. Закон об обязательной ответственности = Haftpflichtgesetz. [Электронный ресурс]. -URL: http://www.gesetze-im-internet.de (дата обращения: 10.01.2019).
20. Закон об автомобильном движении = Straßenverkehrsgesetz StVG. Ausfertigungsdatum: 03.05.1909 [Электронный ресурс]. - URL: http://www.gesetze-im-internet.de (дата обращения: 10.01.2019).
21. Закон о воздушных перевозках = Luftverkehrsgesetz (LuftVG). Ausfertigungsdatum: 01.08.1922 [Электронный ресурс]. - URL: http://www.gesetze-im-internet.de (дата обращения: 10.01.2019).
22. Закон о регулировании водного режима = Gesetz zur Ordnung des Wasserhaushalts (Wasserhaushaltsgesetz-WHG). Ausfertigungsdatum: 31.07.2009 [Электронный ресурс]. - URL: http://www.gesetze-im-internet.de (дата обращения: 10.01.2019).
23. Закон об атомной энергии = Gesetz über die friedliche Verwendung der Kernenergie und den Schutz gegen ihre Gefahren (Atomgesetz). Ausfertigungsdatum: 23.12.1959. [Электронный ресурс]. - URL: http://www.gesetze-im-internet.de>atg/BJNR008140959.html (дата обращения: 10.01.2019).
References
1. Martin M. W., Schinzinger R. Ethics in engineering. New York, McGraw-Hill Inc., 1989.
2. Awad E., Dsouza S., Kim R., Shulz J., Henrich J., Shariff A., Bonnefon J.-F., Rahwan I. The Moral Machine experiment. Nature, 2018, no.563, pp. 59-64. DOI: https://doi.org/10.1038/s41586-018-0637-6
3. Grunwald А. 15 let issledovaniiam po nanoetike: itogi i dostizheniia [Grunwald А. 15 years of research on nanoethics: outcomes and achievements]. Bulletin of PNRPU. Culture. History. Philosophy. Law, 2016, no. 2, pp. 17-31.
4. Viner N. Tvorets i robot: obsuzhdenie nekotorykh problem, v kotorykh kibernetika stalkivaetsia s religiei [The Creator and the Robot: a discussion of some of the problems in which cybernetics faces religion]. Moscow, Progress, 1966, 104 p.
5. Neznamov A.V., Smirnova K.M. Pobryzgaeva E.P. Zarubezhnyi opyt pravovogo regulirovaniia vysokoavtomatizirovannykh (bespilotnykh) avtomobilei: tendentsii i problemy obespecheniia informatsionnoi bezopasnosti [Foreign experience of legal regulation of highly automated (unmanned) vehicles: trends and problems of information security]. Informatsionnoe prostranstvo: obespechenie informatsionnoi bezopasnosti i pravo. Ed T.A. Poliakova. Moscow, Institute of State and Law of The Russian Academy of Sciences, 2018.
6. Vos'moi zakon o vnesenii izmenenii v zakon o dorozhnom dvizhenii ot 16 iiunia 2017 goda, available at: http://robopravo.ru/ uploads/s/z/6/g/z6gj0wkwhv1o/file/5MZ0clyT.pdf (accessed 11 January 2019).
7. Zakon «Ob ispytaniiakh vysokoavtomatizirovannykh avtotransportnykh sredstv», available at: https://lovdata.no/dokument/NL/ lov/2017-12-15-112?q=Lov%20om%20utpr%C3%B8ving%20av%20selvkj%C3%B8rende (accessed 11 January 2019).
8. Neznamov A.V. Pravila bespilotnogo vozhdeniia: ob izmeneniiakh Venskoi konventsii o dorozhnom dvizhenii [Unmanned driving rules: amendments to the Vienna convention on road traffic]. Zakon, 2018, no.1, pp. 172-182.
9. Postanovlenie Pravitel'stva RF ot 26 noiabria 2018 g. № 1415 «0 provedenii eksperimenta po opytnoi ekspluatatsii na avtomobil'nykh dorogakh obshchego pol'zovaniia vysokoavtomatizirovannykh transportnykh sredstv», available at: http://publication.pravo.gov.ru/ File/GetFile/0001201811270008?type=pdf (accessed 11 January 2019).
10. Reiting stran po gotovnosti k vnedreniiu tekhnologii bespilotnogo transporta, available at: https://assets.kpmg/content/ dam/kpmg/tw/pdf/2018/03/KPMG-Autonomous-Vehicle-Readiness-Index.pdf (accessed 11 January 2019).
11. Driverless cars on the roads, available at: https://www.government.nl/latest/news/2017/02/24/driverless-cars-on-the-roads (accessed 11 January 2019).
12. Zheleznyak V.N., Zheleznyak V.S. Budushchee vo mnozhestvennom chisel: sotsial'naia futurologiia tekhniki v Germanii [Future in the plural: social futurology of technics in Germany]. PNRPU. Culture. History. Philosophy. Law, 2016, no. 2, pp.12 - 16.
13. Fleishits E.A. Obiazatel'stva iz prichineniia vreda i obiazatel'stva iz neosnovatel'nogo obogashcheniia [Obligations of harm and obligations of unjust enrichment]. Moscow, Gosiurizdat, 1951, 239 p.
14. Ioffe O.S. Obiazatel'stvennoe pravo [Law of Obligations]. Moscow, Iuridicheskaia literature, 1975, 880 p.
15. Antimonov B.S. Grazhdanskaia otvetstvennost' za vred, prichinennyi istochnikom povyshennoi opasnosti [Civil liability for harm caused by a source of increased danger]. Moscow, Iuridicheskaia literature, 1952, 300 p.
16. Grazhdanskii kodeks Rossiiskoi Federatsii (chast' vtoraia) FZ ot 26.01.1996 № 14-FZ (v redaktsii ot 29.07.2018 №225-FZ). Sobranie zakonodatel'stva RF. - 29.01.1996, № 5. - St. 410; Sobranie zakonodatel'stva RF. - 30.07.2018, № 31 - St 4814.
17. Germanskoe grazhdanskoe ulozhenie. Bürgerliches Gesetzbuch, available at: http://www.gesetze-im-internet.de (accessed 10 January 2019).
18. Zakon o zheleznodorozhnykh predpriiatiiakh. Gesetz über die Eisenbahn-Unternehmungen. Vom 3 November 1838, available at: http://www.umwelt-online.de/recht/gefahr.gut/laender/bln/eisenunt.htm;https://www.lwl.org/westfaelische-geschichte/portal/Internet/finde/lang Datensatz.php?urlID=1030&url_tabelle=tab_quelle&url_zaehler_blaettern=107 (accessed 10 January 2019).
19. Zakon ob obiazatel'noi otvetstvennosti. Haftpflichtgesetz, available at: http://www.gesetze-im-internet.de (accessed 10 January 2019).
20. Zakon ob avtomobil'nom dvizhenii. Straßenverkehrsgesetz StVG. Ausfertigungsdatum: 03.05.1909, available at: http://www.gesetze-im-internet.de (accessed 10 January 2019).
21. Zakon o vozdushnykh perevozkakh. Luftverkehrsgesetz (LuftVG). Ausfertigungsdatum: 01.08.1922, available at: http://www.gesetze-im-internet.de (accessed 10 January 2019).
22. Zakon o regulirovanii vodnogo rezhima. Gesetz zur Ordnung des Wasserhaushalts (Wasserhaushaltsgesetz-WHG). Ausfertigungsdatum: 31.07.2009, available at: http://www.gesetze-im-internet.de (accessed 10 January 2019).
23. Zakon ob atomnoi energii. Gesetz über die friedliche Verwendung der Kernenergie und den Schutz gegen ihre Gefahren (Atomgesetz). Ausfertigungsdatum: 23.12.1959, available at: http://www.gesetze-im-internet.de>atg/BJNR008140959.html (accessed 10 January 2019).
