CC BY
159
Грунвальд А., Железняк В.Н., Середкина Е.В. Беспилотный автомобиль в свете социальной оценки техники // Технологос. -2019. - № 2. - С. 41-51. РО!: 10.15593/регт.к1р«2019.2.04
Grunwald A., Zhelezniak V., Seredkina E. Self-driving Cars as a Big Challenge for Technology Asessment. Technologos, 2019, no. 2, pp. 41-51. DOI: 10.15593/perm.kipf/2019.2.04
DOI: 10.15593^^.^/2019.2.04 УДК 316.422.44:656.13-519
БЕСПИЛОТНЫЙ АВТОМОБИЛЬ В СВЕТЕ СОЦИАЛЬНОЙ ОЦЕНКИ ТЕХНИКИ
А. Грунвальд1, В.Н. Железняк2, Е.В. Середкина2
Институт оценки технологий и системного анализа (НАБ), Технологический институт Карлсруэ, Карлсруэ, Германия
Пермский национальный исследовательский политехнический университет, Пермь, Россия
О СТАТЬЕ
АННОТАЦИЯ
Получена: 11 января 2019 г. Принята: 13 мая 2019 г. Опубликована: 28 июня 2019 г.
Ключевые слова:
беспилотные автомобили, автономное вождение, «Мобильность 4.0», социальная оценка техники, этика умного транспорта, управление рисками, ответственные инновации, деонтология, консеквенциа-лизм, проблема вагонетки, делибе-ративная демократия.
Статья посвящена анализу социальных последствий внедрения беспилотных автомобилей и представляет собой итог обсуждений в рамках панельной дискуссии «Беспилотные автомобили: моральные вызовы и правовое регулирование», которая состоялась 3 декабря 2018 года на базе Пермского национального исследовательского политехнического университета. Проблема автономного вождения рассматривается в контексте социальной оценки техники (СОТ). В рамках СОТ осуществляется анализ комплексных взаимосвязей между техникой, наукой и обществом, выявляются негативные последствия инновационного развития, формируется знание для социально ответственного дизайна. В первой части статьи описываются социальные риски, связанные с внедрением беспилотных автомобилей в жизнь людей. Речь идет о моральных и правовых аспектах использования беспилотных автомобилей. Обосновывается необходимость проспективного анализа будущих систем мобильности на основе рационального общественного проектирования в форме учебного процесса. При таком подходе автономное вождение внедряется поэтапно, появляется возможность актуального обучения на основе ранее накопленного опыта. Это помогает сократить риски до минимума, лучше усвоить новые знания и работать на опережение, например постепенно адаптировать требования рынка труда, способствовать развитию нормативно-правовой базы и др. Во второй части разрабатывается матрица СОТ (выделение всех возможных антропосоциоориентированных функций техники). Далее эта матрица накладывается на автомобиль в качестве эксклюзивного объекта СОТ. Изначально автомобиль и водитель составляли гибридное существо, поскольку в равной степени зависели друг от друга. Человек эксплуатировал машину, а машина человека. С изобретением автоматических коробок передач начинается их постепенное разъединение и автономи-зация относительно друг друга. Шофер в существенной степени перестал быть рабом своей машины. Это предоставило инженерному уму неограниченные возможности дальнейшей автоматизации. Заключительная часть статьи посвящена этическим проблемам использования беспилотных автомобилей. Формулируется гипотеза: чем более автономной будет становиться техника, тем в большей степени техногенными будут признаваться риски и катастрофы и тем сильнее будет сужаться роль человеческого фактора. В глобальном технотронном обществе традиционная мораль станет уделом замкнутых человеческих коацерватов. Для решения этических проблем использования беспилотных автомобилей рассматривается «проблема вагонетки» в контексте двух основных философских направлений - деонтологии (этика долженствования Канта) и консеквенциализ-ма (утилитаризм Бентама). Анализируются результаты зарубежных исследований, связанных с этическими искажениями в ходе общественных дебатов. Проблематизируется этика умного транспорта в условиях делиберативной демократии.
© ПНИПУ
Грунвальд Армин - PhD, профессор, директор Института оценки техники и системного анализа (ITAS), ORCID: https://orcid.org/0000-0003-3683-275X
Железняк Владимир Николаевич - доктор философских наук, профессор, зав. кафедрой философии и права, ORCID https://orcid.org/0000-0001-9071-0468, e-mail: shlezo2@gmail.com.
Середкина Елена Владимировна - кандидат философских наук, доцент кафедры философии и права, ORCID https://orcid.org/0000-0003-2506-2374, e-mail: Selena36@mail.ru.
Armin Grunwald - PhD, Full Professor, Head of ITAS, ORCID: https://orcid.org/0000-0003-3683-275X Vladimir N. Zhelezniak - PhD, Full Professor, Head of Department of Philosophy and Law, ORCID https://orcid.org/0000-0001-9071-0468, e-mail: shlezo2@gmail.com. Elena V. Seredkina - PhD, Associate Professor, Department of Philosophy and Law, ORCID https://orcid.org/0000-0003-2506-2374, e-mail: Selena36@mail.ru.
/т\ ^ Эта статья доступна в соответствии с условиями лицензии Creative Commons Attribution-NonCommercial 4.0 International (cc) w License (CC BY-NC 4.0)
^^^^И^^ИП^И This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License (CC BY-NC 4.0)
SELF-DRIVING CARS AS A BIG CHALLENGE FOR TECHNOLOGY ASESSMENT
Armin Grunwald1, Vladimir N. Zhelezniak2, Elena V. Seredkina2
1Institute for Technology Assessment and Systems Analysis (ITAS), Karlsruhe Institute of Technology, Karlsruhe, Germany Perm National Research Polytechnic University, Perm, Russian Federation
ARTICLE INFO
ABSTRACT
Received: 11 January 2019 Accepted: 13 May 2019 Published: 28 June 2019
Keywords:
self-driving cars, autonomous driving, Mobility 4.0, technology assessment, ethics of smart vehicles, risk management, responsible innovation, deontology, consequentialism, trolley problem, deliberative democracy.
This article is devoted to the analysis of the social consequences of self-driving cars introduction. It is the result of debates within the panel discussion "Self-driving cars: moral challenges and legal regulation" which took place on December 3, 2018 at Perm National Research Polytechnic University. The problem of autonomous driving is considered in the context of technology assessment (TA). Within the framework of TA analysis of the complex interrelationships between technology, science and society is performed, negative consequences of innovative development are identified, knowledge for socially responsible designing isprovided. In the first part it has been described social risks connected with the implementation of self-driving cars in society. The necessity of the prospective analysis of future mobility systems based on rational social design in the form of the educational process is justified. With this approach autonomous driving is introduced step by step, the possibility of actual training based on previously gained experience appears. This helps to minimize risks, to assimilate new knowledge better and to stay ahead, for example, to adapt graduallythe labour market requirements, to promote the development of the new regulatory framework, etc.In the second part TA matrix is developed (distinguishing all possible anthropo- socio- oriented functions of technology). Further, this structure is applied to the car as an exclusive TA object. Initially automobile and driver constituted a hybrid creature as they were equally depended on each other. Man exploited car and car exploited man. Since the invention of automatic gearbox their gradual separation and decouplingof each other has begun. The chauffeur has largely ceased to be a slave of his car. This has provided engineering mind with unlimited possibilities for further automatization. The final part of the article is devoted to the ethical problems of using self-driving vehicles. It has been formulated the hypothesis: the more autonomous the technology becomes, the more anthropogenic risks and catastrophes will be considered and the more limited the role of human factor will be. In the global technetronic society, the traditional morality will be the lot of the closed human coacervates.To solve the ethical problems of using self-driving cars 'trolley problem' in the context of two basic philosophical aspects - deontology (Kantian ethics) and consequentialism (utilitarianism of Bentham) has been considered.The results of foreign research related to the ethical bias during public debates have been analyzed. The ethics of smart vehicles in conditions of deliberative democracy is problematized.
© PNRPU
В последние годы автоматизированное или автономное вождение стало одной из доминирующих тем в науке, политике, обществе [1, 2, 3, 4]. Инженерные достижения в области беспилотной техники, создание выделенных трасс на автомагистралях и в городских районах во многих странах мира, глобальная конкуренция за новые инновационные рынки, первые жертвы автономного вождения и другие события заставляют обращаться к этой теме. Кроме того, важную роль здесь играют психологические и культурные факторы, поскольку традиционный автомобиль всегда являлся символом свободы и процветания.
Автоматика в личном транспорте состоит из технических средств вождения, которые облегчают работу водителя, помогают ему или заменяют его частично или полностью. Частичная автоматизация вождения уже достигнута. Высоко- и полностью автоматизированные транспортные средства технически также доступны и готовы к продаже. Сенсоры и датчики могут обнаруживать и предсказывать события в ближайшем окружении автомобиля в режиме реального времени и принимать соответствующие решения. Однако реальное дорожное движение намного сложнее, чем в экспериментах на выделенных трассах. Плохая дорога и условия видимости, нечеткие контуры движущихся объектов, неожиданные события и другие проблемы не могут быть полностью отрегулированы посредством программного обеспечения. Мы слишком доверяем технике, и недавняя жертва беспилотного автомобиля (БА) в Соединенных Штатах подтверждает это. Безусловно, БА и дальше будут совершенствоваться, но
стопроцентная гарантия безопасности вряд ли когда-нибудь будет достигнута, поскольку реальное дорожное движение совершается в непредсказуемой среде с хаотичным характером. Внедрение в общество наземных беспилотных транспортных средств - это не столько инженерная задача, сколько социально-техническая, требующая серьезных комплексных мер по созданию принципиально новой инфраструктуры и, главное, изменению мышления. (Так, использование БА предполагает более строгую самодисциплину и ответственное поведение со стороны всех участников дорожного движения.)
Быстрое развитие технологий требует согласованных действий между политиками, экспертами и обществом для решения актуальных задач. Например, при каких условиях лицензирование автоматизированных систем вождения может считаться этически ответственным или даже необходимым и как это может быть юридически обеспечено? Внедрение автономного вождения требует также разработки нормативно-правовой базы для того, чтобы учитывать интересы всех возможных сторон (пешеходов, пассажиров, производителей, поставщиков, операторов, владельцев БА и т.д.) в случае аварий или других типов конфликтов.
Выделим основные преимущества автономного вождения для человека и общества.
Во-первых, повышение безопасности. В мире на дорогах гибнет огромное количество людей, основное число всех аварий связано с человеческим фактором. Автономные машины могут полностью исключить ошибки, типичные для человека.
Во-вторых, автономное вождение облегчает доступ к индивидуальной мобильности для людей с ограниченными физическими возможностями. В условиях изменения демографической структуры общества и стремительного старения населения функция индивидуальной мобильности становится особенно актуальной.
В-третьих, автономное вождение позволяет использовать свободное время для других целей по желанию человека, что повышает качество жизни и уровень комфорта.
В-четвертых, повышение эффективности транспорта и снижение воздействия на окружающую среду1.
Но вместе с положительными эффектами необходимо ожидать непредвиденных последствий. Неопределенность последствий конкретных инноваций, безусловно, относится и к автономному вождению.
Подобные задачи требуют проспективного анализа будущих систем мобильности, которые интегрируют автономное вождение в качестве составного компонента дорожного движения наряду с другими формами. И здесь большая роль принадлежит социальной оценке техники (СОТ)2, в рамках которой разрабатываются методы социально ответственного дизайна и превентивного мышления. Современная социальная оценка техники имеет дело не столько с негативными последствиями в результате стихийного внедрения новых технологий в слож-
1 В целом международное научное сообщество и эксперты в области СОТ оценивают внедрение беспилотных автомобилей в городскую экосистему положительно. Однако есть и критические отзывы. Например, проф. М. Гивони из Тель-Авивского университета (Израиль) в интервью с немецкими коллегами из Института оценки техники и системного анализа г. Карслруэ (Германия) Т. Флейшером и Й. Шипплом высказал осторожные сомнения относительно целесообразности траты огромных государственных средств на разработку беспилотных автомобилей и соответствующей инфраструктуры. По его мнению, БА не решают вопросы устойчивого развития городской среды. Тратится слишком много ресурсов по причинам, которые по своей сути вторичны. Так, беспилотные автомобили не решают таких важных задач, как освобождение городского пространства и уменьшение транспортной нагрузки в центре города, проблем со здоровьем в связи с малоподвижным образом жизни; беспилотные автомобили также вытесняют велосипеды из городской инфраструктуры; проблема безопасности не решается на сто процентов с учетом возможных хакерских атак. Подр. см. [5].
2 Проф. В.Г. Горохов переводит понятие Technology Assessment как «социальная оценка техники», подчеркивая тем самым главную тему этой новой научной дисциплины - взаимодействие техники и общества, необходимость проведения социально-гуманитарной экспертизы инновационных технологических проектов. В русскоязычном научном пространстве еще не установился общепринятый перевод этого термина. Так, в некоторых работах используются также такие варианты, как «оценка техники», «оценка технологий».
ные социальные среды, сколько с анализом всех возможных рисков еще на этапе разработки и конструирования инновационного продукта. Другими словами, техническая этика и СОТ сопровождают и корректируют научно-инженерные решения на протяжении всего жизненного цикла инновационных изделий. Метод проб и ошибок в обществе «подрывных инноваций» (disruptive innovation) недопустим и безответствен.
Инновационное развитие при всех однозначных экономических и социальных выгодах всегда связано с рисками. Но при каких условиях принятие риска может быть оправданным? Вот основной этический вопрос. Управление неизбежными рисками должно осуществляться максимально ответственным образом. Адекватное и тщательное их обсуждение в отношении автономного вождения должно носить контекстуальный и дифференцированный характер и, по возможности, отвечать на следующие вопросы:
• Кому может быть нанесен ущерб, какие группы людей могут подвергаться опасности?
• Как потенциальные риски распределяются между различными группами людей?
• Кто принимает решения?
• Какова вероятность возникновения этих рисков?
• Каков пространственный и временной масштаб рисков? Существуют ли какие-либо косвенные риски, например системные эффекты?
• Что должен предпринять компьютер в экстренных ситуациях: должен ли он обратиться за помощью к пассажиру?
• Должен ли человек всегда иметь возможность взять компьютер под свой контроль?
• Что насчет автономности и свободы человека, пока он является «багажом»?
Таким образом, абстрактный риск разбивается на ряд более мелких, четко идентифицируемых рисков в точных формулировках, законность и правомерность которых можно обсуждать конкретно.
Интеграция беспилотных автомобилей в городскую экосистему должна осуществляться не резкими скачками, а постепенно, на основе рационального общественного проектирования в форме учебного процесса [6, с. 44]. Другими словами, когда автономное вождение внедряется поэтапно, появляется возможность актуального обучения на основе ранее накопленного опыта. Это помогает сократить риски до минимума, лучше усвоить новые знания, а также работать на опережение, например, постепенно адаптировать требования рынка труда, способствовать развитию нормативно-правовой базы и т.д. Такой подход в обязательном порядке включает этику ответственных инноваций с целью предотвращения давления со стороны экономики, стремящейся в условиях жесткой глобальной конкуренции в сжатые сроки выводить на рынок зачастую еще незрелый продукт.
Проведем более подробный анализ автономного вождения в контексте СОТ. Для социальной оценки техники автомобиль - особый технический объект. Прикладная дисциплина, изучающая все многообразие последствий технического развития для человека и общества, вполне может сделать легковой автомобиль оселком для испытания и проверки основных элементов и концептуальных подходов СОТ и технонауки в целом. В самом деле, СОТ должна следить: 1) за социально значимыми следствиями автоматизации и роботизации; 2) за развитием факторов опасности для жизни и здоровья; 3) этическими и правовыми последствиями эксплуатации техники; 4) политико-экономическими следствиями решений по производству и использованию техники; 5) потребительскими рейтингами технических продуктов на рынке и их социальной значимостью; 6) последствиями цивилизационного характера для улучшения жизни людей; 7) следствиями для культурной оптимизации сознания посредством техноэсте-
тики, факторов общения, комфорта и создания дружественной для человека среды. Назовем этот перечень элементов и концептуальных подходов СОТ структурой, или матрицей, ан-тропосоциоориентированных функций техники. Автомобиль в качестве эксклюзивного объекта СОТ как раз и является носителем полного набора таких функций.
Большую часть своей истории автомобиль представлял собой механический агрегат с неизменной логикой управления. Управляющие органы, адаптированные под человеческие (руки, ноги, аналитическая способность), неизменно включали в себя руль, рычаг переключения скоростей и три педали. Нехитрая «комбинация приборов» (датчики крутящего момента, скорости, температуры охлаждающей жидкости и запаса топлива) помогала следить за состоянием автомобиля и дорожной ситуацией. Так механический агрегат срастался с человеческими органами. Вместе они составляли гибридное существо - ни робота, ни человека, поскольку в равной степени зависели друг от друга. Человек эксплуатировал машину, а машина человека. Лишь с изобретением автоматических и роботизированных коробок передач начинается их серьезное «возвращение к себе», постепенное разъединение и автономизация относительно друг друга. У человека не просто освободилась левая нога и правая рука - шофер в существенной степени перестал быть рабом и крепостным своей машины. Машина же, избавившись от жесткой хватки своего хозяина3, предоставила инженерному уму целую россыпь функций, требующих автоматизации.
Автомобиль по сравнению с предшествующими средствами передвижения обладал огромной опасностью. Хотя источник угроз и рисков большей частью коренится в устройстве машины (высокая скорость движения прежде всего), вина лежит на водителе. Лошадь - живое существо; она может понести, но может и остановиться перед препятствием. На инфантильной фазе развития автомобиля еще не было очевидно, что шофер, несущий ответственность за эксцессы управления, слишком зависит от него. Объективный источник рисков, заключающийся в нечеловеческой природе машины, был смикширован. Вся вина лежала на человеке. Но что будет в случае разъединения человека и машины - в случае распада гибрида? Конечно, машину невозможно обвинить в судебном порядке, но можно оправдать водителя, ставшего жертвой излишней самостоятельности своего автомобиля.
Автомобилестроение - одна из важнейших отраслей промышленности. Традиционный показатель уровня промышленного развития - производство технологически авангардных автомобилей (наряду с авиацией, космической или компьютерной техникой). Судьбы всемирно известных автокорпораций решаются на правительственном уровне; автомобильные дороги, топливный сервис, таможни и пошлины - все это требует курирования со стороны государства, провоцирует политические конфликты и социальные протесты. Будучи важнейшим потребительским товаром, автомобиль представляет собой социальный «фермент», существенно влияющий на динамику общественных процессов. Классы, типы и ценовые характеристики автомобилей входят в критерии социальной стратификации. Прогресс средств передвижения прочно ассоциируется с уровнем развития цивилизации. Автомобиль - не роскошь, а средство эффективного и комфортного существования человека. Дизайн современного автомобиля в значительной степени формирует эстетическую среду современного города и массовый вкус.
Таким образом, автомобиль действительно может служить показательным, репрезентативным объектом для социальной оценки техники. Описанные концептуальные приоритеты СОТ высвечиваются предельно рельефно, когда мы переходим к высшей точке автоматизации в эволюции автомобиля - функции автопилота. Возвращаясь к закономерностям и следствиям
3 Ж. Симондон говорит о необходимости освобождения техники от человека [7].
полной автоматизации автомобиля, мы будем исходить из следующего «основоположения»: скачок, ведущий к полной роботизации машины, является завершением естественного процесса механизации и автоматизации всех частных функций автомобиля, когда машина оказывается населенной множеством локальных роботов, облегчающих работу шофера и не предполагающих его превращения в пассажира. Такая автоматизация ведет к скачкообразному росту кибернетизации автомобиля, усложняющей освоение управления «компьютером на колесах». Требование непрерывных инноваций для рестайлинга автомобилей заставляет «автоматизировать» все что можно - стекла, двери, сиденья, вещевые отсеки, подлокотники, багажники, люки, замки, освещение и т. д. Тотальная автоматизация охватывает весь автомобиль снаружи и внутри -и как средство передвижения, и как потребительскую вещь. Важно, что при этом не преследуется задача перехода к автомобилю-роботу (поскольку для инженеров сохраняется «естественная» оппозиция «водитель - пассажир», а водители-пользователи пока не представляют, для чего многочисленные электронные кнопки на их машине, часто раздражающие своей практической бесполезностью). В сети можно найти разные списки роботизированных функций автомобиля. Полнота такого списка не является принципиальным вопросом, поскольку автоматизация частных функций носит стихийный характер и охватывает все, с чем может столкнуться потребитель. Эти новации предполагают наличие человека-водителя, на котором лежит морально-юридическая ответственность за эксплуатацию автомобиля. В общедоступном серийном автомобиле средней ценовой категории мы находим: автоматическое (роботизированное) управление коробкой передач; реализацию компьютерных моделей рулевой системы; развитую систему автоматического торможения в зависимости от степени контакта колес с дорожным покрытием, к которой присоединяется автоматическое использование полного привода; адаптивный круиз-контроль с его модификациями (ассистент движения в пробках); ассистенты водителя, предотвращающие лобовые столкновения, наезды на пешеходов, контролирующие «слепые зоны» и т.п.; парковочные роботы; автоматическое управление внешними световыми приборами (ночь, день, дождь, дальний/ближний свет); связь и навигация; компьютеризированный контроль за расходом топлива, скоростью и т. п.; климат-контроль и различную автоматику комфорта. Все это реализовано на практике и доступно. Из этого перечня (точнее, из тенденции, которую он обозначает и выражает) можно сделать ряд серьезных выводов.
1. С инженерной точки зрения роботизированный автомобиль практически создан (развитие дополнительных технологий нуждается только во времени и инвестициях).
2. Скачок от «ассистентов водителя» к системе автопилота вполне назрел и будет проходить, скорее всего, в виде слияния уже имеющихся автоматов в одну систему. Задача вполне решаемая уже сегодня.
3. Центр проблемы смещается от инженерных инноваций к созданию комплекса компьютерных программ, обеспечивающих управление и взаимодействие всех «ассистентов». Вряд ли и здесь возможны серьезные затруднения.
4. Однако ясно, что прогресс в решении комплексной задачи создания и эксплуатации автомобилей-роботов достижим только на базе развития технологий искусственного интеллекта высокого (антропоморфного?) уровня. Это - задача будущего. Создание полного (т.е. независимого от внешней инфраструктуры) автономного транспортного средства в настоящее время вряд ли реализуемо.
5. При эксплуатации автономных автомобилей на несколько порядков возрастает роль технического и электронного контроля. Какие инстанции будут осуществлять такой периодический контроль и выдавать разрешения на эксплуатацию?
6. Существенно изменится в сторону колоссального усложнения и контроль за дорожным движением с участием автомобилей-роботов (так как должен будет включать в себя системы спутниковой навигации, электронной разметки дорог, средства контроля за компьютерным обеспечением и проч.).
7. Обобщенно можно сказать, что основная проблема, требующая политических, экономических, законодательных решений и огромных инвестиций - это создание инфраструктур в виде специальных трасс, локальных маршрутов, особых зон, «светофоров» и т.п.
8. Сделать беспилотный электромобиль гораздо легче, чем бензиновый.
9. Поскольку современное законодательство разрешает эксплуатацию автомобилей только с трезвым, вменяемым водителем, держащим руки на рулевом колесе, то на первый план выходит юридическая проблема допуска автономных автомобилей к системе дорожного движения (пока они просто-напросто запрещены).
10. В области социальной оценки техники обсуждаются также этические проблемы использования автономных транспортных средств. Остановимся на этих последних пунктах подробнее.
Мораль - сфера сугубо человеческая, поскольку связана со свободой и выбором. Говорить об этике роботов в настоящее время было бы слишком схоластическим занятием. Мораль и ответственность в отношении управления автомобилем связаны прежде всего с тем, что автомобиль несет с собой повышенную опасность. Эксплуатация автомобиля порождает особую зону рисков, последствия которых ставят вопрос об ответственности и правовой оценке [8]. Пока автомобилем управляет человек, морально-правовые вопросы решаются в порядке общепринятого дискурса. Но как быть с роботом? Многие эксперты считают, что отвечать должен владелец автомобиля (как в случае с хозяином собаки, покусавшей прохожего). Но если вся требуемая законом документация на автомобиль в порядке и владелец автомобиля не использовал его сознательно во зло кому-либо, то о его ответственности говорить трудно.
С другой стороны, из п. 5 вытекает, что доля правовой и моральной ответственности в существенной степени должна лежать на инстанциях, выдавших разрешение 1) на техническую возможность эксплуатации автомобиля, 2) фиксирующих отсутствие сбоев лицензионного программного обеспечения, 3) разрешающих машине участвовать в электронной организации движения в регионе или в стране (допуски, регистрации и т. п.).
Таким образом, сформулируем гипотезу, позволяющую осмыслить природу изменений, происходящих в оценочной сфере в целом: чем более автономной будет становиться техника, тем в большей степени техногенными будут признаваться риски и катастрофы и тем сильнее будет сужаться роль «человеческого фактора». В глобальном технотронном обществе традиционная мораль станет уделом лишь замкнутых человеческих коацерватов (в случае сохранения таковых).
Тем не менее технологический прогресс настоятельно требует разработки этики умного транспорта. Лавинообразный рост научных исследований на эту тему за последние пять лет подтверждает это [9, 10, 11]. Но что представляет собой новая этика? Беспилотные автомобили могут в доли секунды обрабатывать огромные массивы информации с помощью специальных датчиков и программ и, при необходимости, совершать определенные маневры, чтобы избежать чрезвычайных ситуаций, например столкновения. Но если столкновение неизбежно, компьютер рассчитает оптимальный угол поворота и силу удара быстрее и лучше, чем человек. А это значит, что искусственные системы (алгоритмы) могут принимать решения на ос-
нове более полной информации. Но могут ли они принимать решения морального характера?4 Например, кем пожертвовать в неизбежной ситуации? (Речь идет о «проблеме вагонетки», знаменитом мысленном эксперименте в этике, который был сформулирован в 1967 году английским философом Филиппой Фут.) В современной философии подобные дилеммы решаются в контексте двух основных философских направлений - деонтологии (этика долженствования И. Канта) и консеквенциализма (утилитаризм Д. Бентама).
Для консеквенциалистов важен не сам поступок, а его результат. Представители данного этического направления руководствуются утилитарным подходом: максимальное счастье для максимально возможного числа людей. А это значит, что для запрограммированного таким образом автомобиля решающее значение имеет потенциальное число жертв во время катастрофы. Чем больше будет спасено жизней людей, тем лучше, даже если для этого придется пожертвовать пассажиром. Напротив, в деонтологической этике (от греческого слова deon -«долг») главным критерием оценки морального поступка является решимость при любых обстоятельствах без исключения действовать согласно определенным этическим заповедям, наподобие «категорического императива» Канта. В такой ситуации беспилотный автомобиль будет действовать таким образом, чтобы сохранить жизнь пассажира любой ценой. При этом число возможных жертв аварии не имеет значения. В деонтологической этике формула «один меньше трех» не действует, если речь идет о жизни людей. Но как эти абстрактные теоретические умозаключения реализовать на практике? Смогут ли ученые когда-нибудь разработать моральный алгоритм для беспилотного автомобиля? 5
В Европе лидером исследований в области моральных и правовых аспектов в использовании беспилотных автомобилей является Германия. В августе 2017 года Комиссия по этике по заказу Федерального министерства транспорта и цифровой инфраструктуры Германии разработала этическое сопровождение для программирования автоматизированных систем вождения в рамках концепции «Мобильность 4.0» [12, с. 55-56]6. После учреждения Комиссии по этике по всей Германии развернулись широкие общественные дебаты. Это главный итог работы группы экспертов. Необходимо также отметить, что комиссия ориентировалась, согласно немецкой традиции, на кантовскую этику, что официально зафиксировано в документе. В связи с этим возникает вопрос, возможен ли универсальный этический кодекс для использования беспилотных автомобилей? Или в будущем каждая страна будет разрабатывать собственные национальные этические принципы, на основе которых будет создаваться программное обеспечение? Образно говоря, покидая пределы Германии и въезжая в Великобританию, должен ли будет владелец автоматизированного транспортного средства перезагрузить программу с «этики Канта» на «этику Бентама»?7
4 Мы не можем абстрагироваться от «антропоморфизма» естественного языка, в рамках которого интеллектуальные системы/алгоритмы наделяются человеческими свойствами и характеристиками. Отсюда возникают такие спорные формулировки, как «компьютерная система думает», «алгоритмы принимают решение», «моральные машины» и т.д.
5 Некоторые ученые настроены оптимистично. В 2017 году Николас Эванс, профессор философии из Массачусетского университета (UMass Lowell), который преподает инженерную этику и изучает этические дилеммы, связанные с новыми технологиями, получил грант Национального научного фонда в размере 556 650 долларов США для разработки этики беспилотного транспорта, представив ее в виде надежного алгоритма принятия решений. Подр. см.: https://www.uml.edu/News/stories/2017/SelfDrivingCars.aspx (дата обращения: 15.05.2019).
6 С англоязычной версией этических принципов автоматизированного и подключенного вождения можно ознакомиться на сайте Федерального министерства транспорта и цифровой инфраструктуры Германии. [Электронный ресурс] URL: https://www.bmvi.de/ SharedDocs/EN/PressRelease/2017/084-ethic-commission-report-automated-driving.html (дата обращения: 15.05.2019).
7 Вопрос разработки беспилотных автомобилей в Российской Федерации в последние годы также становится приоритетным в связи с переходом к Цифровой экономике. На этом пути необходимо преодолеть не только административные барьеры, но и социально-гуманитарные. Работа в этом направлении активно ведется с 2016 года. В конце 2017 года в Министерстве транспорта была создана рабочая группа по проблеме регулирования машин с автопилотом. В январе 2018 года задача создания правовой базы для развития автоматизированного транспорта вошла в стратегию безопасности дорожного движения в России, которая рассчитана до 2024 года.
Несмотря на спекулятивный характер «проблемы вагонетки», ее все же нельзя игнорировать. Даже если она никогда не возникнет, программный код БА все равно должен включать правила принятия решений в подобной гипотетической ситуации. Поэтому такие решения должны приниматься задолго до того, как беспилотные автомобили начнут продаваться по всему миру. С нашей точки зрения, анализ вреда и распределение ответственности между всеми участниками дорожного конфликта первично относится к сфере морали. Таким образом, в алгоритмы должны быть включены этические принципы, на основе которых БА будут принимать решения в ситуациях причинения неизбежного вреда. Производители и регулирующие органы при этом должны будут согласовать три потенциально несовместимые цели: быть рационально последовательными, не вызывать общественного возмущения и не разочаровывать покупателей [13].
В заключение мы бы хотели поставить еще один важный вопрос, который редко обсуждается в научной среде. Речь идет об этическом искажении «проблемы вагонетки» в ходе общественных дебатов. Участие общественности (не экспертов) в процессе формирования техники (shaping technology) является неотъемлемой частью практики СОТ и ответственных инноваций как яркое проявление «партисипативного поворота» и становления делиберативной демократии [14, с. 42].
Однако в настоящее время ученые столкнулись с обратной стороной проблемы, которая может быть проиллюстрирована на примере автономного вождения. Так, исследование, опубликованное в журнале Nature в 2018 году, выявило субъективные предпочтения людей при решении «проблемы вагонетки» [15]. На основе выявленных предпочтений был составлен ранжированный список потенциальных жертв неизбежной аварии, весьма далекий от социальной справедливости. В частности, удалось установить, что участники опроса предпочитают спасать: 1) детей и беременных женщин, а не пожилых людей; 2) женщин, а не мужчин; 3) спортсменов, а не людей, страдающих ожирением; 4) людей с высоким социальным статусом (например, руководителей), а не бездомных или преступников. При этом старые женщины как социальная группа занимали одну из самых низких позиций (ниже только собаки, преступники и кошки).
Ияд Рахван (Iyad Rahwan), ученый из Массачусетского технологического института, курировавший эту работу, подчеркнул, что общественный опрос не должен быть основой этики искусственного интеллекта. К результатам общественных опросов нужно относиться критически: они носят скорее информативный характер для директивных органов, а не прямое руководство к действию. В связи с этим все чаще раздается критика в отношении сильной позиции «дилетантов» (laymen) в науке [16]. С другой стороны, инновационное развитие неизбежно порождает трансцендирующий сдвиг современного научного знания в сторону жизненного мира человека [17, с. 10]. А это, в свою очередь, вынуждает экспертов и политиков быть более открытыми к нуждам и запросам общественности, от которой по большому счету во многом зависят тренды и сценарии развития технологического будущего. Социальной оценке техники придется отвечать на эти и новые вызовы.
Список литературы
1. Road Vehicle Automation (Lecture Notes in Mobility). Eds. G. Meyer, S. Beiker. - Heidelberg, New York, Dordrecht, London: Springer International Publishing, 2014.
2. Hampel J., Kropp C., Zwick V. Zur gesellschaftlichen Wahrnehmung des voll autonomen Fahrens und seiner möglichen nachhaltigkeitsbezogenen Implikationen. Ergebnisse einer Repräsentativbefragung // TATuP. - 2018. - Bd. 27. - Nr. 2. - S. 38-45.
3. Fleischer T., Schippl J. Automatisiertes Fahren - Fluch oder Segen für nachhaltige Mobilität? // TATuP. - 2018. - Bd. 27. - Nr. 2. - S. 11-15.
4. Незнамов А.В. Правила беспилотного вождения: об изменениях Венской конвенции и о дорожном движении // Закон. - 2018. - № 1. - С. 172-182.
5. Givoni M., Fleischer T., Schippl J. Self-driving Cars are Completely the Wrong Tool For Me! // TATuP. - 2018. - Bd. 27. - Nr. 2. - S. 68-71.
6. Grunwald A. Technikzukünfte als Medium von Zukunftsdebatten und Technikgestaltung. -Karlsruhe: KIT Scientific Publishing, 2012. - 188 s.
7. Симондон Ж. О способе существования технических объектов (сокращенный перевод заключения) / предисл., пер. с фр. и коммент. М. Куртова // Транслит. - 2011. - № 9. - С. 94-105.
8. Горохов В.Г., Сюнтюренко О.В. Технологические риски: информационные аспекты безопасности общества // Программные системы и вычислительные методы. - 2013. - №4 (5). -C.344-353.
9. Deng B. Machine ethics: The Robot's Dilemma // Nature. - 2015. - Vol. 523. - Iss. 7558. -P. 24-26.
10. Gold N., Colman A. M., Pulford B. D. Cultural Differences in Responses to Real-Life and Hypothetical Trolley Problems // Judgment and Decision Making. - 2014. - Vol. 9. - No. 1. - P. 65-76.
11. Greene J.D. Our Driverless Dilemma // Science. - 2016. - Vol. 352. - Iss. 6293. -P.1514-1515.
12. Новые законы робототехники. Регуляторный ландшафт. Мировой опыт регулирования робототехники и технологий искусственного интеллекта / под ред. А.В. Незнамова. - М.: Инфотропик, 2018.
13. Bonnefon J.-F., Shariff A., Rahwan I. The Social Dilemma of Autonomous Vehicles // Science. - 2016. - Vol. 352. - Iss. 6293. - P. 1573-1576.
14. Середкина Е.В. Технократия vs демократия: возможна ли социальная оценка техники в Китае? // Вестник Пермского национального исследовательского политехнического университета. Культура. История. Философия. Право. - 2018. - № 2. - С. 39-49. DOI: 10.15593/perm.kipf/2018.2.03
15. The Moral Machine experiment / E. Awad, S. Dsouza, R. Kim, J. Schulz, J. Henrich, A. Shariff, J-F. Bonnefon, I. Rahwan // Nature. - 2018 (563). - P. 59-64.
16. Nichols T. The Death of Expertise: The Campaign Against Established Knowledge and Why it Matters. - NY: Oxford University Press, 2017.
17. Киященко Л.П., Моисеев В.И. Философия трансдисциплинарности. - М.: Изд-во ИФРАН, 2009. - 205 с.
References
1. Road Vehicle Automation (Lecture Notes in Mobility). Eds. G.Meyer, S.Beiker. Heidelberg, New York, Dordrecht, London, Springer International Publishing, 2014.
2. Hampel J., Kropp C., Zwick V. Zur gesellschaftlichen Wahrnehmung des voll autonomen Fahrens und seiner möglichen nach-haltigkeitsbezogenen Implikationen. Ergebnisse einer Repräsentativbefragung . TATuP, 2018, Bd. 27, Nr. 2, pp. 38-45.
3. Fleischer T., Schippl J. Automatisiertes Fahren - Fluch oder Segen für nachhaltige Mobilität? TATuP, 2018, Bd. 27 Nr. 2, pp. 11-15.
4. Neznamov A.V. Pravila bespilotnogo vozhdeniia: ob izmeneniiakh Venskoi konventsii i o dorozhnom dvizhenii [Rules of unmanned driving: on changes to the Vienna Convention and on road traffic]. Zakon, 2018, no, pp. 172-182.
5. Givoni M., Fleischer T., Schippl J. "Self-driving cars are completely the wrong tool for me!". TATuP, 2018, Bd. 27 Nr. 2, pp. 68-71.
6. Grunwald A. Technikzukünfte als Medium von Zukunftsdebatten und Technikgestaltung. Karlsruhe, KIT Scientific Publishing, 2012, 188 p.
7. Simondon G. O sposobe sushchestvovaniia tekhnicheskikh ob'ektov sokrashchennyi perevod zakliucheniia [On the mode of existence of technical objects (abridged translation of the conclusion)]. Translit, 2011, no. 9, pp. 94-105.
8. Gorokhov V.G., Siuntiurenko O.V. Tekhnologicheskie riski: informatsionnye aspekty bezopasnosti obshchestva [Technological risks: informational aspects of public safety]. Programmnye Sistemy i Vychislitel'nye Metody, 2013, no.4 (5), pp. 344-353.
9. Deng B. Machine ethics: The robot's dilemma. Nature, 2015, vol. 523, Iss. 7558, pp. 24-26.
10. Gold N., Colman A. M., Pulford B. D. Cultural differences in responses to real-life and hypothetical trolley problems. Judgment and Decision Making, 2014, vol. 9, no. 1, pp. 65-76.
11. Greene J.D. Our driverless dilemma. Science, 2016, vol. 352, iss. 6293, pp. 1514-1515.
12. Novye zakony robototekhniki. Reguliatornyi landshaft mirovoi opyt regulirovaniia robototekhniki i tekhnologii iskusstvennogo intellekta [New laws of robotics. Regulatory landscape. World experience in the regulation of robotics and artificial intelligence technologies]. Ed. A.V. Neznamov. Moscow, Infotropik, 2018.
13. Bonnefon J.-F., Shariff A., Rahwan I. The social dilemma of autonomous vehicles. Science, 2016, vol. 352, iss. 6293, pp. 1573-1576.
14. Seredkina E.V. Tekhnokratiia vs demokratiia: vozmozhna li sotsial'naia otsenka tekhniki v kitae? [Technocracy vs democracy: is technonology assessment possible in China?]. PNRPU. Culture. History. Philosophy. Law, 2018, no 2, pp. 39-49. DOI: 10.15593/perm.kipf/2018.2.03
15. Awad E., Dsouza S., Kim R., Schulz J., Henrich J., Shariff A., Bonnefon J-F., Rahwan I. The Moral Machine experiment. Nature, 2018 (563), pp. 59-64.
16. Nichols T. The Death of Expertise: The Campaign against Established Knowledge and Why it Matters. NY, Oxford University Press, 2017.
17. Kiiashchenko L.P., Moiseev V.I. Filosofiia transdistsiplinarnosti [The philosophy of transdisciplinarity]. Moscow, Institut filosofii Rossiiskoi akademii nauk, 2009, 205 p.
