CC BY
165Мораль для искусственного интеллекта: перспективы философского переосмысления
Андрей Железнов
Доцент кафедры социальной философии, департамент философии, Уральский федеральный университет им. Б. Н. Ельцина (УрФУ). Адрес: 620083, Екатеринбург, пр-т Ленина, 51. E-mail: itsnomoredancing@gmail.com.
Ключевые слова: нравственность; мораль; искусственный интеллект; машинное обучение; общий искусственный интеллект; моральная мотивация.
Попытки описать условия морального поведения искусственного интеллекта (ИИ) приводят к идее о том, что нравственность представляет собой стремление к благу, превосходящему любое данное в опыте. Вера в такое благо и возможность соотноситься с ним определяют способность разумного агента, в том числе ИИ, быть моральным. Это утверждение основывается на двух наблюдениях. Сама идея ИИ предполагает, что невозможно задать такие правила или принципы, которые этот ИИ не смог бы переосмыслить и изменить. Уже сейчас можно наблюдать, как пренебрежение этими принципами проявляется в функционировании систем, построенных на базе технологий ИИ, и достигает предела в рассуждениях о возможных будущих искусственных агентах. Однако следует воспринимать это не как ограничение, а как указание на то, что искусственный агент выберет нравственное пове-
дение только ради его собственного содержания. Что в философском плане означает необходимость задавать вопрос об имманентном содержании нравственности.
Для того чтобы увидеть это имманентное содержание, следует обратить внимание на способ, которым осуществляется исследование морали или попытки сконструировать такую мораль для машины. Можно заметить, что попытки сформировать принципы поведения для ИИ содержат стремление превзойти любые фактически данные моральные нормы, что показывает само содержание нравственности в качестве поиска такого блага, которое превосходило бы любой данный опыт. По определению (или исходя из его идеи) благо, которое не может быть дано в опыте, оказывается предметом веры. Способность верить в такое высшее благо и может быть основанием для того, чтобы ИИ действовал нравственно.
Введение
АКТУАЛЬНОСТЬ вопроса «Как построить нравственный искусственный интеллект?» не слишком нуждается в обосновании: современное медиаполе исполнено страхов перед искусственным интеллектом (ИИ). Страх внушают как возможность грядущего уничтожения человечества превосходящими его роботами, так и вполне актуальные проблемы поведения автономных автомобилей, которые уже стали причиной нескольких аварий и смерти человека1, или дискриминация людей различными средствами автоматизированной оценки (алгоритмы подбора персонала, одобрения кредита или страховки, оценки склонности к правонарушению). Эти риски признаются не только в журналистике и научных публикациях: государства и крупные корпорации активно пытаются внедрить регулирование сферы ИИ2.
В контексте этих рисков и опасений вопрос о нравственности ИИ особенно важен. Вероятно, причина в аналогии с человеком: мы предполагаем, что мораль является тем ограничением, которое заставляет людей действовать бережно по отношению к интересам других. Как подойти к решению этого вопроса, как узнать, что необходимо, чтобы ИИ действовал исходя из моральных побуждений и принципов, — это вопрос открытый, и именно его мы рассмотрим.
1. Тема широко освещалась в СМИ, см., напр.: Troy G., Wakabayashi D. How a Self-Driving Uber Killed a Pedestrian in Arizona // New York Times. 21.03.2018. URL: https://www.nytimes.com/interactive/2018/03/20/ us/self-driving-uber-pedestrian-killed.html; Hull D., Smith T. Tesla Driver Died Using Autopilot, With Hands Off Steering Wheel // Bloomberg.com. 30.03.2018. URL: https://www.bloomberg.com/news/articles/2018-03-31/ tesla-says-driver-s-hands-weren-t-on-wheel-at-time-of-accident.
2. См., напр.: Yun Chee F. EU Mulls Five-Year Ban on Facial Recognition Tech in Public Areas // Reuters. 16.01.2020. URL: https://www.reuters.com/article/us-eu-ai-idUSKBN1ZF2QL; высказывание CEO Google в: Why Google Thinks We Need to Regulate AI // Financial Times. 20.01.2020. URL: https://www. ft.com/content/3467659a-386d-11ea-ac3c-f68c10993b04; Guidance for Regulation of Artificial Intelligence Applications // The White House. January 2020. URL: https://www.whitehouse.gov/wp-content/uploads/2020/01/Draft-OMB-Memo-on-Regulation-of-AI-1-7-19.pdf.
У этого вопроса есть два аспекта, которые кажутся нам наиболее важными. Во-первых, обсуждение морали для ИИ создает повод поговорить о нравственности в принципе: тема ИИ высвечивает природу нравственности. Во-вторых, как мы постараемся показать, большая часть современных исследований игнорирует одну из ключевых особенностей нравственности и потому лишается возможности действительно ответить на вопрос об условиях нравственности ИИ.
Несколько упрощая картину, можно сказать, что в рамках наиболее распространенных подходов вопрос создания морального ИИ раскладывается на две задачи: внедрение в ИИ принципов морали и определение верных моральных принципов. Каждая из этих задач сталкивается со своей проблемой. Так, «внедрение нравственности», или создание такого ИИ, который строго подчиняется заложенным в нем моральным принципам, противоречит самой идее ИИ. Это противоречие проявляется не только в обсуждении гипотетических форм будущего ИИ, но и в кейсах работы систем с ИИ уже сейчас. А задача поиска и формулировки верных моральных норм (принципов или ценностей) не может быть решена принятием какого-либо из фактически данных моральных кодексов — каждая «данная» мораль требует оценки и усовершенствования. Ниже будут последовательно показаны подходы к решению каждой из задач и возникающая при этом проблема, а также обозначен возможный позитивный вывод.
О понятиях нравственности и искусственного интеллекта
Перед началом работы, однако, нужно сделать небольшое терминологическое отступление, чтобы пояснить, как мы будем использовать понятия нравственности и ИИ.
Во-первых, мы опираемся на понятие нравственности, отличая его от морали и этики. Моралью мы будем называть набор правил, законов, предписаний или оценок. Выражение «моральные нормы» в этом смысле является полным синонимом понятия «мораль» в нашем тексте. Этикой мы называем интеллектуальную практику, дисциплину (или «науку»), способ построить или перестроить мораль. А нравственность — это способность или склонность индивида мыслить и действовать исходя из его представлений о морали, а также конструировать эту мораль или заниматься этическим исследованием.
Понятие «искусственный интеллект» мы будем использовать скорее в смысле, близком к понятию искусственного агента, нежели просто к описанию специфического компьютерного алгоритма. Иными словами, ИИ для нас — это «машины, думающие и (или) действующие по-человечески и (или) рационально»3. А «интеллект» понимается как способность агента достигать своих целей в разнообразном окружении4. Поэтому вопрос о нравственности ИИ принципиально отличается от моральных аспектов иных технологий (ядерных исследований, генной инженерии и пр.), он оказывается ближе к первоначальным этическим вопросам о принципах принятия решений и выбора поведения.
В этом контексте вопрос о морали для ИИ сводится к вопросу о нравственности искусственного агента, то есть о его способности действовать исходя из (собственных) моральных побуждений5. В англоязычной литературе наиболее близким оказывается понятие explicit moral agent или full moral agent6, то есть такой агент, который понимает собственные моральные принципы и даже занимается их выработкой для каких-то целей. В этом смысле вопрос о нравственности ИИ может быть переведен как вопрос о том, может ли ИИ являться full moral agent.
Искусственный интеллект и имманентность нравственности
Наш первый тезис по большому счету продолжает обсуждение идеи ИИ, которая заключается в создании технологии, действующей самостоятельно в ситуациях, не предусмотренных ее создателем. Такая технология может оценивать собственное поведение, ставить и корректировать цели своих действий. Эти свойства не только относятся к гипотетическим будущим («когда-нибудь потом») проектам, но и проявляются непосредственно в технологиях, которые используются прямо сейчас.
3. Russell S., Norvig P. Artificial Intelligence: A Modern Approach. 4th ed. N.Y.: Pearson, 2020.
4. Gabriel I. Artificial Intelligence, Values, and Alignment // Minds & Machines. 2020. Vol. 30. № 3. P. 411-437.
5. Misselhorn C. Artificial Systems With Moral Capacities? A Research Design and Its Implementation in a Geriatric Care System // Artificial Intelligence. 2020. Vol. 278. 103179.
6. Moor J. The Nature, Importance, and Difficulty of Machine Ethics // IEEE Intelligent Systems. 2006. Vol. 21. № 4. P. 18-21.
Утрата контроля над современными технологиями
В технологическом плане это проявляется в том, как устроена парадигма Machine Learning. Она заключается в том, что нейронная сеть, в которую загружают данные для обучения, самостоятельно формирует принципы оценки и суждения. Для обучения ИИ используются большие массивы данных, которые заранее «размечены». Грубо говоря, чтобы научить ИИ узнавать кошечек, ему нужно дать множество картинок, каждая из которых однозначно отмечена как содержащая кошечку или нет. Собственно, когда ИИ учится определять благонадежного заемщика по его досье или потенциального преступника по фотографии, он имеет дело с намного более сложно устроенной обучающей базой, но общий принцип остается тем же. В итоге получается, что создатель нейронной сети не программирует (определяет) для нее алгоритм или алгоритмы действия в любой ситуации. Вместо этого устанавливаются только «хорошие» и «плохие» результаты решения ИИ — на основании этих оценок он самостоятельно формирует логику принятия решений.
В контексте морали можно заметить, что reinforcement learning построено на получении «награды» за верное предсказание, что соответствует логике консеквенциализма. И работа «создателя морали для ИИ» в этой парадигме заключается в том, чтобы при формировании набора данных для обучения определить награду7.
Классический пример машинного обучения — это обучение компьютера Deep Blue игре в шахматы. Создатели Deep Blue описали только финальные условия игры, не обучая его так, как мы учим другого человека. В итоге способ, которым этот компьютер принимает решения, совершенно непрозрачен для его создателей8. Создатели Deep Blue понимают, что он выстроил собственную карту будущего, которую они не смогут объяснить и понять.
В шахматах условия победы и координаты для оценки правильности хода формализуются достаточно просто; можно сказать, что они имеют «искусственную» природу. Критерии оценки поведения в повседневности, или «естественные» критерии, намного менее формализуемы, что могло бы положить некоторый предел для применения такого подхода. Этот предел, одна-
7. Gabriel I. Op. cit.
8. Bostrom N., Yudkowsky E. The Ethics of Artificial Intelligence // The Cambridge Handbook of Artificial Intelligence. Cambridge; N.Y.: Cambridge University Press, 2014. P. 4.
ко, не является непроницаемым: можно предположить такую технологию обучения, где основанием для оценки служат примеры человеческого поведения. Это называется ассоциативным обучением9. Оно позволяет использовать машинное обучение там, где критерии успеха смутны и неопределенны для нас самих. В этом случае разрыв между логикой ИИ и пониманием ее создателя будет еще больше, ведь мы не только не знаем, каким образом ИИ принимает решения, мы не знаем даже того, как именно он определяет наилучший из исходов.
Таким образом, парадигма машинного обучения в самой себе содержит утрату контроля: исследователь не контролирует логику ИИ и не претендует на ее понимание. Мы также не можем утверждать, что ИИ будет мыслить в «антропоморфном стиле»; напротив, с большой вероятностью его логика окажется совершенно иной. Поэтому говорить о возможности успешного и стопроцентного контроля над тем, как ИИ принимает решения, с позиции его создателя совершенно невозможно.
В кейсах наподобие игры в шахматы закрытость ИИ не является жизненной проблемой: наше непонимание логики шахматного компьютера не так важно, потому что он не может больше ничего, кроме как играть в шахматы, а представить «аморальную игру в шахматы» достаточно тяжело. Однако как только мы применяем ИИ в ситуациях, где возможна реальная опасность для людей (как автономный автомобиль), или в морально-чувствительном контексте (например, рекомендательные системы страховой компании, банковского скоринга или правоохранительных органов), способность ИИ принимать решения, нарушающие моральные представления его создателей, становится значимой. Создатель ИИ не способен предусмотреть все возможные алгоритмы поведения искусственного агента в открытом мире, а технология, позволяющая ИИ обучаться и самостоятельно вырабатывать такие алгоритмы, принципиально предполагает его свободу в выработке собственных моделей и принципов поведения.
Но тут недостаточно сказать, что идея свободы ИИ проявляется в актуальных технологических аспектах его создания. Мы можем непосредственно видеть, как ИИ выходит из-под контроля создателей и принимает решения, которые кажутся им мораль-
9. Allen C. et al. Prolegomena to Any Future Artificial Moral Agent // Journal of Experimental & Theoretical Artificial Intelligence. 2000. Vol. 12. № 3. P. 251-261; Aytar Y. et al. Playing Hard Exploration Games by Watching You-Tube // Arxiv.org. 30.11.2018. URL: https://arxiv.org/abs/1805.11592.
но недопустимыми. Речь тут не о шахматах, в которых довольно сложно вести себя безнравственно, и не об автономных автомобилях — эта сфера пока очень тщательно контролируется и регулируется. Эффект утраты контроля заметен в работе разного рода оценочных и рейтинговых систем, технологически использующих машинное обучение. Мы говорим о проблемах предвзятости (bias), которые весьма активно обсуждаются, то есть о ситуациях, когда в процессе машинного обучения ИИ приобретал установки, противоречащие моральным убеждениям его создателя.
Примером проявления такой предвзятости может служить широко обсуждавшийся в 2018 году алгоритм найма Amazon, который предпочитал нанимать мужчин, а не женщин10. Другой пример, имеющий более серьезное общественное значение, — это выявление предвзятости системы назначения методов дополнительного ухода за пациентами в страховой системе США. Эта система основывала свои рекомендации на анализе фактических затрат на лечение у белых и чернокожих пациентов, не учитывая, что чернокожие тратят меньше не потому, что не нуждаются в уходе, а потому, что имеют меньше финансовых возможностей".
Наконец, аналогичная проблема встретилась в работе системы оценки рисков задержания граждан правоохранительными органами. Исторически чернокожие граждане чаще подвергались аресту. Однако мы можем утверждать также, что это происходило в том числе из-за предвзятости правоохранительных органов. Поэтому имеем двоякую ситуацию:
В среднем более высокий уровень риска означает также и больший процент причисленных к категории высокого риска, независимо от того, оправданно это или неоправданно^.
Алгоритм, показывающий, что чернокожие граждане с большей вероятностью будут арестованы, делает как бы верный прогноз. Но в то же самое время для исследователя очевидна цель изменить присутствующую в нем дискриминацию.
10. Dastin J. Amazon Scraps Secret AI Recruiting Tool That Showed Bias Against Women // Reuters. 11.10.2018. URL: https://www.reuters.com/article/us-ama-zon-com-jobs-automation-insight/amazon-scraps-secret-ai-recruiting-tool-that-showed-bias-against-women-idUSKCN1MKo8G.
11. Obermeyer Z. et al. Dissecting Racial Bias in an Algorithm Used to Manage the Health of Populations // Science. 25.10.2019. Vol. 366. № 6464. P. 447-453.
12. Hao K., Stray J. Can You Make AI Fairer Than a Judge? // MIT Technology Review. 17.10.2019. URL: https://www.technologyreview.com/s/613508/ ai-fairer-than-judge-criminal-risk-assessment-algorithm.
Проблема предвзятости еще раз возвращает нас к технологическим особенностям создания ИИ — создатель должен сформировать такой набор данных, который позволит ИИ формировать правильные оценки (и избегать неправильных). Само это требование к создателю, однако, остается весьма проблематичным, но мы поговорим об этом ниже. Сейчас же нам важнее обратить внимание на то, что дискриминирующее поведение ИИ возникает «ортогонально» его основным задачам. Иными словами, ИИ-ре-крутер предпочитает мужчин женщинам не потому, что так хотел его создатель, — он вообще не оценивает моральную составляющую этого предпочтения.
Как выходить из этой ситуации? Должен ли создатель проводить этическую оценку набора данных, на которых он планирует обучать ИИ? И должен ли корректировать эти данные исходя из собственных моральных установок? Или мы можем ожидать, что сам ИИ должен получить некоторую «моральную чувствительность», которая позволит ему оценивать моральные последствия его решений? О том, что означает требование этической оценки, мы будем рассуждать в следующей части статьи, сейчас же имеет смысл проговорить о моральной чувствительности.
Дело в том, что это требование предполагает способность ИИ удерживать более широкий контекст целей и оценок, нежели прагматичное решение одной конкретной задачи. То есть подразумевается переход к более высокой степени развития ИИ — общего ИИ. Однако, обсуждая его функционирование, мы сталкиваемся не с меньшей, а, может быть, с большей проблемой.
Свобода «общего» искусственного интеллекта
Для обозначения ИИ, который будет эквивалентен человеку по уровню, используются понятия artificial general intelligence (AGI), strong AI, human-level AI, true synthetic intelligence, general intelligent system, thinking machine13, которые противопоставляются narrow AI или weak AI. Термин «общий» указывает тут на ключевой на данный момент аспект превосходства человеческого разума над машинным: способность иметь более одной конкретной цели, а также способность эти цели обновлять, менять. Уже
13. Wang P., Goertzel B. Introduction: Aspects of Artificial General Intelligence // Proceedings of the 2007 Conference on Advances in Artificial General Intelligence: Concepts, Architectures and Algorithms: Proceedings of the AGI Workshop, 2006. Amsterdam: IOS Press, 2007. P. 2.
сейчас ИИ превосходит людей в отдельных задачах, но способность воспринимать общий контекст разных задач, переключаться между ними и обновлять цели остается исключительно человеческой.
В то же время именно эта способность непосредственно связана с тем, для чего вообще был изобретен ИИ: он создавался именно для того, чтобы действовать в ситуациях, для которых невозможно прописать ограниченное количество алгоритмов действий. Другими словами, это можно назвать способностью действовать в «открытом мире» — мире, который не имеет постоянного контекста или описания14. Агент, действующий в такой ситуации, должен быть способен самостоятельно менять собственные цели и даже представление о себе.
Наличие способности менять цели, сохраняя единство личности, может описываться как «самость», self-hood, как предлагает, например, Бен Герцель^. Самость ИИ, очевидно, не имеет природы единой телесности и рассматривается как «теория себя» — способ непротиворечиво обобщить эмпирические проявления собственного поведения, предположив некоторое единое объяснение «себя», предсказывающее будущие действия. Такую теорию искусственный агент выстраивает самостоятельно, и, учитывая его рациональность, он в этом эффективнее людей.
Другой аспект, определяющий общий ИИ, — это спонтанность или способность к свободному, «недодетерминированному» суждению, которая может связывать с индуктивным или эмпирическим мышлением. Так, в отличие от логического рассуждения, подчиняющегося необходимым правилам, обобщение чувственного опыта не является необходимым, оно происходит спонтанно. Оно требует «креативности» в кантовском смысле — как способности разума делать предположения в ситуации неопределенности". (Здесь также можно вспомнить идею Поппера о том, что научные гипотезы всегда выдвигаются в ситуации недостаточных оснований.)
14. Scheutz M. The Need for Moral Competency in Autonomous Agent Architectures // Fundamental Issues of Artificial Intelligence / V. C. Müller (ed.). Cham: Springer, 2016. P. 517-527.
15. Goertzel B. Artificial Selfhood: The Path to True Artificial Intelligence // Informatica. 1995. Vol. 19. № 4. URL: http://www.goertzel.org/papers/aipap.html.
16. Maruyama Y. The Conditions of Artificial General Intelligence: Logic, Autonomy, Resilience, Integrity, Morality, Emotion, Embodiment, and Embedded-ness // Artificial General Intelligence. AGI 2020. Lecture Notes in Computer Science. Vol. 12177 / B. Goertzel et al. (eds). Cham: Springer, 2020.
Таким образом, способность ИИ выходить за пределы установленных правил заложена в самой идее ИИ человеческого уровня. Причем эта способность заложена не как ограничение или возможная ошибка: именно этого мы ожидаем от ИИ, для этого он создается. Способность ИИ пересматривать заложенные в него изначально цели и ценности делает гипотезу о контроле создателя над ИИ противоречивой.
Это противоречие еще сильнее обостряется, если рассуждать об ИИ, превосходящем человеческий уровень, — «искусственном сверхинтеллекте» (ИСИ). Термин взят у Ника Бострома, который определяет с его помощью машину, способную улучшать свой код быстрее, чем это делали бы люди17. Представление о таком суперагенте, собственно, формирует эсхатологический страх: ИСИ может уничтожить человечество даже не целенаправленно, а случайно, достигая своих собственных внеморальных целей и рассматривая людей просто как ресурс^. Здесь важно, что мы не рассматриваем эту опасность в качестве ошибки создателей ИИ, как это обычно происходит". Источник опасности ИСИ не в «злой воле» или неправильных целях. «Тезис об ортогональ-ности»—утверждение, что уровень нравственности и уровень интеллекта не зависят друг от друга20, — означает, что ИСИ может уничтожить человечество, достигая собственных внеморальных целей.
Таким образом, мы должны признать, что способность ИИ менять цели и принципы, заложенные в него создателем, связана непосредственно с его идеей. Она присутствует как на уровне гипотетическом — в обсуждении ИИ, равного человеческому интеллекту или превосходящего его, — так и в функционировании систем, построенных на технологиях текущего уровня. Это означает, что для нравственности ИИ должна быть какая-то иная причина, кроме воли его создателя. Что это может быть за причина?
Стоит отметить, что это не совсем вопрос о моральной мотивации в привычном смысле. Когда мы исследуем моральную мотивацию людей, мы исследуем ситуацию «я знаю, как правильно, но не хочу так поступать». А говоря о нравственности ИИ, мы,
17. Bostrom N. Superintelligence: Paths, Dangers, Strategies. N.Y.: Oxford University Press, 2014. P. 17-18.
18. Ibid. P. 141.
19. См., напр.: Amodei D. et al. Concrete Problems in AI Safety // Arxiv.org. 25.07.2016. URL: https://arxiv.org/abs/1606.06565. P. 3.
20. Bostrom N. Op. cit. P. 129.
скорее, исследуем вопрос «Почему я буду считать некоторые цели (моральные) важными и не откажусь от них?». ИИ как бы представляется нам более целостным: если он считает нечто правильным, то будет к этому стремиться.
Природа нравственности искусственного интеллекта
Самое распространенное объяснение моральной мотивации человека — редукция нравственности к его биологической или социальной природе и истории. Под такой редукцией мы предполагаем множество позиций, которые сходятся в том, что мораль является выражением или средством достижения цели при естественном стремлении человека обеспечить собственное выживание и благополучие. Для выживания необходима успешная социальная кооперация, которую обеспечивают нравственность и мораль, закладывающиеся в человеческую природу в процессе биологической эволюции или исторического и культурного развития. Результатом эволюции являются механизмы нервной сии 91
стемы, определяющей моральные реакции .
Такая позиция встречает поддержку еще и потому, что она близка по духу исследованиям нравственности в естественнонаучном ключе22, которые будут упомянуты ниже в обсуждении подходов к созданию ИИ. Сейчас же следует в первую очередь обратить внимание на то, что исследование морали ИИ может начинаться с утверждений вроде «общество всегда пыталось сделать людей более моральными». Но проблема в том, что человеческий альтруизм генетически ограничен3 (заметим, что тут общество — субъект, а люди — просто материал). Или на то, что нравственность — это инструмент для выживания, а эмоции являются ключевой составляющей нравственности постольку, поскольку представляют собой проводник биологической природь^4.
Однако тут есть довольно очевидная проблема: ИИ лишен как биологической, так и социальной природы. И если предположить,
21. Wallach W., Allen C. Moral Machines Teaching Robots Right From Wrong. N.Y.: Oxford University Press, 2008. P. 101-103.
22. См., напр.: Cushman F., Young L. The Psychology of Dilemmas and the Philosophy of Morality // Ethical Theory and Moral Practice. 2009. Vol. 12. № 1. P. 9-24; Boehm C. Moral Origins: The Evolution of Virtue, Altruism, and Shame. N.Y.: Basic Books, 2012.
23. Lara F., Deckers J. Artificial Intelligence as a Socratic Assistant for Moral Enhancement // Neuroethics. 2020. Vol. 13. P. 275-287.
24. Maruyama Y. Op. cit.
что нравственность — это выражение биологии, то ИИ, очевидно, будет ее лишен. Исходя из этого, могут выдвигаться гипотезы о том, что обучение ИИ должно имитировать эволюционный процесс или процесс социализации25. Это предложение, безусловно, может улучшить существующие методы обучения и создания ИИ, но эволюционный или исторический процесс достаточно сложен для того, чтобы рассматривать претензии на его успешное повторение как сомнительные. В этом смысле редукция нравственности к биологии или истории означает признание аморальности ИИ.
Итак, мы можем констатировать: нет никаких гарантий того, что ИИ будет всегда исполнять заложенные в него инструкции — в его идее заложена способность их переосмысливать. Эта способность проявляется уже на уровне слабого ИИ, который выходит из-под контроля своих создателей. Рассчитывать, что моральная мотивация будет заложена в ИИ в процессе биологической эволюции или культурной истории, как это предполагается для человека, также нельзя — ИИ не проходит биологической эволюции и не имеет культурной истории.
С философской точки зрения идея ИИ, достигшего человеческого уровня или превзошедшего его, как бы возвращает в этический дискурс тему, от которой в отношении человека достаточно давно отказались: возвращает в рассуждение о морали представление о свободном субъекте-творце. Ключевой аспект этой идеи заключается в том, что мы не можем заставить ИИ стать моральным. Даже если бы нам удалось найти верные моральные принципы, нет никакой гарантии, что ИИ будет их применять, ведь он создается так, чтобы он мог действовать исходя из собственных побуждений и соображений.
Это ограничение следует перевернуть, превратив в указание на направление для понимания нравственности. С точки зрения методологии мы не можем представить никакой причины для того, чтобы ИИ был нравственным, кроме самой нравственности. Другими словами, ИИ может выбирать нравственный способ действия или способ существования исходя из ценности самой нравственности, а не из внешних условий. Это требование позволит нам в дальнейшем сформировать правильную методологию для исследования нравственности ИИ.
25. Misselhorn C. Op. cit.
Поиск высшего блага в обсуждении морали для искусственного интеллекта. О классификации подходов
Вопрос об имманентной нравственности неожиданным образом перекликается с наблюдениями за дискуссией вокруг методов формирования и содержания морали ИИ. Особенность этой ситуации в том, что вопрос об имманентной нравственности в рамках таких исследований не ставится, но сама позиция исследователя, то, как он оценивает результаты своей работы, показывает ожидания от нравственности лучше, чем прямая рефлексия. Таким образом, вынося сейчас за скобки принципиальные сомнения в возможности заложить в ИИ моральные ограничения, мы рассмотрим проекты создания морали для ИИ с точки зрения проявлений представлений о нравственности.
Подходы к созданию морали для ИИ принято делить на нисходящие (top-down), восходящие (bottom-up) и гибридные. Нисходящий подход предполагает, что в ИИ закладываются моральные принципы, исходя из которых он оценивает ситуации. Восходящий подход предполагает, что ИИ самостоятельно учится определять нравственное поведение на примерах выбора людей. Гибридный подход, соответственно, сочетает наличие общих принципов с технологией обучения.
Классификация и обзор многообразия подходов к созданию морального ИИ не являются непосредственной целью данной работы и заслуживают отдельного рассмотрения. Здесь мы сконцентрируемся не на различиях между подходами, а на той общей установке, которую разделяют исследователи, осуждающие мораль для ИИ. Эта установка заключается в том, что любое исследование или обсуждение фактически данной или возможной морали, моральных норм и принципов предполагает оценку этих норм и принципов. Такое отношение принципиально отличает этику от естественных наук, где никто не ищет законов природы, которые были бы лучше тех, что у нас уже есть.
Оценка фактических моральных норм в восходящем подходе
В рамках восходящего подхода мы имеем дело с рефлексией над полученными моральными нормами. Она запускается вне зависимости от того, в рамках какой именно методологии они были получены: глобального опроса, эмпирического исследования нерв-
ной системы или обобщения методами машинного обучения. Обсуждение этой рефлексии укажет нам направление для понимания имманентного содержания нравственности.
Самый известный пример исследования, проведенного в парадигме восходящего подхода, — это проект Moral Machine Массачу-сетского технологического института. Суть проекта заключается в том, чтобы собрать мнения людей о выборе, который должен совершить автономный автомобиль в ситуации, когда причинение вреда другому участнику дорожного движения неизбежно. Грубо говоря, участники эксперимента отвечали на вопросы в духе «должен ли он сбить пожилую женщину или молодого мужчину», «трех кошек или девушку» и т. д. В некотором смысле в этом эксперименте человечество в целом рассматривается в качестве большой машины или системы, которая производит моральные суждения в сложных ситуациях. Понимание схемы работы этой «естественной» машины должно дать нам понимание, какой должна быть «искусственная» машина. Главной целью исследования называется поиск универсальной этики, основанной на том, как различные индивиды и культуры могут различаться своими этическими предпочтениями26.
Благодаря масштабному исследованию теперь мы знаем, что в некоторых странах предпочли бы, чтобы автономный автомобиль наехал на молодую девушку, а не на старушку, тогда как в других странах — наоборот. Но что нам делать с этим знанием дальше? Должны ли разработчики ИИ реализовать региональную логику? В границах регионального, национального или культурного права определять, что такое хорошо и что такое плохо? Или следует настаивать на единых глобальных ценностях? Каковы должны быть эти ценности? Конечно, авторы Moral Machine и не претендовали на то, чтобы в результате одного исследования сформировать «нравственный кодекс автономного автомобиля». Цель заключалась только в том, чтобы выявить возможности консенсуса и начать формирование общей дискуссии. Собственно, главный результат исследования — это утверждение о возможности такого консенсуса или признание того, что конфликты и, как следствие, отсутствие согласия между разными культурами существенны, но не фатальный (интересно, что критерии «фатальности» расхождений, вообще говоря, не определены однозначно).
26. Awad E. et al. The Moral Machine Experiment // Nature. 2018. Vol. 563. P. 59.
27. Ibid. P. 61.
Говоря о выводах эксперимента, нам кажется важным обратить внимание не столько на сложности формирования единой морали (то, что мораль — сложная и неоднозначная сфера, давно известно), сколько на позицию исследователя, который в этой ситуации находится фактически вне данной морали и должен, «несмотря на» нее, принимать решение о том, каким быть ИИ. Да, эта ситуация во многом создана разнообразием моральных позиций, выявленных в результате исследования, — наличие разных точек зрения само по себе заставляет выбирать одну из них. Однако ни какая-либо из региональных моралей, ни текущий консенсус не воспринимаются в качестве истины, которую нужно использовать в своих дальнейших построениях. Исследователя может не устроить содержание регионального или даже всеобщего консенсуса. И речь вовсе не о том, что никакая из полученных моралей не рассматривается в качестве финальной истины: в естественных науках также нет финальной истины. Но в данном случае моральный консенсус не воспринимается даже в качестве наилучшей из гипотез, которую нужно им-плементировать сейчас. Этот эксперимент имплицитно ставит вопрос о том, разумно ли в определении морального должного следовать за любой данной моралью. И показывает, что на вопрос о том, какова должна быть мораль, не может быть эмпирического ответа.
Собственно говоря, нечто похожее, только в более острой форме, мы наблюдали в проблеме предвзятости, которую обсуждали ранее: полученное в результате машинного обучения отражение фактических представлений людей о правильном выборе может быть морально неприемлемым (или хотя бы морально спорным). Получается, что создатель ИИ не может просто занимать позицию принятия реальности «как она есть». Вместо этого он ожидает от ИИ, что тот будет действовать не исходя из того, «каков мир есть», но исходя из того, «каким мы хотим его видеть». Если ИИ, оценивающий риск привлечения за правонарушение, сообщает нам, что среди чернокожих граждан этот риск выше, то а) можно признать это как факт, б) можно признать, что, несмотря на это, нам не следует относиться к ним с большей подозрительностью, потому что цели равноправия нам важнее. Таким образом, тут опять присутствует логика, выводящая исследователя или создателя ИИ за пределы фактической морали.
Таким образом, общепризнанным становится требование рефлексии, контроля и исправления поведения нравственных агентов вне зависимости от того, были ли в них заложены этиче-
ские правила или они учились самостоятельно28. И это требование означает, что исследователь, оценивающий нравственность реальности и вычищающий из данных неотрефлексированные предрассудки, неизбежно сталкивается с проблемой следующего уровня: он должен выработать методологию и выбрать позицию, с которой производится оценка. Причем исследователь не просто выбирает «одну из» равноценных позиций, утверждая, скажем, что «мораль академического сообщества предпочтительней, чем мораль правоохранительных органов». Он ищет точку зрения, внеположную любым фактически данным моральным нормам, такую точку зрения, с которой можно будет оценивать эти нормы.
Как мы уже говорили, такое отношение проявляется не только в проектах, собирающих моральные суждения разных индивидов, групп или культур. Аспектом этой же ситуации является наблюдение относительно историчности морали. Как метко замечают Ник Бостром и Элиезер Юдковский, изобретенный Архимедом ИИ считал бы рабство морально приемлемым29. Моральные установки, очевидно, меняются со временем, а это значит, что, даже если нам удалось избежать появления у ИИ предрассудков, предосудительных с нашей точки зрения, это не означает, что будущие поколения сойдутся с нами в оценке. В каком-то смысле это означает, что создатель ИИ должен либо расписаться в собственной неспособности создать нравственный ИИ, либо заняться поиском таких моральных норм, которые претендовали бы на вечность.
Схожую ситуацию мы можем наблюдать в эмпирических исследованиях морали, где исследователь, исходящий из детерминированности нравственности функционированием нервной системы, в конечном счете спрашивает себя, «достаточно ли хороша для нас такая мораль». Так происходит, например, в работах Джошуа Грина, посвященных моральным интуициям, где проверяется гипотеза о корреляции между функционированием нервной системы и принципом принятия решений — утилитаризмом и деонтологией. Грин показывает, что различные формулировки моральных дилемм (персональная и имперсо-нальная) активизируют различные участки мозга, и соотносит активизацию частей мозга, отвечающих за интуицию, с деонто-
28. Butkus M. A. The Human Side of Artificial Intelligence // Science and Engineering Ethics. 2020. Vol. 26. P. 2427-2437.
29. Bostrom N., Yudkowsky E. Op. cit. P. 16-17.
логическим принятием решения, а отвечающих за рациональное
so
рассуждение — с консеквенциализмом 0
Самое же интересное в исследовании Грина для нас — это рефлексия самого исследователя о результатах. После утверждения эволюционной природы интуиции Грин спрашивает: «Что если хорошие с биологической точки зрения интуиции — плохи с точки зрения моральной?»3! Где «плохими» с моральной точки зрения однозначно определяются «корысть или непрямая корысть, выраженная в предпочтении интересов собственной группы (трайбализм)». Этот вопрос о моральной приемлемости интуиций, вообще говоря, разрушает саму эмпирическую парадигму. Противопоставление морального и биологического невозможно в логике биологического редукционизма: если мораль—это функция нервной системы, сложившейся в результате эволюционного процесса, то интуиции не могут быть «плохими с моральной точки зрения», так как никакой собственной «моральной точки зрения», отдельной от констатации биологических фактов, быть не может.
Рефлексия Грина в отношении результатов собственного исследования очень ярко демонстрирует ситуацию, общую для эмпирических исследований и восходящего подхода: получив описание фактически данной морали, исследователь задается вопросом о ее приемлемости, выходя таким образом за пределы эмпирической установки. Но чем порождается этот вопрос? Почему вместо принятия моральной реальности, в которой мы существуем, следует устанавливать лучшую реальность?
В конкретном практическом случае с предвзятостью еще можно говорить о том, что академический ученый противопоставляет свою мораль нормам обычных людей, утверждая «превосходство» собственной позиции. Но в исследованиях, исходящих из объективной данности разных позиций, как Moral Machine или исследования Грина, сама идея лучшей морали кажется сомнительной. Причем замечание о том, что превосходство одной моральной системы над другой сложно обосновать (необходимо разрабатывать принципы оценки), — это только первый, поверхностный слой. Более глубоким будет вопрос о том, зачем вообще обосновывать превосходство одной моральной системы над другой.
Это «зачем» кажется нам очень важным: оно показывает ожидание исследователя от морали. Фактически получается, что он
30. Cushman F., Young L. Op. cit. P. 11.
31. Greene J. The Rat-a-Gorical Imperative: Moral Intuition and the Limits of Affective Learning // Cognition. October 2017. Vol. 167. P. 6.
желает получить моральный принцип, превосходящий любые данные в опыте нормы. Он ожидает, что «правильная» мораль будет лучше той, которая у нас уже есть. И это ожидание не обосновано никакими фактами, кроме самого факта наличия такого ожидания. На основании этого замечания мы делаем вывод о том, что попытки построить мораль, фиксируя и обобщая фактические нормы, показывают нравственность как способность превосходить фактически данное, превосходить те нормы, которые сейчас разделяются сообществом или заложены в нас биологически.
Ожидания от моральных принципов в нисходящем подходе
Итак, дискуссия, возникающая при обсуждении итогов восходящего подхода, с необходимостью возвращает разговор о морали для ИИ в спекулятивное русло, характерное для нисходящего подхода. И, как мы покажем далее, обсуждение моральных принципов или ценностей основано на ожиданиях, схожих с теми, которые демонстрирует обсуждение фактов морального устройства.
Вообще у реализации нисходящего подхода множество примеров. На уровне построения моделей к нему относятся идеи морали ИИ, основанные на внедрении общих философских принципов, например кантовской философии32. На уровне прикладных решений мы имеем дело с более конкретными моральными нормами, например медицинской этикой, как в случае с Med-EthExзз. Причем такие прикладные примеры очень хорошо показывают практическую гибкость — при необходимости внедрить ИИ в несколько иной контекст, принципы легко модифицируются. Так, система для гериатрического ухода отличается по принципам от общей медицинской системы^, и в этом нет никакого методологического противоречия.
Вместе с тем, обсуждая нисходящий подход, мы не будем концентрироваться на самих спорах о том, как лучше выбрать принципы, или о том, с помощью каких технологий или механик они закладываются в ИИ. Вместо этого мы поговорим о логике обоснования того, что именно моральные ценности должны исполь-
32. Powers T. Prospects for a Kantian Machine // IEEE Intelligent Systems. 2006. Vol. 21. № 4. P. 46-51.
33. Anderson M., Anderson S. Machine Ethics: Creating an Ethical Intelligent Agent // AI Magazine. 2007. Vol. 28. № 4. P. 15-26.
34. Misselhorn C. Op. cit.
зоваться при создании ИИ. Это обоснование позволит нам выделить те ожидания от моральных ценностей, которые указывают на имманентное содержание нравственности.
Показать эти ожидания нам кажется уместным на примере логики, изложенной в работе Ясона Габриэля «Искусственный интеллект, ценности и согласование» (Artificial Intelligence, Values, and Alignment, 2020). В ней обсуждается проблема согласования принципов поведения ИИ с моральными ценностями и нормами. В рамках этой задачи Габриэль обосновывает необходимость регулирования ИИ именно на основе моральных ценностей, а не прямых инструкций или обязанности заботиться о «благополучии людей». И логика самого этого обоснования, и обсуждение моральных ценностей показывают ожидания исследователя от морали и таким образом позволяют сделать вывод о содержании нравственности.
Обосновывая необходимость согласования ИИ именно с моральными ценностями, Габриэль последовательно разбирает несколько оснований, с которыми может согласовываться поведение ИИ: инструкции, высказанные намерения, реальные предпочтения (предпочтения, о которых можно сделать вывод, наблюдая за реальным поведением индивидов), правильные предпочтения (чего желал бы рациональный и информированный индивид), благополучие индивида (то, что приводит к благополучию), ценности (то, что индивид должен желать или делать).
Интересно заметить, что инструкции и высказанные намерения — два самых очевидных способа установить нравственность ИИ — не подходят по причинам, которые можно отнести к «слабости» человеческого разума или коммуникативного аппарата. Пример неудачной инструкции находится в мифе о царе Мидасе. Наши намерения, даже если они ясно выражены, могут быть неправильными — иррациональными, ошибочными или вредными и неэтичными35. Это очень важный переход в мысли — здесь производится оценка норм или целей, и нам важно обратить внимание на то, с какой позиции она производится.
Так, неудачные инструкции еще могут оцениваться с чисто логической или рациональной точки зрения — пожелание царя Ми-даса не выражает в действительности того, что он хочет. В этом смысле критерием для оценки инструкций является коммуникативный успех, и оценка объективна: можно довольно точно определить, хотел ли агент тех последствий, к которым привели его
35. Gabriel I. Op. cit.
инструкции. А вот в оценке высказанных намерений уже появляется переход к чему-то менее строгому: намерения могут быть вредными (harmful) или неэтичными. Такая оценка предполагает наличие какой-то процедуры, кроме обычной рациональности и последовательности.
Далее, начиная уже с третьего пункта (реальные предпочтения), ИИ получает еще большую самостоятельность в отношении оценки ситуации и целеполагания: он решает, что именно «я предпочитаю на самом деле», а затем и «чего мне следовало бы желать ради собственного благополучия» и тем более «что я должен делать». Безотносительно к основной теме мы можем увидеть здесь глубокое недоверие к человеку и доверие к искусственной рациональности, которая, скорее всего, будет лучше индивида знать, чего именно он должен хотеть.
Здесь следует задать вопрос о том, с какой позиции ИИ будет оценивать, например, благополучие или долженствование. Если критерием перестает быть высказывание или желание человека, это означает, что этот критерий важнее его желаний и намерений. Этот момент кажется нам критическим для понимания всего рассуждения: если ИИ может лучше людей определять, как вести себя, это означает, что он будет опираться в своем рассуждении на что-то более важное, чем мнение человека, исходить из позиции, превосходящей его интересы.
Именно так происходит, когда долженствование заменяет желания: одна из проблем связана с действиями, приводящими к личному благополучию, но наносящими вред другим или обществу в целом (пример из текста Габриэля — воровство). Необходимость принимать решение о том, чтобы предпочесть чужие интересы своим, может возникнуть только в перспективе моральных ценностей, то есть когда «агент делает то, что должен». Признание моральных ценностей в качестве наилучшего варианта для формирования поведения ИИ показывает, что они нужны, поскольку они выше, важнее актуальных интересов и мнений людей и оказываются своего рода горизонтом: определяют движение, оставаясь принципиально недостижимыми или внеположными.
Это в полной мере проявляется в обсуждении потенциальных моральных ценностей (в качестве примера приводятся «любовь, дружба, справедливость, окружающая среда, свобода, равенство и т. д.») и процедур их выбора. Обсуждая возможную процедуру достижения консенсуса относительно набора ценностей, Габриэль предлагает три варианта: выявление принципов, в отношении которых разные культуры и моральные кодексы совпада-
ют (например, права человека); выявление совпадений не в явных положениях кодексов, а через «занавес неведения»; установление специальной процедуры (вроде демократического голосования), которая позволит принимать признаваемое всеми решение без достижения консенсуса.
В каждом из этих вариантов проявляется одна и та же проблема: сами идеи моральных ценностей могут быть поняты очень по-разному. В отношении консенсуса о «минимальном наборе» прав или ценностей мы имеем дело с сомнением в том, что «ключевые термины и ценности могут лишь выполнять функцию „замещения" (placeholders), скрывая существенные разногласия»36. То есть консенсус относительно ценности «справедливости» определяется тем, что этот термин рассматривается как синоним «одобряемого, правильного устройства общества», но никакого консенсуса относительно содержания такого справедливого устройства на самом деле нет. С похожей проблемой мы имеем дело, когда необходимо договориться об общей процедуре принятия решения без достижения консенсуса: также на верхнем уровне понятно, что такая процедура должна быть честной и прозрачной, но определение «честности» необходимо дать до начала самой процедуры.
Таким образом, мы видим, что моральные ценности вовсе не даны в качестве ясных, конкретных установок, они не являются фактами — фактами общественного мнения, механизмов психики, нервной системы, равно как и фактом консенсуса в отношении определения. Они скорее функционируют как указатели на некоторую цель или некоторое содержание, которое пытаются выразить. Поэтому, как замечает сам Габриэль, моральные ценности являются предметом веры, то есть «ИИ должен быть согласован с верой в ценности, а не с ценностями как таковыми»^7. Так, справедливость — это не конкретное представление о правильном устройстве общества, а смутный идеал, который конструируется, а не констатируется. Это вера в то, что существует нечто называемое справедливостью или нечто выражаемое в ней.
Суммируя наши замечания, скажем, что сама необходимость обращаться к моральным ценностям как необходимому основанию для управления поведением ИИ определяется ожиданием, что именно такие ценности превосходят ошибочные представления людей и могут выразить благо или выгоду, которые превыше
36. Gabriel I. Op. cit. P. 428.
37. Ibidem.
частных интересов. Эти моральные ценности не даны в качестве реальных фактов или платформы, они скорее только обозначают направление, нереализованную попытку схватить такое превосходящее благо. В этом смысле моральные ценности остаются предметом веры.
Заключение
Что это наблюдение говорит нам о нравственности? Можем ли мы сделать вывод о ее имманентном содержании, то есть о таком содержании, которое может быть ценным само по себе, без всяких внешних причин и условий, о таком содержании, ради которого можно было бы выбирать нравственность без всякой внешней причины?
Обсуждая восходящий подход, мы видели, что каждый ученый, получающий моральные факты, занимается их переоценкой. Исследователь занимает критическую позицию: любые моральные установления или их объяснения рассматриваются как недостаточные, а их оценка как бы осуществляется с позиции, находящейся за пределами данного опыта. Возможность такой позиции, возможность морали более правильной, чем уже данная в опыте, не основана ни на каких фактах и остается просто предметом веры. Мы полагаем, что сам факт этой уверенности в возможности превзойти сформированные эволюционно или обусловленные исторически и культурно нормы и составляет содержание нравственности. Он позволяет нам описывать нравственность в качестве способности стремиться к благу, превосходящему любое данное в опыте.
Обоснование нисходящего подхода, то есть управления логикой поведения ИИ, основываясь на моральных ценностях, показывает нам ожидания от моральных ценностей, которые также хорошо соотносятся с предыдущим выводом. Сама необходимость обращения к ним основывается на идее о том, что моральные ценности и моральное долженствование превосходят наличные интересы людей и их представления о собственном благе. Процедура определения набора таких ценностей демонстрирует, что они функционируют скорее как указание на возможное содержание или выражение намерения, а не как фиксация конкретного консенсуса. Поэтому само рассуждение о моральных ценностях имеет смысл только с опорой на веру в их возможность. Таким образом, рассуждая о нравственности для ИИ, мы приходим к идее о том, что нравственность представляет собой веру в наличие не-
которого блага, превосходящего любые данные интересы и моральные установления. Это благо не сводится к фактам устройства природы или общества, не сводится ни к какому актуальному консенсусу — нравственность постоянно запускает деятельность по пересмотру, переоценке любого ориентира, оставаясь при этом стремлением к высшему благу, для утверждений о существовании которого нет никаких оснований.
Это хорошо связывается с требованием имманентности, которое мы обсуждали в первой части работы. ИИ свободен в выборе собственного способа существования и собственных ценностей. Он не может быть нравственным, потому что такова его биологическая или социальная природа — ее у него нет. И не может быть нравственным, потому что так определил его создатель: в самой его идее и технологии заложена способность пересматривать собственные цели. Поэтому выбор ИИ быть нравственным может быть определен только внутренним содержанием самой нравственности; можно быть нравственным только ради нее самой.
Нравственность, основанная на вере в высшее благо, не нуждается ни в каких внешних основаниях — разделить такую нравственность значит разделить веру в возможность высшего блага. Собственно, сама структура этического исследования уже указывает на это: оценка данных моральных норм необходима в контексте этой веры. Разделить веру в то, что возможно действовать в соответствии с благом, превосходящим любые наличные интересы, значит иметь мотивацию действовать ради такого блага. Таким образом, теоретически мы получаем возможность говорить об имманентной нравственности, которая представляет собой веру в благо, превосходящее любую данность.
Осознав эту теоретическую возможность, мы можем обозначить и направление для исследования ее в качестве возможности практической. Если способность быть нравственным определяется как способность верить в превосходящее благо, то практическое исследование, практические способности ИИ к такой вере — это и есть способ понять, будет ли ИИ действовать морально. Это, в свою очередь, формирует направление для действительного исследования этики ИИ. Определение способности искусственного агента действовать морально тождественно определению его способности к вере в нравственный идеал. Именно практическое исследование такой способности, а не изобретение хитроумных ограничений способно ответить на вопрос, может ли ИИ быть нравственным.
Библиография
Allen C., Varner G., Zinser J. Prolegomena to Any Future Artificial Moral
Agent // Journal of Experimental & Theoretical Artificial Intelligence. 2000. Vol. 12. № 3. P. 251-261.
Amodei D., Olah C., Steinhardt J., Christiano P., Schulman J., Mané D. Concrete Problems in AI Safety // Arxiv.org. 25.07.2016. URL: https://arxiv.org/ abs/1606.06565.
Anderson M., Anderson S. Machine Ethics: Creating an Ethical Intelligent Agent // AI Magazine. 2007. Vol. 28. № 4. P. 15-26.
Awad E., Dsouza S., Kim R., Schulz J., Henrich J., Shariff A., Bonnefon J.-F.,
Rahwan I. The Moral Machine Experiment // Nature. 2018. Vol. 563. P. 59-64.
Aytar Y., Pfaff T., Budden D., Le Paine T., Wang Z., de Freitas N. Playing Hard Exploration Games by Watching YouTube // Arxiv.org. 30.11.2018. URL: https://arxiv.org/abs/1805.11592.
Boehm C. Moral Origins: The Evolution of Virtue, Altruism, and Shame. N.Y.: Basic Books, 2012.
Bostrom N. Superintelligence: Paths, Dangers, Strategies. N.Y.: Oxford University Press, 2014.
Bostrom N., Yudkowsky E. The Ethics of Artificial Intelligence // The Cambridge
Handbook of Artificial Intelligence. Cambridge; N.Y.: Cambridge University Press, 2014. P. 316-334.
Butkus M. A. The Human Side of Artificial Intelligence // Science and Engineering Ethics. 2020. Vol. 26. P. 2427-2437.
Cushman F., Young L. The Psychology of Dilemmas and the Philosophy of
Morality // Ethical Theory and Moral Practice. 2009. Vol. 12. № 1. P. 9-24.
Dastin J. Amazon Scraps Secret AI Recruiting Tool That Showed Bias Against
Women // Reuters. 11.10.2018. URL: http://reuters.com/article/us-amazon-
com-jobs-automation-insight/amazon-scraps-secret-ai-recruiting-tool-that-
showed-bias-against-women-idUSKCN1MK08G.
Gabriel I. Artificial Intelligence, Values, and Alignment // Minds & Machines. 2020. Vol. 30. № 3. P. 411-437.
Goertzel B. Artificial Selfhood: The Path to True Artificial Intelligence // Informatica. 1995. Vol. 19. № 4. URL: http://goertzel.org/papers/aipap.html.
Greene J. The Rat-a-Gorical Imperative: Moral Intuition and the Limits of Affective Learning // Cognition. October 2017. Vol. 167. P. 66-77.
Guidance for Regulation of Artificial Intelligence Applications // The White House. January 2020. URL: http://whitehouse.gov/wp-content/uploads/2020/01/ Draft-OMB-Memo-on-Regulation-of-AI-1-7-19.pdf.
Hao K., Stray J. Can You Make AI Fairer Than a Judge? // MIT Technology Review. 17.10.2019. URL: http://technologyreview.com/sZ613508/ ai-fairer-than-judge-criminal-risk-assessment-algorithm.
Hull D., Smith T. Tesla Driver Died Using Autopilot, With
Hands Off Steering Wheel // Bloomberg.com. 30.03.2018. URL: http://bloomberg.com/news/articles/2018-03-31/ tesla-says-driver-s-hands-weren-t-on-wheel-at-time-of-accident.
Lara F., Deckers J. Artificial Intelligence as a Socratic Assistant for Moral Enhancement // Neuroethics. 2020. Vol. 13. P. 275-287.
Maruyama Y. The Conditions of Artificial General Intelligence: Logic,
Autonomy, Resilience, Integrity, Morality, Emotion, Embodiment, and
Embeddedness // Artificial General Intelligence. AGI 2020. Lecture Notes in Computer Science. Vol. 12177 / B. Goertzel, A. Panov, A. Potapov, R. Yampolskiy (eds). Cham: Springer, 2020. P. 242-251.
Misselhorn C. Artificial Systems With Moral Capacities? A Research Design and Its Implementation in a Geriatric Care System // Artificial Intelligence. 2020. Vol. 278. 103179.
Moor J. The Nature, Importance, and Difficulty of Machine Ethics // IEEE Intelligent Systems. 2006. Vol. 21. № 4. P. 18-21.
Obermeyer Z., Powers B., Vogeli C., Mullainathan S. Dissecting Racial Bias in an Algorithm Used to Manage the Health of Populations // Science. 25.10.2019. Vol. 366. № 6464. P. 447-453.
Powers T. Prospects for a Kantian Machine // IEEE Intelligent Systems. 2006. Vol. 21. № 4. P. 46-51.
Russell S., Norvig P. Artificial Intelligence: A Modern Approach. 4th ed. N.Y.: Pearson, 2020.
Scheutz M. The Need for Moral Competency in Autonomous Agent
Architectures // Fundamental Issues of Artificial Intelligence / V. C. Muller (ed.). Cham: Springer, 2016. P. 517-527.
Troy G., Wakabayashi D. How a Self-Driving Uber Killed a Pedestrian in Arizona // New York Times. 21.03.2018. URL: http://nytimes.com/ interactive/2018/03/20/us/self-driving-uber-pedestrian-killed.html.
Wallach W., Allen C. Moral Machines Teaching Robots Right From Wrong. N.Y.: Oxford University Press, 2008.
Wang P., Goertzel B. Introduction: Aspects of Artificial General
Intelligence // Proceedings of the 2007 Conference on Advances in Artificial General Intelligence: Concepts, Architectures and Algorithms: Proceedings of the AGI Workshop, 2006. Amsterdam: IOS Press, 2007. P. 1-16.
Why Google Thinks We Need to Regulate AI // Financial Times. 20.01.2020. URL: http://ft.com/content/3467659a-386d-11ea-ac3c-f68c10993b04.
Yun Chee F. EU Mulls Five-Year Ban on Facial Recognition Tech in Public Areas // Reuters. 16.01.2020. URL: http://reuters.com/article/ us-eu-ai-idUSKBN1ZF2QL.
THE MORAL OF ARTIFICIAL INTELLIGENCE: A CHANCE TO RECONSIDER PHILOSOPHY
Andrey Zheleznov. Associate Professor at the Social Philosophy Chair,
Department of Philosophy, itsnomoredancing@gmail.com.
Ural Federal University (UrFU), 51 Lenin Ave., 620083 Yekaterinburg, Russia.
Keywords: morality; artificial intelligence; machine learning; general artificial intelligence; moral motivation.
The attempt to establish the conditions of moral behavior for artificial intelligence (AI) leads to the idea that morality is the pursuit of a good that transcends any given experience. The ability to believe in such a good and to relate to it makes it possible for the AI to be moral. This claim is based on two observations. The very idea of AI presupposes that it is impossible to set any rules or principles that AI could not rethink, modify, or ignore. We can already see how disregard for such principles arises in AI-based technologies and how it encounters a limit in reasoning about possible future artificial agents. However, this should be considered an indication that the artificial agent will choose moral behavior only for its own content and not as a restriction. In a philosophical sense, this entails an inquiry about the immanent content of morality.
In order to see this immanent content, it will be instructive to observe the way in which the study of morality or attempts to construct a morality for a machine are carried out. It is clear enough that attempts to form principles of behavior for AI involve a move to transcend any moral standards that have in fact been given. This indicates that the very content of morality is a search for a kind of good that would surpass any given experience. By definition of "good" (or based on its conception), a good that cannot be given in experience turns out to be an object of faith. The ability to believe in such a higher good could be the basis for AI to act morally.
DOI: 10.22394/0869-5377-2021-6-95-119
References
Allen C., Varner G., Zinser J. Prolegomena to Any Future Artificial Moral Agent. Journal of Experimental & Theoretical Artificial Intelligence, 2000, vol. 12, no. 3, pp. 251-261.
Amodei D., Olah C., Steinhardt J., Christiano P., Schulman J., Mané D. Concrete
Problems in AI Safety. Arxiv.org, July 25, 2016. Available at: https://arxiv.org/ abs/1606.06565.
Anderson M., Anderson S. Machine Ethics: Creating an Ethical Intelligent Agent.
AI Magazine, 2007, vol. 28, no. 4, pp. 15-26. Awad E., Dsouza S., Kim R., Schulz J., Henrich J., Shariff A., Bonnefon J.-F.,
Rahwan I. The Moral Machine Experiment. Nature, 2018, vol. 563, pp. 5964.
Aytar Y., Pfaff T., Budden D., Le Paine T., Wang Z., de Freitas N. Playing Hard Exploration Games by Watching YouTube. Arxiv.org, November 30, 2018. Available at: https://arxiv.org/abs/1805.11592. Boehm C. Moral Origins: The Evolution of Virtue, Altruism, and Shame, New York, Basic Books, 2012.
Bostrom N. Superintelligence: Paths, Dangers, Strategies, New York, Oxford University Press, 2014.
Bostrom N., Yudkowsky E. The Ethics of Artificial Intelligence. The Cambridge
Handbook of Artificial Intelligence, Cambridge, New York, Cambridge University Press, 2014, pp. 316-334.
Butkus M. A. The Human Side of Artificial Intelligence. Science and Engineering Ethics, 2020, vol. 26, pp. 2427-2437.
Cushman F., Young L. The Psychology of Dilemmas and the Philosophy of Morality. Ethical Theory and Moral Practice, 2009, vol. 12, no. 1,
pp. 9-24.
Dastin J. Amazon Scraps Secret AI Recruiting Tool That Showed Bias Against
Women. Reuters, October 11, 2018. Available at: http://reuters.com/article/us-
amazon-com-jobs-automation-insight/amazon-scraps-secret-ai-recruiting-
tool-that-showed-bias-against-women-idUSKCN1MK08G.
Gabriel I. Artificial Intelligence, Values, and Alignment. Minds & Machines, 2020, vol. 30, no. 3, pp. 411-437.
Goertzel B. Artificial Selfhood: The Path to True Artificial Intelligence. Informatica, 1995, vol. 19, no. 4. Available at: http://goertzel.org/papers/aipap.html.
Greene J. The Rat-a-Gorical Imperative: Moral Intuition and the Limits of Affective Learning. Cognition, October 2017, vol. 167, pp. 66-77.
Guidance for Regulation of Artificial Intelligence Applications. The White
House, January 2020. Available at: http://whitehouse.gov/wp-content/ uploads/2020/01/Draft-OMB-Memo-on-Regulation-of-AI-1-7-19.pdf.
Hao K., Stray J. Can You Make AI Fairer Than a Judge? MIT Technology Review, October 17, 2019. Available at: http://technologyreview.com/sZ613508/ai-fairer-than-judge-criminal-risk-assessment-algorithm.
Hull D., Smith T. Tesla Driver Died Using Autopilot, With Hands Off Steering Wheel. Bloomberg.com, March 30, 2018. Available at: http://bloomberg.com/news/ articles/2018-03-31/tesla-says-driver-s-hands-weren-t-on-wheel-at-time-of-accident.
Lara F., Deckers J. Artificial Intelligence as a Socratic Assistant for Moral Enhancement. Neuroethics, 2020, vol. 13, pp. 275-287.
Maruyama Y. The Conditions of Artificial General Intelligence: Logic, Autonomy, Resilience, Integrity, Morality, Emotion, Embodiment, and Embedded-ness. Artificial General Intelligence. AGI 2020. Lecture Notes in Computer Science, vol. 12177 (eds B. Goertzel, A. Panov, A. Potapov, R. Yampolskiy), Cham, Springer, 2020, pp. 242-251.
Misselhorn C. Artificial Systems With Moral Capacities? A Research Design and Its Implementation in a Geriatric Care System. Artificial Intelligence, 2020, vol. 278, 103179.
Moor J. The Nature, Importance, and Difficulty of Machine Ethics. IEEE Intelligent Systems, 2006, vol. 21, no. 4, pp. 18-21.
Obermeyer Z., Powers B., Vogeli C., Mullainathan S. Dissecting Racial Bias in an Algorithm Used to Manage the Health of Populations. Science, October 25, 2019, vol. 366, no. 6464, pp. 447-453.
Powers T. Prospects for a Kantian Machine. IEEE Intelligent Systems, 2006, vol. 21, no. 4, pp. 46-51.
Russell S., Norvig P. Artificial Intelligence: A Modern Approach, 4th ed., New York, Pearson, 2020.
Scheutz M. The Need for Moral Competency in Autonomous Agent Architectures. Fundamental Issues of Artificial Intelligence (ed. V. C. Muller), Cham, Springer, 2016, pp. 517-527.
Troy G., Wakabayashi D. How a Self-Driving Uber Killed a Pedestrian in Arizona. New York Times, March 21, 2018. Available at: http://nytimes.com/interac-tive/2018/03/20/us/self-driving-uber-pedestrian-killed.html. Wallach W., Allen C. Moral Machines Teaching Robots Right From Wrong, New York,
Oxford University Press, 2008. Wang P., Goertzel B. Introduction: Aspects of Artificial General Intelligence. Proceedings of the 2007 Conference on Advances in Artificial General Intelligence: Concepts, Architectures and Algorithms: Proceedings of the AGI Workshop, 2006, Amsterdam, IOS Press, 2007, pp. 1-16. Why Google Thinks We Need to Regulate AI. Financial Times, January 20, 2020.
Available at: http://ft.com/content/3467659a-386d-11ea-ac3c-f68c10993b04. Yun Chee F. EU Mulls Five-Year Ban on Facial Recognition Tech in Public Areas.
Reuters, January 16, 2020. Available at: http://reuters.com/article/us-eu-ai-idUSKBN1ZF2QL.
