CC BY
15https://doi.org/10.48417/technolang.2022.01.07 Research article
You, Robot: on the Linguistic Construction of Artificial
Others1
Mark Coeckelbergh (0) University of Vienna, Universitatsring 1, 1010 Vienna, Austria mark.coeckelbergh@univi e.ac.at
Abstract
How can we make sense of the idea of 'personal' or 'social' relations with robots? Starting from a social and phenomenological approach to human-robot relations, this paper explores how we can better understand and evaluate these relations by attending to the ways our conscious experience of the robot and the human-robot relation is mediated by language. It is argued that our talk about and to robots is not a mere representation of an objective robotic or social-interactive reality, but rather interprets and co-shapes our relation to these artificial quasi-others. Our use of language also changes as a result of our experiences and practices. This happens when people start talking to robots. In addition, this paper responds to the ethical objection that talking to and with robots is both unreal and deceptive. It is concluded that in order to give meaning to human-robot relations, to arrive at a more balanced ethical judgment, and to reflect on our current form of life, we should complement existing objective-scientific methodologies of social robotics and interaction studies with interpretations of the words, conversations, and stories in and about human-robot relations. This is the Russian translation of Mark Coeckelbergh's "You, robot: on the linguistic construction of artificial others" which is available as an open access publication by the journal AI & Society. Six commentaries and Mark Coeckelbergh's response are published along with this translation.
Keywords: Human-robot relations; Robot ethics, Language; Phenomenology; Hermeneutics
Citation: Coeckelbergh M. (2022). You, robot: on the linguistic construction of artificial others. Technology and Language, 3(1), 57-75. https://doi.org/10.48417/technolang.2022.01.07
This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License
1 This paper is the Russian translation of article Coeckelbergh, M. (2011). You, Robot: on the Linguistic Construction of Artificial Others. AI & Society, 26(1), 61-69. https://doi.org/10.1007/s00146-010-0289-z
УДК 1: 62-529
https://doi.org/10.48417/technolang.2022.01.07 Научная статья
Ты, робот: О лингвистическом конструировании
2
искусственных других2
Марк Кекельберг (И) Венский университет, Университет-ринг 1, 1010 Вена, Австрия mark.coeckelbergh@univi e.ac.at
Аннотация
Как мы можем понять идею "личных" или "социальных" отношений с роботами? Начиная с социального и феноменологического подхода к отношениям человека и робота, в этой статье исследуется, как мы можем лучше понять и оценить эти отношения, обращая внимание на то, как наш сознательный опыт взаимодействия с роботом и отношениями человека и робота опосредуется языком. Утверждается, что наши разговоры о роботах - это не просто представление объективной роботизированной или социально-интерактивной реальности, а, скорее, интерпретация и формирование нашего отношения к этим искусственным квазидругим. Наше использование языка также меняется в результате нашего опыта и практики. Это происходит, когда люди начинают разговаривать с роботами. Кроме того, эта статья является ответом на возражение этического характера о том, что разговор с роботами не реальность или обман. Делается вывод, что для того, чтобы придать смысл отношениям между человеком и роботом, прийти к более сбалансированному этическому представлению и поразмышлять о нашей нынешней форме жизни, мы должны дополнить существующие объективно-научные методологии социальной робототехники и исследований взаимодействия интерпретациями слов, разговоров и историй об отношениях человека и робота. Это русский перевод статьи Марка Кекельберга "You, robot: on the linguistic construction of artificial others", опубликованной в открытом доступе журналом "AI & Society". Вместе с этим переводом публикуются шесть комментариев и ответ Марка Кекельберга.
Ключевые слова: Отношения человека и робота; Этика роботов; Язык; Феноменология; Герменевтика
Для цитирования: Кекельберг М. (2022). Ты, робот: о лингвистическом конструировании искусственных других. Technology and Language, 3(1), 57-75.
https://doi.org/10.48417/technolang.2022.01.07
This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License
2
Данная статья является переводом с оригинала Coeckelbergh, M. (2011). You, Robot: on the Linguistic Construction of Artificial Others. AI & Society, 26(1), 61-69. https://doi.org/10.1007/s00146-010-0289-z
ВВЕДЕНИЕ
Я тебя люблю. Ты любишь меня? (предложение, адресованное роботизированной кукле (Turkle et al. 2006 , p. 357).
Роботы идут. Но если они войдут в ваш дом, они не смогут вас убить; есть большая вероятность, что они просто хотят обнять. Роботы больше не ограничиваются фабриками, лабораториями и - все чаще - полями сражений. Они постепенно входят в повседневную жизнь людей, предлагая товарищеские отношения, развлечения, секс или заботу о здоровье. Некоторые люди предпочитают искусственных "друзей" или даже искусственных партнеров.
Хотя этот сценарий может оставаться для многих из нас научной фантастикой, роботы уже используются в этих областях, и мы хотим знать, что произойдет, если роботы станут не только более автономными и интеллектуальными, но и все более "личными" или "социальными". Сценарий предлагает нам задуматься о том, каково было бы жить с "социальными роботами" (Breazeal, 2003) и как мы должны оценивать то, что происходит между людьми и роботами. Но что еще более важно, это помогает нам задуматься о самих себе: что значит быть человеком, что мы подразумеваем под социальными отношениями и как мы должны жить вместе.
Как мы должны понимать и оценивать отношения человека и робота? В ответ на новые разработки в социальной робототехнике появляется все больше литературы о взаимодействии человека с роботом и отношениях "человек-робот" (Turkle et al., 2006; Breazeal, 2003; Dautenhahn et al., 2005; Dautenhahn, 2007; Levy 2007, и др.). Более того, философия информационных технологий - в частности, этика роботов - также начала размышлять об "искусственных спутниках" (например, Floridi, 2008) и их использовании в таких областях, как уход за пожилыми людьми и здравоохранение (например, Sparrow and Sparrow 2006). Некоторые даже рассматривают вопрос о правах роботов (Brooks, 2000; Levy, 2009; Asaro, 2006; Torrance, 2008) или, в более общем плане, поднимать вопрос о защите (некоторых) роботов от злоупотреблений (Whitby, 2008).
Однако, становясь все более междисциплинарными, в большинстве случаев, работы в области персональной и социальной робототехники, используют методы из социальных наук или психологии. Они остаются близкими к методологическому натурализму науки о робототехнике, к которой они относятся. Кроме того, предназначенные прежде всего для описания и объяснения, они страдают отсутствием нормативной направленности. Можем ли мы рассматривать человеческие отношения с другой, более отчетливой философской точки зрения, которая дистанцируется от научно-объективных подходов и соответствует потребности в оценке?
В предыдущей работе я предложил социально-феноменологический подход к философии робототехники, который фокусируется на философской значимости внешнего вида роботов и отношений между человеком и роботом, как социальных отношений (Coeckelbergh, 2009, 2010a, 2010b). В этой статье я хочу продолжить
развитие этого подхода, исследуя потенциальные преимущества лингвистико-герменевтического поворота в философии робототехники. Я утверждаю, что появление роботов в человеческом сознании опосредовано языком: то, как мы используем слова, интерпретирует и формирует наши отношения с другими людьми или "искусственными" людьми. Кроме того, я коснусь распространенного возражения против такого "разговора о роботах": являются ли эти отношения нереальными и обманчивыми, угрожающими подлинности? Затем я делаю выводы для исследования, проектирования и этической оценки отношений между человеком и роботом.
В ходе своих аргументов я использую эмпирические исследования взаимоотношений человека и робота, в частности работу Шерри Теркл.
ОТНОШЕНИЯ ЧЕЛОВЕКА И РОБОТА КАК СОЦИАЛЬНЫЕ ОТНОШЕНИЯ
Отношения человека и робота можно определить как социальные отношения. Что здесь означает "социальный"? Во-первых, все роботы "социальные" в том смысле, что они играют определенную роль в человеческом обществе, точно так же, как другие артефакты являются "частью" общества в качестве инструментов для человеческих целей. Например, автомобили играют важную роль в обществе. Во-вторых, некоторые роботы также являются "социальными" в другом смысле: они по видимому участвуют в "социальном" взаимодействии с людьми: это автономные интерактивные роботы, которые следуют социальным правилам и взаимодействуют с людьми по-человечески. Однако смысл, в котором я буду использовать слово "социальный" в отношении роботов и отношений между человеком и роботом, касается последствий этих взаимодействий. Есть особый феноменологический смысл, в котором некоторых роботов можно назвать "социальными": некоторые роботы кажутся нам больше, чем инструментами. Они представляются "квазидругими" (Inde, 1990) или искусственные другие. Взаимодействие, основанное на этой видимости, составляет (квази) социальные отношения между человеком и роботом, независимо от онтологического статуса робота, как это определено современной наукой, традиционной и современной метафизикой, которые рассматривают робота как простую вещь или машину.
С точки зрения этики этот подход подразумевает, что моральный статус роботов больше не зависит от "объективных" характеристик робота, а от того, как робот и отношения между человеком и роботом проявляются в человеческом сознании. Таким образом, для конструкторов роботов, которые хотят создать "морального" робота, важно не создание его разума, а создание его образа в отношениях.
Однако для дальнейшего развития этой точки зрения нам необходимо более точное описание того, как разворачивается этот феноменологический процесс. Как создается "социальный" образ? В каких условиях робот кажется нам квазидругим? Как нам понять такие отношения человека и робота? В следующих разделах я частично восполню этот пробел, обсудив роль язы ка в том, как роботы и
отношения между человеком и роботом представляются нам социальными. Изучая лингвистико-герменевтическое измерение социальной феноменологии человека и робота, я надеюсь внести свой вклад в лучшее понимание и оценку того, что происходит или может происходить между людьми и роботами.
ЯЗЫК И СОЦИАЛЬНОЕ
Позвольте мне выделить два противоположных взгляда на отношение между языком и социальным, которые я назову репрезентализмом и конструктивизмом. Оба взгляда отличаются от крайнего идеализма и наивного реализма, которые определяют отношения между языком и миром, поглощая одно в другом: крайний идеализм (в его постмодернистской или структуралистской версии) "удаляет" мир вне языка; наивный реализм "упраздняет" предмет. Применительно к социальному (миру) это означало бы, что социальное является чисто лингвистически-концептуальным, или что мы можем знать социальное, как объективную реальность. Обе точки зрения ошибочны. Социальное существует также "вне" языка, хотя у нас нет прямого доступа к нему: мы воспринимаем его через призму языка, мы говорим о нем. В этом смысле язык неразрывно связан с социальным. Однако, две противоположные точки зрения, которые я имею ввиду, принципиально различаются в том, как они рассматривают эту внутреннюю связь.
Согласно репрезентативной точке зрения, социальное предшествует языку. Отношение между социальным и языковым - это отношение репрезентации: словами мы представляем социальные отношения. Язык - это "зеркало" социального. Хотя у нас может не быть прямого доступа к социальному, язык приносит нам "социальное" без искажений. В противоположность этому, согласно конструктивистской точке зрения, язык важнее социального. Социальное конструируется или даже декларируется (8еаг1е, 1995): речевой акт предшествует социальному, поскольку он создает социальное. Согласно этой точке зрения, социальное является субъективным или межсубъективным в том смысле, что оно создано человеческим намерением и человеческим соглашением; однако, однажды созданный он принимает "объективный" характер в форме правил, законов и (других) институтов.
Однако должны ли мы выбирать между этими полярными противоположностями? Здесь нет настоящей дилеммы. Вместо того, чтобы рассматривать социальное или языковое как "предшествующее", давайте попробуем построить синтез наилучшего понимания этих двух позиций. Репрезентативная точка зрения верна, что социальное - это не просто вопрос лингвистической конструкции или декларации; существует экстралингвистическая социальная реальность. Социальное не просто (интер-) субъективное. Однако мы можем получить доступ к этой социальной реальности только через язык (слова и концепции - это "очки", через которые мы видим реальность), и конструктивистская точка зрения верна, наше использование языка совместно формирует эту реальность. Язык не отражает социальное, но также помогает создавать. Более того, даже помимо этого более "активного" аспекта языка,
посредническая роль языка не ограничивается репрезентацией (или даже не описывается адекватно как таковая): мы также интерпретируем социальное. У нас могут быть разные интерпретации социальных институтов и практик. В обоих случаях знание социального требует "акта" интерпретации или даже конструирования.
ЕСТЕСТВЕННЫЙ ЯЗЫК И ИСКУССТВЕННЫЕ СПУТНИКИ
Применительно к отношениям человека и робота лингвистико-герменевтическая перспектива, которая подразумевает согласованное объединение следующих двух утверждений: (1) использование нами языка конструирует отношения между человеком и роботом (понимаемые как социальные отношения) и (2) эти отношения имеют также экстралингвистическое измерение: отношения приобретают квазиобъективную реальность, но напрямую не доступны для опыта: они представляются нам через язык и интерпретируются нами с помощью языка.
Этот аргумент о лингвистическом посредничестве раскрывает возможность по крайней мере двух разных лингвистико-феноменологических "очков" или репертуаров (или того, что Серл называет "статусными функциями") для отношения к роботам: мы можем рассматривать их как "вещи" и объявлять их просто объектами или машинами, но мы также можем конструировать их как квазидругих. Первый репертуар представляет собой онтологию, в которой существует строгое разделение между (человеческими) субъектами и (роботизированными) объектами (а также между физической онтологией и человеко-социальной онтологией, как в работе Серла по социальной онтологии3), тогда как второй репертуар создает социальную онтологию отношений человека и робота, которая носит более "гибридный" характер. Эта онтологическая гибридность "проявляется" в языке (язык как представление и интерпретация), но в то же время она также конструируется с помощью языка.
Мы не можем просто выбирать между этими двумя возможностями или репертуарами. В этом смысле язык "декларации" Серла вводит в заблуждение. В нынешних отношениях человека и робота мы можем наблюдать переход от разговоров о роботах и об отношениях между человеком и роботом к разговору с роботами. Позвольте мне объяснить этот сдвиг и выявить его лингвистическое измерение и философское значение, проведя различие между разными "перспективами".
3 Полный ответ на работу Серла по социальной онтологии и участие в ней потребуют более длительной работы. Для целей этого аргумента достаточно сказать, что Сёрл придерживается "дуалистической" точки зрения в том смысле, что он применяет объективистский подход к физической реальности, но конструктивистский подход к социальной реальности. Версия конструктивизма, которую я исследую в этой статье, оставаясь агностиком в отношении конечной природы реальности, ставит под сомнение дуалистический взгляд Серла. Это предполагает, что у нас нет прямого доступа к какой-либо реальности - "объективная" реальность или "факты" должны быть интерпретированы и сконструированы, чтобы они стали тем, что мы называем знанием.
Говоря об отношениях человека и робота
Рассмотрим следующий пример. Идея "любви", дружбы или "брака" между людьми и роботами поднимает этические вопросы (например, Levy, 2007). Любовь к роботам - настоящая любовь? Допустим ли секс с роботами? Некоторые люди считают, что даже говорить об этом оскорбительно .
Однако вопрос о том, может ли быть настоящая любовь между людьми и роботами, не является правильным, поскольку он предполагает, что такая "любовь" будет объективной реальностью, которая стоит отдельно от нашего опыта и практики человека и робота. Представьте, что однажды мы объявляем конкретное отношение человека и робота "любовным". Мы можем даже объявить конкретного человека и конкретного робота "женатыми". В этом смысле любовь к роботам была бы социальной, лингвистической конструкцией. Однако, если бы это произошло, это могло бы произойти только при условии, что отношение уже представляется и интерпретируется нами, как "любовное" в силу того, что на самом деле происходит между естественными и искусственными "партнерами". Другая феноменология и интерпретация не могут служить основанием для такого же заявления; это сделало бы "декларацию" пустой, лишенной смысла (большинство современных роботов не воспринимаются нами как заслуживающие нашей любви и привязанности). Но это также верно и для человеческих отношений: мы не можем "просто" изменить социальное посредством декларации; такое заявление должно быть связано с опытом.
Обратите внимание, что аналогичный аргумент может быть выдвинут в пользу прав роботов: декларация прав роботов имеет смысл только тогда, когда феноменологический-герменевтический процесс, который частично и важно является лингвистическим по своей природе, поддерживает декларацию. (Для дизайнеров, которые стремятся создать роботов, требующих декларации прав, это означает, что у робота должны быть функции, которые запускают этот интерпретирующий и декларативный ход. Однако я не буду здесь развивать этот момент).
Этот аргумент предлагает новый взгляд на отношения человека и робота. Основываясь на социально-лингвистических интерпретациях и конструкциях, можно выделить следующие взгляды на язык и роботов.
Безличная перспектива от третьего лица ("it", "это") и перспектива от первого лица (я, робот): обычная перспектива Искусственного Интеллекта (ИИ) о языке и робототехнике, принятая исследователями-робототехниками, фокусируется на программировании (способности) естественного языка в роботе, то есть он связан с тем, как роботы ("это") говорят, могут и должны говорить. Если язык рассматривается разработчиками, пользователями роботов и других искусственных систем, то они, в основном, беспокоятся о том, что робот говорит или может (не) сказать. Мечта традиционного ИИ (и современных отделов жалоб в крупных компаниях) заключалась в создании систем с искусственным
интеллектом, которая была бы неотличима от пользователей естественного языка. Рассмотрим обсуждение игры Тьюринга (Turing, 1950 ) или эксперимент Сёрла "Китайская комната" (Searle, 1980): вопрос в том, можем ли мы отличить человека от робота на основе использования естественного языка. Конечная мечта - создать сознательного робота, который говорит: "Я, робот" (как в названии научно-фантастического фильма). Затем будет вид от первого лица: роботы могут заявить, что они сознательны, и, возможно, потребовать соблюдения своих прав.
Однако подход, который я предлагаю здесь, обращает внимание на то, как люди говорят о роботах. Это смещает фокус с того, что говорит робот, на то, что говорят люди.
Говоря о роботах
Перспектива от третьего лица. Поскольку развитие робототехники продолжается и роботы становятся в большей степени "личностями", дизайнеры и пользователи могут переключаться с точки зрения от первого лица (в смысле попытки придать роботу человеческий разум) к перспективе от третьего лица и от безличного местоимения к личному местоимению. Люди больше не считают робота машиной и начинают обращаться к роботам как в личностных терминах. "Это" становится "он" или "она". Можно сказать, что "он" хочет внимания или еды, что "она" что-то со мной сделала, и так далее. (Аналогичный процесс происходит, когда мы имеем дело с разумными животными. Некоторые люди также используют этот язык, когда разговаривают с автомобилями и другими вещами).
Говоря с роботами
Перспектива от второго лица (ты, робот): следующий шаг (который также происходит в некоторых отношениях между человеком и животным) является то , что мы не только говорим о роботе, но и с роботом. Здесь робот полностью проявляется как квазидругой, признается как квазидругой и конструируется как квазидругой. Речь обращена к роботу, а не только к людям. Мы легко можем представить себе человека, обращающегося к своему роботу-компаньону или роботу-партнеру - "ты". Человек может сделать это только с учетом того, что "делает" с ним внешний вид робота. В то же время, обращаясь к роботу таким образом, робот и отношения строятся как компаньонские и как партнерские отношения (ниже приведены примеры, взятые из эмпирических исследований).
Если робот появляется как квазисубъект со своим собственным сознанием, потребностями, желаниями и мыслями, это может даже перерасти в видимость (квази) интерсубъективности. Если робот отвечает, создается "диалог". Тогда у нас сложилось впечатление, что не только мы говорим роботу, но что мы говорим с роботом - это опыт , который похож на разговор с другими людьми. Здесь мы можем объявить наше взаимодействие "дискуссией" или "беседой". Люди могут называть себя и робота "мы" (от первого лица во множественном числе), когда разговаривают с другим: человеком или искусственным. Кто-то может сказать:
"мы" это обсуждали; "мы" хорошо провели время (однако я не буду здесь развивать это предложение и сосредоточусь в основном на взгляде от второго лица).
Такой подход к человеческим отношениям имеет несколько значений для исследователей и дизайнеров в области социальной робототехники.
ПОСЛЕДСТВИЯ В ИЗУЧЕНИИ И ОЦЕНКЕ ОТНОШЕНИЙ МЕЖДУ ЧЕЛОВЕКОМ И РОБОТОМ
Во-первых, этот подход уделяет большое внимания тому, как люди говорят о роботах и с роботами. Наш "разговор о роботах" не является нейтральным, но он интерпретирует и формирует наши отношения с роботами, он выполняет герменевтическую и нормативную функцию.
Это понимание может пролить новый свет на существующие исследования в области социальной робототехники. Например, в исследовании Теркл и других сообщается, что пожилые люди и дети разговаривают с роботами (Turkle, 2005; Turkle et al., 2006 ). Например, один из обитателей дома престарелых говорит роботизированной кукле My Real Baby: "Я люблю тебя. Ты любишь меня?" (Turkle et al., 2006 , р. 357). На основании этого и других наблюдений Теркл заключает, что существует большая степень привязанности к роботам как к "реляционным артефактам", как инструментам для построения отношений. Они могут помочь объединять людей. Исследование Теркла также показывает, что люди разговаривают с роботами как с "вызывающими воспоминания объектами", которые напоминают им о людях, которые играют или играли определенную роль в их жизни.
Однако рядом с этими способами отношения с роботами существует также возможность того, что робота следует рассматривать как уникального искусственного другого, а не инструмент или воспоминание о человеке-другом. Это "использование" еще недостаточно изучено, но на него указывает, когда Теркл предполагает, что люди, у которых развиваются такие привязанности, хотят, чтобы роботы разговаривали с ними, например, произносили их имя или говорили: "Я люблю тебя" , пожилые люди могут прийти к любви к роботам, которые о них заботятся, и это может быть слишком неприятно, если робот не скажет в ответ слова "Я люблю тебя" (Turkle et al., 2006, р. 360). (Однако она признает, что это не совсем удобно и что это поднимает вопрос о подлинности. Я вернусь к аналогичному этическому вопросу ниже). Кажется, что ожидание возникает внутри социальных отношений. Робот становится "ты" - не в качестве заместителя для кого-то другого (что мы могли бы назвать "делегированным вторым лицом"), а "ты" в своем собственном праве, искусственным вторым лицом, у которого есть претензия на "меня", как на социальное существо. Исходя из того, что я сказал ранее, мы можем понять этот разговор с роботом, изменяющий и формирующий отношения между человеком и роботом как социальные отношения: люди разговаривают с роботами не только из-за "личного" или "социального" внешнего вида робота (возникающего из-за того, что робот обладает определенными характеристиками и способностями к определенному поведению); разговаривая с
роботом во втором лице, они также конструируют его как квазидругого. Частично из-за подобного использования языка (например, использования слов "ты" и "любовь") робот больше не кажется пожилому человеку как объектом, а как "квазидругим". Это создает социальную реальность: это порождает ожидания, которые формируют квазисоциальные отношения и, следовательно, больше не являются "просто субъективными".
Это может не только пролить новый свет на существующие исследования, но и подсказать новые исследовательские вопросы. Например, я предлагаю проверить следующую гипотезу: предварительное лингвистическое построение отношений между человеком и роботом (как социального отношения) влияет, со-конструирует фактическое отношение. Обычно исследователи манипулируют (параметрами) взаимодействия, а затем смотрят, что происходит с точки зрения использования языка, например, что люди говорят роботу. Я предлагаю изменить это: манипулировать лингвистической "средой", а затем посмотреть, что происходит с взаимодействием. Например, что происходит, когда инструктор уже заранее определяет взаимодействие как "личное" или "социальное" отношение, используя такие слова, как "она" или "он", или давая роботу имя? Отличается ли результат от того, что происходит в контрольной группе (где инструктор использует "оно" и заводское "название" робота)? Кроме того, чтобы исследовать герменевтический аспект можно было бы провести долгосрочные исследования отношений человека и робота - во всех их интерпретациях и нарративах - в отличие от текущих краткосрочных исследований взаимодействий.
Во-вторых, поскольку языки и культуры, в которые эти языки встроены, различаются, такой подход, естественно, предполагает обращать внимание на культурные различия . Например, во многих других языках есть не одна, а две или несколько форм второго лица. В английском есть "you", но в голландском есть разница между "you" (неформальный) и "u" (более формальный и вежливый). Рассмотрим также немецкие du и Sie, французские tu и vous или хинди "tum" и "aap". Другие языки могут иметь больший набор лингвистических и социальных возможностей. Какие формы используются и действительно должны использоваться для искусственного обращения к другим? Эти описательные и нормативные вопросы важны, поскольку их точная форма выражает, но также и составляет, социальные отношения и структуры. Например, нашими словами мы можем подразумевать и образовывать отношения хозяина и раба или отношения компаньонов. В этом также есть гендерный аспект: когда мы обращаемся к роботу с точки зрения третьего лица, используем ли мы "он" или "она"?
У языка есть нормативное измерение, предписывающее измерение: слова связаны со способами действий. Вместе с Витгенштейном мы могли бы назвать эти способы ведения дел "формами жизни" (Wittgenstein, 1953/2009). Язык и культура тесно связаны. Значение слов определяется использованием языка и практикой; в то же время язык также формирует эти практики. То, как и для чего мы делаем вещи, форму которую они принимают (культура), которая зависит от языка. Вообразить отношения между людьми и роботами - значит представить форму жизни: ту, которая включает в себя отношения человека и человека, отношения
человека и робота и облако слов и значений, которые их окружают. Эта форма, вероятно, частично отражает человеческие отношения, о чем свидетельствует использование личных местоимений. Это использование имеет источником то, как люди обращаются друг к другу. Однако нам также необходимо изучить, могут ли отношения между человеком и роботом трансформировать то, как мы делаем что-то, и каким образом; они могли внести свой вклад в новую форму жизни. Более того, мы можем попытаться представить, что бы это значило, если бы у роботов был свой собственный образ действий, если бы они разработали свою собственную форму (искусственной) жизни.
Нам может быть трудно это представить. "Разговор роботов" во многом связан с мировоззрениями/онтологиями - включая социальные онтологии -культуры, в которой он находится. Например, на Западе мы склонны уделять много внимания различию субъект-объект, и большинство из нас придерживается индивидуалистических, не реляционных онтологий. Роботы относятся к категории "объект", а люди - к категории "субъект". В этой современной дуалистической онтологии не допускаются никакие пересечения или гибриды; чистота сохраняется4. Языки уже "содержат" такие онтологии в своих структурах. Наша лингвистическая грамматика также является моральной, социальной и онтологической "грамматикой". Снова рассмотрим использование местоимений и различие между субъектом и объектом в западных языках: язык, который мы используем, формирует то, как мы интерпретируем и конструируем социальное. Это устанавливает ограничения на воображение, формирование, исследование и испытание новых форм жизни, в которых роботы берут на себя роль искусственных других. В то же время язык не является фиксированным, и наши слова и концепции могут изменяться, и изменяются в результате изменения социальных отношений. Например, мы можем начать использовать личные местоимения в разговоре с роботами. Как изменятся эти отношения, частично, но не полностью зависит от нас. Мы не можем просто или полностью изменить нашу форму жизни. Существование в определенной культуре, принадлежность к определенному поколению, особенности личности и т.п. будут влиять на язык, которым человек пользуется, и на то, как этот язык меняется (я возвращаюсь к этому пункту).
В-третьих, этот подход способствует изучению изменений во взаимоотношениях между человеком и роботом. Они меняются в результате многих факторов, но также частично меняются из-за того, как мы говорим о роботах, и из-за наших заявлений об этих отношениях.
Этот подход включает измерение времени и измерение личной идентичности: он подразумевает, что могут быть истории/я об отношениях человека и робота (вымышленные и подлинные), в которых мы интерпретируем и формируем идентичности человека и робота и отношения, в которых эти идентичности встроены. Мы можем использовать "они", когда говорим о конкретных отношениях человека и робота или даже "мы" от первого лица. Например, люди могут называть человека и его робота "они", когда кажется, что между ними
4 См. Также работу Латура (Latour,1993).
существует личная, социальная связь. Тогда отношения предполагают своего рода коллективную идентичность, точно так же, как пару людей объединяет слово "они" ("я думаю, они должны пожениться") (см. Также мою точку зрения о интерсубъективности в предыдущем разделе).
Разработчикам робототехники и ученым рекомендуется учитывать эти аспекты при рассмотрении вопроса об использовании роботов: использование зависит не только от "объекта" как такового, но и от того, как этот объект представляется людям и как это представление опосредуется и формируется людьми-субъектами и их использованием языка.
Тогда с нормативно-этической точки зрения мы можем спросить: как люди должны говорить о роботах? Ответ на этот вопрос может помочь в разработке роботов. Например, может оказаться, что есть веские причины, по которым мы не должны желать, чтобы роботы выглядели как другие или как личности, что мы не должны желать, чтобы люди говорили о них или с ними таким образом. Чтобы изучить этот вопрос, позвольте мне закончить обсуждение одним этическим возражением против личных роботов. Это не только позволит мне сказать больше об отношениях между человеком и роботом; это также даст мне возможность показать один из способов, каким образом предлагаемый здесь подход может способствовать изучению и оценке человеческих отношений.
ОБМАНЧИВЫЕ ВОЗРАЖЕНИЯ ПРОТИВ ЛИЧНЫХ РОБОТОВ
Одно из возможных возражений против личных роботов (и связанных с ними лингвистико-концептуальных изменений, которые я обсуждал) касается двойного обвинения в том, что эти роботы, отношения между человеком и роботом, "разговоры" между человеком и роботом и т. д. не настоящие личности, не настоящие (социальные) отношения и разговоры (то есть недостоверны), и что их передача людям была бы обманом.
Хотя я симпатизирую этому возражению, я сомневаюсь, что оно приемлемо в его нынешней форме по следующим причинам. Это возражение предполагает, по крайней мере, следующее: (1) что разговор с вещами всегда и обязательно морально проблематичен, (2) что только человеческие отношения реальны, истинны и подлинны, (3) что существует объективная внешняя точка зрения это позволяет нам судить о реальности и истинности отношений между человеком и роботом, и (4) что сказать, что робот - это вещь, совершенно не проблематично. Но эти предположения следует подвергнуть сомнению.
Во-первых, многие люди уже разговаривают с вещами и другими не-людьми, и это обычно не считается моральной проблемой. Люди разговаривают с растениями, животными, куклами, автомобилями, навигационными системами, БУО-плеерами и, как Теркл уже наблюдал в 1980-х годах, с компьютерами (Тигк1е, 1984)5. Когда люди обращаются к современным роботам, используя точку зрения
5 Обратите внимание, что некоторые из этих сущностей "разговаривают с нами ", например, навигационная система в автомобиле. Независимо от того, следует ли считать это "разговором", он также формирует особые
от второго лица ("ты"), лингвистическая точка зрения остается той же. Конечно, воплощение роботов и родственных объектов побуждают к более эмоциональному и социальному взаимодействию (например, воспитанию, см. Тигк1е й а1., 2006 , р. 348), но неясно, почему это само по себе делает разговор с роботами принципиально более проблематичным с моральной точки зрения. В обоих случаях объект воспринимается и рассматривается как квазидругой. Роботы, в той мере, в какой они более интерактивны, предлагают более сильный "квазидругой" опыт. В этом смысле они действительно более "обманчивы". Требуется дальнейшее изучение того, как мы воспринимаем различные виды артефактов и как относимся к ним, но на первый взгляд "обман" роботов по сравнению с "обманом", когда кто-то разговаривает с растением, не кажется принципиально отличным по своему характеру6.
Кто-то может возразить, что все же "восприятие" робота нереально или неверно. Но что более реально или верно: (абстрактное) определение робота как объекта или реальный опыт робота как квазидругого? С конструктивно-феноменологической точки зрения на этот вопрос нет готового и априорного ответа.
Парадоксально, но те, кого больше всего возмущает мысль о разговоре с роботами, должны иметь сильный квазидругой опыт. Если бы люди действительно верили, что роботы, о которых идет речь, являются "простыми объектами", у них не было бы моральных проблем с разговорами с ними. Они сочли бы это "глупым", "детским" или, возможно, даже "безумным", но не сочли бы это морально проблематичным. Моральный вопрос возникает только тогда, когда явление квазидругого уже имело место. Этические проблемы возникают, когда, говоря феноменологически, робот перемещается в сумеречную зону между объектом и субъектом: он выглядит "больше", чем объект, но "меньше", чем субъект. Например, секс-роботы могут стать морально проблемными только в том случае, если они уже представляются как квазидругие. Если бы они воспринимались, просто как инструменты, используемые в сексуальных действиях, они не вызывали бы такого возмущения7.
Во-вторых, проблематично ли полагаться на внешнее в социальных отношениях с моральной точки зрения? Внешнее играет важную роль в человеческих отношениях. Мы не всегда "действительно знаем" людей, с которыми мы общаемся, но внешнее смазывает наши межчеловеческие социальные отношения. Конечно, мы иногда говорим, что кто-то кажется внешне таким и
отношения между человеком и технологией, которые развиваются. Есть много способов, которыми артефакт может "общаться" с нами, и, по-видимому, каждый из них влияет на то, как мы делаем что-то и воспринимаем окружающую среду. Также обратите внимание, что общение роботов может частично происходить с помощью "языка тела". Если конструкторы роботов вообще хотят имитировать человеческое общение (они могут сделать другой выбор дизайна), это важный аспект, который следует принять во внимание.
6 Единственное исключение, о котором я могу думать, - это возможность того, что иногда люди разговаривают с роботами или растениями не потому, что робот, растение или другой объект выглядит как квази-другой, а потому, что они используют его как инструмент для упорядочивания своих мыслей, для разговора с ними. сами , чтобы иметь внутренний диалог - действительно думать. Тогда робот появляется как представление "внутреннего" партнера по диалогу, он "интернализуется" как продолжение внутреннего разговора.
7 Леви помещает секс-роботов в историю приспособлений для секса (Levy, 2007)..
таким-то, в действительности же человек такой-то и такой-то. Но как определить настоящее, истинное или подлинное? Есть ли у нас прямой доступ к чистой реальности, к истине о личном ядре, к подлинному "я"? Ответ на этот вопрос, по крайней мере, более сложный, чем предполагает возражение.
В-третьих, один из ответов на этот извечный философский вопрос следующий. То, что у нас есть наверняка, - это внешнее представление о роботах, о самих себя, как людях, и о наших отношениях с роботами. Сможем ли мы получить доступ к чему-либо еще, зависит от того, есть ли у нас объективная внешняя точка зрения за пределами отношений, какими они кажутся нам. Однако как наш взгляд на человеческие отношения, так и наш взгляд на отношения человека и робота не стоит полностью отдельно от самих этих отношений. Следуя аргументам, изложенным в предыдущих разделах, наш ответ должен заключаться в том, что наши разговоры с людьми и наши разговоры с роботами не являются нейтральными по отношению к тому, как мы определяем реальность и истину, а также как и формируем эти отношения. Это не означает, что этим терминам нельзя придавать никакого значения, а скорее то, что знание реального или истинного о людях и роботах не очевидно, не дано и должно быть тщательно сконструировано с учетом конкретного опыта как образы в отношениях.
В-четвертых, сказать, что роботы "являются" "простыми" объектами, нетривиально и небезопасно. Как следует из предыдущего обсуждения, наше сопротивление обращению к роботам и разговору с роботами сформированы (1) нашим опытом, работы с роботами как простыми машинами (подобно тому, как Декарт мог воспринимать животных только как машины) и (2) нашим западным взглядом на отношения между людьми и нечеловеческими существами, основанным на онтологии, которая делает строгое различие объекта и субъекта и, следовательно, исключает возможность "гибридов", таких как роботы в качестве квазидругих. Однако, хотя наш текущий опыт и концептуальные основы не позволяют нам по-другому взглянуть на роботов, это может измениться в будущем. По мере разработки и использования новых видов роботов наш язык и наш опыт меняются и взаимно влияют друг на друга. Если мы примем во внимание этот культурный и динамический аспект в наших оценках, это может сделать эти оценки менее стабильными, чем мы хотели бы, чтобы они были с теоретической точки зрения,
Таким образом, хотя эти экспериментальные и концептуальные изменения не полностью зависят от нас, поскольку мы не можем полностью контролировать развитие технологий, социального опыта, культурного значения и личности, эта позиция не означает, что мы должны некритически принимать технологические и лингвистико-концептуальные изменения. Перед нами стоит этико-технологическая задача - попытаться направить и сформировать эти изменения в желаемом направлении. Однако наша цель не может быть определена с объективной точки ниоткуда. Вместо этого, в рамках наших текущих структур, мы должны исследовать, представлять и оценивать различные возможности человека и робота: разные виды роботов и отношения между человеком и роботом, возможно, разные формы жизни. Конечно, мы можем счесть некоторые возможности этически
неприемлемыми. Тем не менее, интуиция и ценности, на которые мы в настоящее время полагаемся при оценке этих возможностей, не фиксированы, но также могут меняться по мере изменения возможностей и реальности. Мы можем изменить наши ценности или интерпретировать их по-другому, как только появятся другие возможности для взаимоотношений. Мы можем прийти к суждениям только в рамках этого динамичного, исторического и интерпретируемого морально-технологического созвездия. В отсутствие возможности прийти к вечным и объективным истинам, наши суждения всегда должны оставаться временными и уязвимыми для критики и возражений.
ЗАКЛЮЧЕНИЕ
В этой статье я исследовал лингвистико-герменевтический поворот к изучению и оценке отношений между человеком и роботом. Таким образом, я открыл перспективу, которая отличается от научного "объективного" подхода, но в то же время касается конкретных практик, опыта, историй и разговоров между человеком и роботом.
Некоторые роботы представляются как артефакты, которые создаются совместно, по крайней мере, следующим образом: они одновременно являются инженерными конструкциями и социально-лингвистическими конструкциями. Их появление создает лингвистически опосредованные социальные отношения. Язык, который мы используем, позволяет нам взглянуть на робота с разных точек зрения: язык, который мы используем, раскрывает робота как "это", но иногда и как "ты".
Какой подход к роботам имеет эпистемологический приоритет? Что вернее: "это" или "ты"? Хотя я сочувствую тем, кто отвечает "это", я подозреваю, что это неправильный вопрос, если мы рассматриваем (конструирование знаний в) конкретные практики человека и робота. Очень похоже на гештальт-переключение8, мы очень хорошо можем переключаться между этими точками зрения (но мы не можем видеть их одновременно), и ни один из гештальтов не имеет эпистатического приоритета. В зависимости от культуры и языка, в которых мы живем, та или иная точка зрения будет использоваться чаще, но нет никакого априорного порядка между роботом-вещью и роботом-квазидругим.
Таким образом, признание лингвокультурного конструирования роботов и отношений между роботами ограничивает и расширяет свободу одновременно. С одной стороны, наши практики и мышление уже встроены в культуру, в формы жизни. С другой стороны, осознав "грамматику" и о то, что она делает с нами, мы можем попытаться расширить наш язык и мышление, исследуя последствий применения социальных роботов и других технологий.
Однако есть ли этический приоритет в отношении использования языка? Есть ли моральные пределы лингвокультурному воображению и практике? Например, проблематично ли с моральной точки зрения использовать точку зрения "ты" в отношении артефакта? Из предыдущего обсуждения возражения об обмане мы
8 См. Также концепцию "мультистабильности" Айде
можем сделать вывод, что использование "ты", по крайней мере, не очевидно ложно с моральной точки зрения. Однако может случиться так, что в отношении некоторых технологий некоторые виды использования языка и даже некоторые формы жизни морально неприемлемы. Может случиться так, что одни формы жизни предпочтительнее других. В любом случае, дальнейшие размышления по этому поводу должны учитывать то, как мы разговариваем с вещами (обычно не воспринимаемыми как моральная проблема), роль внешнего в отношениях между людьми (опять же, обычно не рассматриваемая как очень проблематичная с моральной точки зрения), сложные эпистемологические проблемы с такими понятиями, как реальное, истинное и аутентичное, а также динамическая природа технологических, социальных, языковых и культурных возможностей.
Хотя это обсуждение поднимает множество дополнительных вопросов, предложенный здесь социально-феноменологический подход и "лингвистический поворот" кажутся многообещающими концептуальными инструментами для улучшения нашего понимания того, что происходит, когда мы разговариваем с роботами. Как таковые, они могут эффективно информировать, дополнять и, возможно, пересматривать существующие эмпирические подходы в исследованиях взаимодействия и социальной робототехнике. Они также могут помочь философам робототехники осмыслить и оценить "личные" и "социальные" аспекты жизни с роботами. Они могут информировать пользователей о разнообразии репертуаров и точек зрения, которые можно использовать в отношении роботов. И даже если сценарии, упомянутые во введении, останутся научной фантастикой, мы можем перенести некоторые выводы из этого обсуждения на понимание наших отношений с другими технологиями и артефактами.
Наконец, любая реконструкция объекта может повлиять на конструирование объекта. Появление и принятие более "личных" или "социальных" лингвистических репертуаров в практике "человек-робот", может фактически изменить понимание субъектом самого себя. Если робот появляется как квазидругой, то человек-субъект больше не может понимать себя как "пользователя", как того, кто управляет роботом-инструментом; вместо этого он, вероятно, заново переосмыслит себя как социального актора, живущего с (и перед глазами) искусственного социального "другого". Таким образом, разговор с роботами меняет разговор о людях - возможно, также и с людьми. Язык, который мы используем, раскрывает и формирует социальные онтологии, в которых мы живем, в той же мере, он раскрывает и формирует нас самих.
ЛИТЕРАТУРА
Asaro P. M. What should we want from a robot ethic? // The International Review of
Information Ethics. 2006. № 6. P. 9-16 Breazeal C. Toward sociable robots // Robotics and Autonomous Systems. 2003. № 42(3-4). P. 167-175. https://doi.org/10.1016/S0921 -8890(02)00373-1
Brooks R. Will robots rise up and demand their rights? Time. 19.06.2000. http://eontent.time.eom/time/subscriber/article/0.33009.997274.00.html (Accesed 19 March 2010)
Coeckelbergh M. (2009). Personal Robots, Appearance, and Human Good: A Methodological Reflection on Roboethics // International Journal of Social Robotics. № 1(3). P. 217-221. https://doi .org/10.1007/s12369-009-0026-2 Coeckelbergh M. Robot rights? Towards a social-relational justification of moral consideration // Ethics and Information Technology. 2010a. № 12. P. 209-221 https://doi.org/10.1007/s10676-010-9235-5 Coeckelbergh M. Moral appearances: emotions, robots, and human morality // Ethics and Information Technology. 2010b. №2 12. P. 235-241 https://doi.org/10.1007/s10676-010-9221-y
Dautenhahn K., Woods, S., Kaouri, C., Walters, M. L., Kheng L. K., Werry, I. (2005). What is a Robot Companion - Friend, Assistant or Butler? 2005 IEEE/RSJ International Conference on Intelligent Robots and Systems. 2005. P. 1192-1197. IEEE. https://doi.org/10.1109/IRQS.2005.1545189 Dautenhahn K. Methodology and Themes of Human-Robot Interaction: A Growing Research Field // International Journal of Advanced Robotic Systems. 2007. № 4(1). P. 15. https://doi.org/10.5772/5702 Floridi L. Artificial Intelligence's New Frontier: Artificial Companions and the Fourth Revolution // Metaphilosophy. 2008. № 39(4-5). P. 651-655. https://doi.org/10.1111/j.1467-9973.2008.00573.x Ihde D. Technology and the lifeworld. Bloomington/Minneapolis: Indiana University Press, 1990.
Latour B. We Have Never Been Modern. Cambridge, MA: Harvard University Press, 1993.
Levy D. Love and Sex with Robots: the Evolution of Human-Robot Relationships. New York: Harper, 2007.
Levy D. The Ethical Treatment of Artificially Conscious Robots // International Journal of Social Robotics. 2009. № 1(3). P. 209-216. https://doi.org/10.1007/s12369-009-0022-6
Searle J. R. Minds, brains, and programs // Behavioral and Brain Sciences. 1980. № 3(3).
P. 417-424. https://doi.org/10.1017/S0140525X00005756 Searle J. R. The Construction of Social Reality. London: The Penguin Press, 1995. Sparrow R., & Sparrow, L. In the Hands of Machines? The Future of Aged Care // Minds and Machines. 2006. № 16(2). P. 141-161. https://doi.org/10.1007/s11023-006-9030-6
Torrance S. Ethics and Consciousness in Artificial Agents // AI & Society. 2008. №2 22(4).
P. 495-521. https://doi.org/10.1007/s00146-007-0091 -8 Turing A. M. Computing Machinery and Intelligence // Mind. 1950. № 59. P. 433-460.
https://phil415.pbworks.com/f/TuringComputing.pdf Turkle S. The Second Self: Computers and the Human Spirit. New York: Simon and Schuster, 1984.
Turkle S. (2005). Relational Artifacts/Children/Elders: the Complexities of Cybercompanions. URL: http://www.androidscience.com/proceedings 2005/TurkleCogSci2005AS.pdf (Accesed 19 March 2010) Turkle S., Taggart, W., Kidd, C. D., & Daste, O. Relational artiFacts with Children and Elders: the Complexities of Cybercompanionship // Connection Science. 2006. № 18(4), P. 347-361. https://doi.org/10.1080/09540090600868912 Whitby B. Sometimes it's Hard to be a Robot: A Call for Action on the Ethics of Abusing Artificial agents // Interacting with Computers. 2008. № 20(3), P. 326-333. https://doi.org/10.1016/untcom.2008.02.002 Wittgenstein L. Philosophical Investigations (P. M. S. Hacker & J. Schulte, eds. and trans.). Oxford: Wiley-Blackwell, 2009.
REFERENCES
Asaro, P. M. (2006). What should we want from a robot ethic? The International Review
of Information Ethics, 6, 9-16 Breazeal, C. (2003). Toward sociable robots. Robotics and Autonomous Systems, 42(3-
4), 167-175. https://doi .org/10.1016/S0921 -8890(02)00373 -1 Brooks, R. (2000, June 19). Will robots rise up and demand their rights? Time.
http://content.time.com/time/subscriber/article/0,33009,997274,00.html Coeckelbergh, M. (2009). Personal Robots, Appearance, and Human Good: A Methodological Reflection on Roboethics. International Journal of Social Robotics, 1(3), 217-221. https://doi.org/10.1007/s12369-009-0026-2 Coeckelbergh, M (2010a) Robot rights? Towards a social-relational justification of moral consideration. Ethics and Information Technology, 12, 209-221 https://doi.org/10.1007/s10676-010-9235-5 Coeckelbergh, M (2010b). Moral appearances: emotions, robots, and human morality. Ethics and Information Technology, 12, 235-241 https://doi.org/10.1007/s10676-010-9221-y
Dautenhahn, K., Woods, S., Kaouri, C., Walters, M. L., Kheng L. K., & Werry, I. (2005). What is a Robot Companion - Friend, Assistant or Butler? In 2005 IEEE/RSJ International Conference on Intelligent Robots and Systems (pp. 1192-1197). IEEE. https://doi.org/10.1109/IR0S.2005.1545189 Dautenhahn, K. (2007). Methodology and Themes of Human-Robot Interaction: A Growing Research Field. International Journal of Advanced Robotic Systems, 4(1), 15. https://doi.org/10.5772/5702 Floridi, L. (2008). Artificial Intelligence's New Frontier: Artificial Companions and the Fourth Revolution. Metaphilosophy, 39(4-5), 651-655.
https://doi.org/10.1111/j.1467-9973.2008.00573.x Ihde, D. (1990). Technology and the lifeworld. Indiana University Press. Latour, B. (1993). We Have Never Been Modern (Porter C, trans.). Harvard University Press.
Levy, D. (2007). Love and Sex with Robots: the Evolution of Human-Robot Relationships. Harper.
Levy, D. (2009). The Ethical Treatment of Artificially Conscious Robots. International Journal of Social Robotics, 7(3), 209-216. https://doi.org/10.1007/s12369-009-0022-6
Searle, J. R. (1980). Minds, brains, and programs. Behavioral and Brain Sciences, 3(3),
417-424. https://doi.org/10.1017/S0140525X00005756 Searle, J. R. (1995). The Construction of Social Reality. The Penguin Press. Sparrow, R., & Sparrow, L. (2006). In the Hands of Machines? The Future of Aged Care.
Minds and Machines, 16(2), 141-161. https://doi.org/10.1007/s11023-006-9030-6 Torrance, S. (2008). Ethics and Consciousness in Artificial Agents. AI & Society, 22(4),
495-521. https://doi.org/10.1007/s00146-007-0091 -8 Turing, A. M. (1950). Computing Machinery and Intelligence. Mind, 59, 433-460.
https://phil415.pbworks.com/f/TuringComputing.pdf Turkle, S. (1984). The Second Self: Computers and the Human Spirit. Simon and Schuster.
Turkle, S. (2005). Relational Artifacts/Children/Elders: the Complexities of Cybercompanions. http://www.androidscience.com/proceedings
2005/TurkleCogSci2005AS.pdf Turkle, S., Taggart, W., Kidd, C. D., & Daste, O. (2006). Relational artiFacts with Children and Elders: the Complexities of Cybercompanionship. Connection Science, 15(4), 347-361. https://doi.org/10.1080/09540090600868912 Whitby, B. (2008). Sometimes it's Hard to be a Robot: A Call for Action on the Ethics of Abusing Artificial agents. Interacting with Computers, 20(3), 326-333. https://doi.org/10.1016/untcom.2008.02.002 Wittgenstein, L. (2009). Philosophical Investigations (P. M. S. Hacker & J. Schulte, eds. and trans.). Wiley-Blackwell. (Original work published 1953)
СВЕДЕНИЯ ОБ АВТОРЕ / THE AUTHOR
Марк Кекельберг, mark.coeckelbergh@univie.ac.at Mark Coeckelbergh, mark.coeckelbergh@univie.ac.at ORCID 0000-0001-9576-1002 ORCID 0000-0001-9576-1002
