CC BY
304Е.В. Введенская АКТУАЛЬНЫЕ ПРОБЛЕМЫ РОБОЭТИКИ
DOI: 10.31249/scis/2019.00.06
Аннотация. Робототехника - быстро растущая отрасль производства. С 90-х годов прошлого века разработчики начали создавать новое поколение интеллектуальных роботов. Возникла потребность в этической оценке робототехники, поскольку технические решения, принимаемые при проектировании роботов, имеют потенциал непосредственного и существенного влияния на все сферы жизни людей. Целью робоэтики является оценка позитивных и негативных последствий внедрения роботизированных систем и разработка общих для различных социальных групп научных / культурных / технических решений для предотвращения неэтичного и неправомерного использования техники против человечества.
Abstract. Robotics is a fast growing industry. Since the 90 s of the last century, developers began to create a new generation of intelligent robots. There was a need for an ethical assessment of robotics, since the technical decisions made when designing robots have the potential to directly and significantly affect all areas of human life. The goal of roboethics is to assess the positive and negative consequences of the introduction of robotic systems and the development of scientific / cultural / technical solutions common to various social groups to prevent the unethical and unlawful use of technology against humanity.
Ключевые слова: робоэтика; искусственный интеллект; автономия; военные роботы; социально-вспомогательные роботы; роботы-хирурги; социальные аспекты.
Keywords: roboethics; artificial intelligence; autonomy; military robots; socially assistive robots; surgeon robots; social aspects.
В номере журнала «Wired» (США) за март 2000 г. была опубликована статья «Почему будущее не нуждается в нас» Билла Джоя, соучредителя и главного научного сотрудника Sun Microsystems, в которой он высказал мнение, что дальнейшее развитие робототехники, как генной инженерии и нанотехнологии, представляет угрозу существованию человека как биологического вида, т.е. несет в себе колоссальные экзистенциальные риски. Повсеместно стали появляться «умные машины», которые превосходят человека в различных областях его деятельности. Б. Джой пишет, что когда вся совокупность работ будет выполняться распространенной и организованной системой машин, то исчезнет необходимость в каком бы то ни было человеческом усилии, при этом возможна реализация двух вариантов сосуществования человека и машин. При реализации первого варианта человек сохраняет контроль над машинами, при реализации второго - человек позволяет машине принимать решения самостоятельно. «Поскольку общество и проблемы, которые стоят перед ним, становятся все более сложными, а машины - все более разумными, то люди станут доверять машинам принимать вместо себя все большее число решений просто потому, что определенное машиной принесет лучшие результаты, чем установленное человеком. В конце концов, может быть достигнута ступень, на которой решения, необходимые для управления системой, будут настолько сложны, что интеллект людей окажется неспособным к их генерации. На этой стадии эффективное управление перейдет к машинам. Люди уже не станут способными даже просто выключить их, потому что будут столь от них зависеть, что выключение окажется равносильным самоубийству» [3]. Очевидно, говоря об этом, Б. Джой имел в виду второй вариант развития событий. Однако и первый вариант, по его мнению, представляет угрозу широким массам народонаселения. Так, при реализации варианта с сохранением человеческого контроля над машинами правящая элита сможет беспрепятственно контролировать массы людей, которые окажутся безработными и в результате лишними для государственной системы и будут уничтожены. «В этом случае средний человек сможет контролировать некоторые частные собственные механизмы, вроде своего автомобиля или персонального компьютера, но управление большими системами машин окажется в руках крошечной элиты - точно
так же, как и сегодня, - но с двумя отличиями. Благодаря усовершенствованным методам элита получит большую власть над массами; а в силу того, что человеческая работа перестанет быть необходимой, большое количество людей окажется лишним и станет бременем для системы. При этом, если элита будет безжалостна, она может принять решение об истреблении большей части человечества. Если элита будет гуманна, то она может использовать пропаганду или другие психологические или биологические методы для уменьшения рождаемости и ожидать времени, когда большинство человечества вымрет, оставив мир элите» [3].
Статья Джоя вызвала множество дискуссий относительно этических проблем будущего развития робототехники и совместного сосуществования людей и машин. Появилась потребность в создании новой отрасли этики, такой как «этика робототехники», или сокращенно «робоэтика».
Термин «робоэтика» был введен итальянским профессором Джанмарко Веруджио (Школа робототехники Института электроники, информационной техники и телекоммуникаций) в 2002 г. Во время Первого международного симпозиума по робототехнике в январе 2004 г. в Сан-Ремо этот термин был предложен официально. К этому времени стало очевидно, что робототехника - быстро растущая отрасль. С 90-х годов прошлого века разработчики начали создавать новое поколение интеллектуальных роботов, используемых в различных областях (в быту, в промышленности, для медицинских и реабилитационных целей, в индустрии развлечений, в военном деле, а также для отдыха и хобби). Возникла потребность в этической оценке робототехники, поскольку технические решения, принимаемые при проектировании роботов, имеют потенциал непосредственного и существенного влияния на жизнь людей. Робоэтика подняла два вопроса, остающиеся актуальными по сей день: «Могут ли роботы выполнять хорошие и плохие действия? Могут ли роботы быть опасными для человечества?» [8].
Робоэтика является прикладной этикой, ориентированной на разработку научных, культурных и технических решений, которые могут быть общими для различных социальных групп и людей разных убеждений. Эти решения должны быть направлены на стимулирование развития робототехники для улучшения жизни как отдельных индивидов, так и человеческого общества в целом, а также на предотвращение ее неэтичного и неправомерного использования против человека и человечества.
В 2004 г. ведущие международные институты начали создавать этические нормы робототехники. В Фукуоке (Япония) во время Международной ярмарки роботов в феврале 2004 г. участники подписали Всемирную декларацию роботов. Основные принципы данной декларации состоят в том, что роботы следующего поколения будут партнерами людей и будут помогать им как физически, так и психологически; роботы следующего поколения будут способствовать реализации безопасного и мирного общества [19]. Как мы видим, здесь подчеркиваются позитивные моменты сосуществования людей с роботами.
В 2006 г. Веруджио была разработана дорожная карта робо-этики, в которой определены этические ценности людей [17]. Речь идет об уважении ценностей, связанных с достоинством и правами человека, содействии равенству и справедливости в доступе к новым технологиям. Этот документ должен способствовать правильной оценке пользы и вреда от использования роботов, защите культурного разнообразия людей и плюрализма, предотвращению дискриминации и стигматизации. Здесь акцентируется внимание на уважении конфиденциальности и необходимости информированного согласия, принятии личной ответственности за биосферу.
В 2010 г. Веруджио уточнил понятие робоэтики, пояснив, что это не этика роботов и не искусственная этика, а этика разработчиков, производителей и пользователей роботов. «Исследования в области робототехники и их применение все чаще вызывают этические последствия, связанные с более тесным взаимодействием между роботами и людьми, а также с наиболее тесным взаимодействием между самой робототехникой и биологической наукой» [18, с. 105]. О связи робототехники с биологией говорит и японский робототехник Хироши Ишигуро [13], по мнению которого, у человечества есть два варианта автоэволюции: с помощью редактирования генов и с помощью технологий (имеется в виду робототехника). Технологии робототехники являются более надежными для автоэволюции, нежели манипуляции с генами, поскольку дальнейшее совершенствование данных технологий и внедрение в медицину приведет к замене органов тела киберанало-гами и превратит человечество в неорганическую, бессмертную форму жизни. Здесь мы видим в перспективе полное соединение человека с роботом.
Главная проблема робоэтики состоит в том, что ученые -робототехники, исследователи и широкие массы населения имеют разные критерии оценки роботов. По мнению инженера-механика,
профессора Венского технического университета Петера Капачека, этих критериев всего четыре: 1) роботы - это не что иное, как машины; 2) роботы имеют этические аспекты; 3) роботы как моральные агенты и 4) роботы - эволюционирующий новый вид [14, с. 69]. Поэтому в изучении феномена робототехники должны быть задействованы различные области знания, такие как информатика, философия, этика, богословие, биология, физиология, психология, когнитивные науки, нейронаука и юриспруденция. Таким образом, робоэтика - это междисциплинарная исследовательская деятельность, находящаяся на стыке этики и робототехники и направленная на изучение процесса интеграции роботов в человеческое общество. Основная задача робоэтики состоит в описании социальных, моральных и юридических аспектов взаимодействия робота и человека. В настоящее время робоэтика является частью этики Искусственного интеллекта (ИИ).
Слово «робот» в наше время имеет неопределенность в интерпретации. Если в 1920-х годах, когда оно только появилось, робот означал разновидность раба, способного к монотонной, грязной и опасной работе, то в начале XXI в., когда появились роботы-гуманоиды, самоуправляемые автомобили и летательные аппараты, специалисты в области компьютерных наук не могут прийти к согласию, что считать роботом. Так, американский исследователь Джон Джордан, рассматривая этот вопрос, пишет: «Одни считают, что устройство является роботом, если оно может:
1) воспринимать окружающую обстановку;
2) выполнять логические операции над различными входными данными;
3) воздействовать на физическое окружение.
Другие настаивают на том, что робот должен передвигаться в пространстве (исключая из игры термостаты для "умного дома"), третьи считают, что настоящие роботы должны быть автономными (из игры выбывают промышленные роботы-сборщики)» [4, с. 4].
Причинами отсутствия единой интерпретации термина «робот» является эволюция его значения в связи с бурным развитием техники, поэтому это понятие будет иметь все новые и новые коннотации. В настоящее время роботы постоянно становятся «умнее». Конечно, они все еще далеки от соответствия людям, но наделены способностью, которая уникальна для нашего собственного вида: они могут учиться (машинное обучение), наблюдая за людьми или пытаясь выполнить задачу самостоятельно. Как справедливо заметила профессор из Швейцарии А. Биллард, «роботы
больше не являются машинами, которые после программирования могут воспроизводить только то, для чего они были запрограммированы при выходе с завода. Роботы могут прогрессировать. Они могут адаптироваться к окружающей среде и, следовательно, становятся все более гибкими» [10].
Истоки формирования терминологии робототехники лежат в научной фантастике. Так, писатель-фантаст Айзек Азимов, автор термина «робототехника», впервые проанализировал этические последствия ее использования. В рассказе «Хоровод» 1942 г. Азимов сформулировал свои три знаменитых закона робототехники, свод обязательных правил, которые должны соблюдаться, чтобы не причинить вреда человеку:
«Первое: робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред. <...> Второе: <...> робот должен повиноваться всем приказам, которые дает человек, если эти приказы не противоречат Первому Закону. <...> И третье: робот должен заботиться о своей безопасности в той мере, в какой это не противоречит Первому или Второму Закону» [1].
Эти законы были заложены в основу математической модели позитронного мозга робота, обладающего ИИ, на которой базировались сознание и инстинкты роботов.
Когда в рассказах Азимова роботы стали взаимодействовать не только с человеком, но и с цивилизациями, писатель ввел четвертый закон робототехники, называемый «нулевой закон», поскольку он является приоритетным по сравнению с предыдущими законами. Этот закон гласит, что робот не может причинить вред человечеству или своим бездействием допустить, чтобы человечеству был нанесен вред.
Первая критика законов робототехники принадлежит самому Азимову. Так, в своих рассказах («Первый закон», «Кэл», «Салли», «Робот, который видел сны» и др.) фантаст описывает различные способы модифицирования и нарушения этих законов. В рассказе «...Яко помнишь его» два робота создали конвенцию, основанную на том, что истинные люди - это роботы, поскольку они более совершенные и разумные создания и поэтому обладают приоритетом по сравнению с «несовершенными» людьми.
Автор обращает внимание на то, что законы могут быть по-разному поняты роботами и они могут причинить вред человеку, как неумышленно, так и умышленно. Также законы могут быть
трансформированы людьми в своих целях или нарушены из-за технической неисправности робота.
Законы Азимова, придуманные им для использования в научной фантастике, продолжают влиять на робототехническое сообщество. Так, американский предприниматель Пол Сингер, изучая современные военные технологии, в частности беспилот-ники, отмечает, что они нарушают первый закон. По словам Син-гера, в сфере военных действий отсутствие этических норм и правил применения технологий является тревожным (например, можно ли использовать роботов как инструмент пыток?), но неудивительным, учитывая несерьезное отношение большинства отраслей к регулированию таких сфер, как лекарства, оружие, автомобили и другие технологии, сложные с морально-этической точки зрения» [4, с. 34].
Родни Брукс, робототехник из Массачусетского технологического института, пишет: «Мы не знаем, как создать настолько умных и проницательных роботов, чтобы они смогли исполнить эти три закона» [4, с. 34].
В 2009 г. американские профессора Робин Мерфи и Дэвид Вудс сформулировали «Три закона ответственной робототехники», подчеркнув преимущественную роль и ответственность человека в качестве реального субъекта морали по сравнению с ИИ. Эти законы таковы:
«1. Человек не может внедрить или активизировать робота без системы взаимодействия "робот-человек", отвечающей высочайшим юридическим и профессиональным стандартам безопасности и этики.
2. Робот должен реагировать на людей в зависимости от их роли.
3. Робот должен быть наделен достаточной автономией в зависимости от ситуации для защиты собственного существования до тех пор, пока такая защита обеспечивает плавную передачу управления, если это не противоречит Первому и Второму законам» [15, с. 14-20].
В 2016 г. Общество по исследованию ИИ и моделированию поведения (Великобритания) сформулировало пять правил для управления интеллектуальными машинами [7]. Первое правило: роботы - это многоцелевые инструменты; они не должны быть предназначены для единственной или основной цели убивать людей или наносить им вред, если это не затрагивает национальную безопасность. Второе правило: люди являются ответственными
агентами. Роботы должны быть спроектированы и реализованы таким образом, чтобы соответствовать действующим законам и основополагающим правам, свободе и неприкосновенности граждан. Третье правило: роботы - это продукты технологий. Они должны быть разработаны с использованием процессов, которые гарантируют безопасность пользователей. Четвертое правило: роботы - это артефакты, объекты, полученные в результате производства. Они не должны быть использованы таким образом, чтобы иметь возможность обманывать субъектов, которые психологически слабы или уязвимы. Их природа, как машины, должна быть прозрачной и ясной. Пятое правило: вся юридическая ответственность в отношении машин должна быть возложена на человека.
В 2017 г. в России начала разрабатываться «Модельная конвенция о робототехнике и ИИ, Правила создания и использования роботов и ИИ». Цель данной конвенции заключается в том, «чтобы определить основные проблемы, которые могут возникнуть в обществе и правовой системе в связи с активным развитием киберфизических систем; обобщить ряд основных правил робототехники, высказанных в разное время различными экспертами; обозначить возможные направления решения существующих и (или) ожидаемых проблем; инициировать дискуссию между экспертами разных стран для выработки единых этических и правовых представлений о правилах создания и использования роботов и искусственного интеллекта» [5].
В июне 2019 г. лидерами стран «Группы двадцати» была принята Осакская декларация (не обязательная к исполнению юридически), в которой глубоко разработана проблема развития и внедрения технологии искусственного интеллекта (ИИ). Согласно данному документу, страны G20, учитывая имеющийся опыт применения ИИ, выражают намерение сформировать благоприятные условия для разработки, исследования и применения «человеко-ориентированного искусственного интеллекта» (human-centered AI). Поддержанные «Группой двадцати» принципы представляют собой инструкцию по минимизации негативных последствий использования искусственного интеллекта. Так, общепринятыми принципами развития искусственного интеллекта были признаны [12]:
- содействие инклюзивному росту, устойчивому развитию и благополучию;
- приоритетность человеческих ценностей и справедливости, защита прав и свобод человека;
- транспарентность и объяснимость (обеспечение доступа к общей информации о механизмах функционирования искусственного интеллекта);
- надежность, безопасность и стабильность;
- подотчетность (лица или организации, разрабатывающие или внедряющие искусственный интеллект, должны придерживаться перечисленных принципов и нести ответственность за свою деятельность).
Выше мы рассматривали законы ответственной робототехники и правила для управления интеллектуальными машинами, декларации, носящие рекомендательный характер. Следует отметить, что область задач робоэтики шире выработки определенных правил взаимоотношений людей с роботами и системами ИИ. Робоэтика изучает также положительные и негативные последствия внедрения и широкого распространения роботизированных систем и дает им этическую оценку. Так, к положительным последствиям внедрения роботов относится избавление человека от рутинных, повторяющихся операций, например процесса выдачи и приема денег, который в настоящее время способен выполнять банкомат. Также использование роботов необходимо при опасных и вредных для человека операциях, например при разборе завалов от землетрясений, ликвидации последствий радиационного загрязнения. Роботизированные системы, основанные на ИИ, гораздо лучше, чем человек, анализируют большие данные. Такие системы нашли широкое применение в медицине и используются при постановке точного диагноза.
К негативным последствиям внедрения роботов относится утрата людьми своих рабочих мест, что приводит к повышению уровня безработицы и ухудшению социальных условий жизни. Также использование роботов в повседневной жизни в качестве компаньонов или сексуальных партнеров отрицательно влияет на коммуникативные навыки и практики людей. Одушевление людьми роботов и возникновение к ним эмпатии ведет к обесцениванию человека и отчуждению его от себе подобных. Дальнейшая «модификация человека» и «гуманизация роботов» ведет к возникновению новых антропологических и этических аспектов робоэтики.
В настоящее время, кроме промышленных роботов, которых уже больше миллиона, появились самые разные роботы-помощники: домашние питомцы, пылесосы, газонокосильщики, спасатели, хирурги. «Общая численность роботов в мире превысила 10 миллионов», - как пишет Ник Бостром [2]. В связи с тем,
что создано множество роботов, используемых в различных сферах деятельности, в каждой из них возникают свои этические проблемы, которые должна анализировать робоэтика.
Рассмотрим использование роботов в военном деле, медицине и уходе за больными, где, на наш взгляд, возникают самые острые этические и антропологические проблемы.
До настоящего времени роботизированные системы в военном деле применялись только там, где они заменяли человека в наиболее опасных сферах деятельности: беспилотные самолеты-разведчики, роботы-саперы, беспилотные системы для подводных поисковых работ и т.п. Как отмечает Тиханычев О.В., профессор Академии военных наук, «применение роботов на поле боя, например, в качестве разведчиков, позволило существенно повысить эффективность ведения боевых действий» [6]. Решение о применении оружия всегда оставалось за человеком, однако в перспективе с целью оперативности ведения боевых действий эта функция может быть делегирована роботизированным военным системам, например беспилотным летательным аппаратам (БЛА). Здесь возникает спорная ситуация - «наличие морального и этического права предоставлять машинам возможность самостоятельно принимать решение на поражение объектов, в которых может находиться человек» [6]. В связи с расширением автономии роботов в военном деле возникает ряд морально-этических и правовых вопросов в отношении применения робота против человека, проблемы безопасности для военных и мирных граждан. Боевые роботы намного опаснее промышленных, поэтому меры безопасности при их использовании должны быть тщательно продуманы. Так, как сообщает газета The Sunday: «12 октября 2007 г. несанкционированным огнем автоматической зенитной пушки GDF-005 "Эрликон" (Oerlikon) в Южной Африке были убиты 9 и ранены 14 военнослужащих» [16]. Очевидно, что чем больше будет на вооружении стран мира робототехнических систем, тем выше вероятность возникновения подобных происшествий. В связи с этим возникает еще один важный вопрос: кто несет ответственность в случаях причинения роботами вреда военнослужащим или мирному населению? Виноват создатель робота, разработчик программного обеспечения для него или оператор системы? Юридически данная ситуация остается неопределенной.
Роботизированные системы в медицине в настоящее время применяются довольно широко. Это и автоматизированные системы лечебно-диагностического комплекса связи и поддержания
жизнедеятельности человека («Робот-медсестра»), кибер-протезы утраченных конечностей, управляемые силой мысли, и различные манипуляторы для проведения хирургических операций.
Проблемы оказания традиционной хирургической помощи связаны с недостаточной ловкостью и точностью человеческой руки, невысокой степенью визуализации операционного поля, а также с высоким риском травматизации пациентов. Данные проблемы уже сейчас удается решить при помощи роботов. Так, операции, проводимые роботом Да Винчи, - это эффективное малотравматичное и высокоточное хирургическое вмешательство, осуществляемое дистанционным методом на разных органах: простате, сердце, почках, легких, печени и желудке. Врач с консоли управляет роботизированными манипуляторами, оснащенными датчиками, видеосистемой и различными инструментами. К преимуществам данной технологии относят: малую потерю крови; сниженную вероятность занесения инфекции; использование меньшего количества анестезирующих медпрепаратов; короткий реабилитационный период; минимальное повреждение целостности тканей; уменьшение нагрузки на организм; незначительные болевые ощущения. В настоящее время данной системой управляют врачи, готовые оказать пациенту помощь, если произойдет какой-то сбой в механизме эксплуатации робота. Однако чем больше врачи будут полагаться на машины, освобождая себя от мыслительных и физических усилий, тем быстрее растеряют свои ценные навыки. Наделение робота-хирурга большей степенью автономности, к чему стремятся создатели подобных систем, приведет к отсутствию тактильной обратной связи, что особенно важно для хирурга при работе с тканями организма. В связи с этим возникает целый комплекс проблем: от уверенности в технологии для безупречной работы до эмоциональной дистанции между пациентом и хирургом.
Как справедливо отметила американская исследовательница Барбара Басс [9], процесс хирургии является исключительно личным. Один человек, нуждающийся в процедуре - ремонте поврежденного элемента, удалении инфицированной или инвазивной части, или даже замене вышедшего из строя органа, - обращается за помощью к опытному и знающему незнакомцу: хирургу. Хирург использует свои руки и инструменты, навыки, знания, мудрость и опыт для выполнения этой задачи. «Уровень доверия, присутствующий во время операции, важен как для пациента, так и для хирурга, который по своей природе причиняет некоторый вред
пациенту», - констатирует Б. Басс [9]. Таким образом, хирургия является уникальным выражением доверия между людьми, которое нивелируется при посредничестве роботизированных систем.
В последнее время в целях ухода за пациентами, преимущественно преклонного возраста, в некоторых странах (Японии, Германии, Австрии, Италии) стали использовать так называемых социально-вспомогательных роботов, способных в автономном или полуавтономном режиме взаимодействовать и общаться с людьми в общественных местах.
Социальный робот для реабилитации - устройство, имеющее набор технологий, позволяющий пользователю получить впечатление того, что он находится и / или воздействует на место, отличное от его физического местоположения (телеприсутствие). Социальные роботы для реабилитации используются прежде всего для вовлечения людей с ограниченными возможностями в общественную жизнь: работу, учебу и общение.
Первым интерактивным социально-вспомогательным роботом является робот-тюлень «Паро» (Япония), оснащенный микропроцессорами и электронными датчиками, которые реагируют на свет, прикосновения, движения и голос. Этот робот был разработан для людей с особыми потребностями, например для одиноких пожилых людей, детей с аутизмом и взрослых, получивших тяжелые травмы, для оказания успокаивающего эффекта и стимулирования положительных эмоций.
В связи с распространением и использованием социально-вспомогательных роботов возникают этические проблемы, касающиеся сохранения конфиденциальности частной жизни, возникновения суррогатных социальных отношений, основанных на обмане и зависимости людей от технологий. Подмена человеческого сочувствия его симулякром грозит объективацией пожилых людей, дегуманизацией практики ухода за больными и, как следствие, дегуманизацией общества в целом [11].
Как мы видим, внедрение и широкое применение роботизированных систем приводит к трансформации общества, роли и места человека в нем. Робототехника начинает затрагивать и преобразовывать практически все повседневные сферы нашей жизни, в которых акцент смещается с людей на технологии. Грядущие перемены, связанные с развитием робототехники, развиваются по экспоненте, не имеют аналогов в истории человечества, и у нас практически нет времени для адаптации к ним.
Когда будет создан робот с ИИ, идентичным или превосходящим человеческий интеллект, наделенный субъективными переживаниями и опытом сознания, робоэтике предстоит найти ответы на фундаментальные вопросы. Что значит быть человеком? Можем ли мы наделить роботов личностью? Можем ли мы говорить о достоинстве роботов и наличии у них совести? Обладают ли роботы самосознанием, чувствами и эмоциями? Есть ли у роботов собственные ценности или они заложены программой? Должны ли они иметь права?
Список литературы
1. Азимов А. Хоровод. - Режим доступа: http://asimovonline.ru/short-stories/khorovod/ read/?page=3
2. Бостром Н. Искусственный интеллект. Этапы. Угрозы. Стратегии. - 2016. -Режим доступа: httpsV/www.litres.runik-boslrom/iskusstvennyy-intellekt-etapy-ugrozy-strategii/chitat-onlayn/page-3/#linkm1402296433 47920
3. Джой Б. Почему будущему мы не нужны. - 2000. - Режим доступа: http:// www.kongord.ru/Index/Articles/futdntneedus.html
4. Джордан Д. Роботы / пер. с англ. - М.: Издательская группа «Точка», 2017. -259 с.
5. Модельная конвенция о робототехнике и искусственном интеллекте. - 2017. -Режим доступа: http://robopravo.ru/modielnaia_konvientsiia
6. Тиханычев О.В. Некоторые проблемы использования робототехники в военном деле // Современные научные исследования и инновации. - 2016. - № 3. -Режим доступа: http://web.snauka.ru/issues/2016/03/65103
7. AISB Workshop on Principles of Robotics // Sheffield UK. - 2016. - April 4 th. -Mode of access: http://www.sheffieldrobotics.ac.uk/aisb-workshop-por/
8. Andresciani D., Cingolani R. Robots and intelligent / autonomous systems: technology, social impact and open issues. - 2019. - Mode of access: http://www.acade-myforlife.va/content/dam/pav/documenti%20pdf/2019/Assemblea2019/TestiRelatori-Pubblicati/Cingolani%20Full%20text.pdf
9. Bass B. Computational surgery: new perspectives and implications. - 2019. - Mode of access: http://www.academyforlife.va/content/dam/pav/documenti%20pdf/2019/ Assemblea2019/TestiRelatoriPubblicati/FT%20Bass.pdf
10. Billard A.G. Robots - ready to work with and for humans? - 2019. - Mode of access: http://www.academyforlife.va/content/dam/pav/documenti%20pdf/2019/ Assemblea2019/TestiRelatoriPubblicati/Billard1.pdf
11. Gastmans С., Vandemeulebroucke T. The ethics of care robots in aged care: An overview of ethical argumentations and concepts. - 2019. - Mode of access: http://
www.academyforlife.va/content/dam/pav/documenti%20pdf/2019/Assemblea2019/ TestiRelatoriPubblicati/FT%20Gastmans.pdf
12. G20 AI Principles. - 2019. - Mode of access: https://g20trade-digital.go.jp/dl/ Ministerial_Statement_on_Trade_and_Digital_Economy.pdf
13. Ishiguro H. Studies on Interactive Robots. - 2019. - Mode of access: https:// www.youtube.com/watch?v=4f7lHdNtzhs&feature=youtu.be
14. Kopacek P. Roboethics. In Proceedings of the IF AC Workshop on «Supplemental Ways for Improving International Stability - SWIIS 2012». - 2013. - P. 67-72. -DOI: 10.3182/20120611-3-IE-4029.00015
15. Murphy R., Woods D. Beyand Asimov: Three Laws of Responsible Robotics // IEEE Intelligent Systems. - 2009. - N 24. - P. 14-20.
16. The Sunday paper (tech ethics edition) // Defense Tech. - 2008. - Mode of access: https://www.military.com/defensetech/2008/02/03/the-sunday-paper-neo-retro-photo-edition
17. Verruggio G. EURON Roboethics Roadmap. - 2006. - Mode of access: http://www. roboethics.org/atelier2006/docs/R0B0ETHICS%20R0ADMAP%20Rel2.1.1 .pdf
18. Veruggio G. Roboethics. Robotics & Automation Magazine // IEEE. - 2010. -Vol. 17, Issue 2. - P. 105-109.
19. Verruggio G. «The Birth of Roboethics» // ICRA 2005, IEEE International Conference on Robotics and Automation Workshop on Robo-Ethics. - Barcelona, 2005. -April 18. - Mode of access: http://www.roboethics.org/icra2005/veruggio.pdf
