CC BY
19
ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ, ЧЕЛОВЕК И ОБЩЕСТВО
2018.02.013. ВОПРОСЫ ЭТИКИ, ДОВЕРИЯ И ПОТЕНЦИАЛЬНОЙ ОТВЕТСТВЕННОСТИ В ОБЛАСТИ АВТОНОМНЫХ СИСТЕМ / БРИЛЛ Дж.К., БЛИСС Дж.П., ХЭНКОК П.А., МАНЗИ Д., МАЙЕР Й., ВРЕДЕНБУРГ Э.
Matters of ethics, trust and potential liability for autonomous systems / Brill J. Ch., Bliss J.P., Hancock P.A., Manzey D., Meyer J., Vreden-burgh A. // Proceedings of the Human factors and ergonomics society annual meeting. - Santa Monica (CA), 2016. - Vol. 60, N 1. - P. 308312.
Ключевые слова: интеллектуальные автономные системы (ИАС); искусственный интеллект; роботизация; мораль; этика.
Начало XXI в. ознаменовалось резким скачком в развитии роботизированных систем, представляющих собой наиболее очевидную сферу применения интеллектуальных автономных систем (ИАС). Параллельно в академическом и политическом сообществах усилилась полемика о юридических, технологических и военных аспектах внедрения систем такого рода. Рассмотрению вопросов этики, доверия и потенциальной ответственности специалистов, вовлеченных в создание ИАС, было посвящено одно из заседаний ежегодной встречи «Общества человеческих факторов и эргономики» (Human factors and ergonomics society) (2016). В экспертной дискуссии приняли участие Кристофер Брилл (руководитель Группы по анализу человеческого поведения в исследовательской лаборатории ВВС США), Джеймс Блисс (профессор Университета «Олд Доминион», г. Норфолк, США)1, Питер Хэнкок (заслуженный про-
1 С 2001 г. ведет курсы по проблематике доверия / недоверия людей к ИАС, в рамках которых активно взаимодействует с армией США, Управлением
фессор факультетов психологии, гражданской и экологической инженерии, систем промышленного проектирования и управления, Института моделирования и обучения Университета Центральной Флориды, г. Орландо, США), Дитрих Манзи (профессор инженерной и организационной психологии в Берлинском техническом университете, Германия), Йоахим Майер (профессор кафедры промышленной инженерии Тель-Авивского университета, Израиль) и Элисон Вреденбург (директор «Vredenburgh & associates», председатель программы профессиональной экспертизы Forensics Group). Выступления и комментарии участников заседания легли в основу настоящей статьи.
Специалисты констатировали, что в ближайшем будущем ИАС получат не только военное, но и гражданское применение и будут использоваться в медицине, сельском хозяйстве, коммерческом судоходстве и в области оказания юридических услуг [с. 308]. Однако расширение сферы применения ИАС закономерно приведет к увеличению частоты и усилению негативных последствий сбоев в их работе, а также породит ряд проблем правового характера.
В своих вступительных тезисах К. Брилл отметил, что быстрое развитие автономных технологий привнесло практическую составляющую в многолетние теоретические дискуссии о механической морали и искусственном интеллекте. По его мнению, специалисты в области эргономики должны выступить в роли своеобразных «сознания и совести» технологического сообщества, взяв на себя оценку потенциальных рисков плохо спланированных и плохо осуществленных решений в области использования ИАС. «Профессор Йен Малькольм из фильма "Парк Юрского периода", возможно, наилучшим образом ухватил эту мысль», - утверждает К. Брилл, цитируя знаменитое: «...ваши ученые были настолько озабочены тем, могли ли они или нет, чтобы не переставали думать, должны ли они это делать». «Если мы решим, что должны [развивать специальные автономные системы], - продолжает он, - тогда на нас ложится ответственность задействовать все свои навыки с тем, чтобы создать и обучить их, а также, когда это необходимо,
перспективных исследовательских проектов Министерства обороны США (DARPA), Управлением научных исследований ВВС США (AFOSR), Национальным управлением по аэронавтике и исследованию космического пространства (NASA), Национальным научным фондом (NSF). - Прим. реф.
сдержать и воспрепятствовать им» [с. 310]. В свою очередь, Дж. Блисс заявил, что ответственность производителей роботизированных систем, в числе прочего, выражается в том, что, пытаясь избежать возникновения небезопасных для пользователей ситуаций, они оснащают свои разработки многочисленными датчиками со своими способами оповещения [с. 309].
Решение о внедрении новых роботизированных технологий, как подчеркнул Д. Манзи, требует общественного согласования. В условиях демократии это с необходимостью обернется проведением широких политических дискуссий о социальных последствиях роботизации. Закономерным итогом подобных обсуждений должно стать формирование четкого списка критериев приемлемости той или иной технологический инновации для данной страны. Однако тот факт, что общество признает целесообразным внедрение конкретных технологий или систем, не освобождает каждого отдельного разработчика от принятия соответствующего решения на индивидуальном уровне [с. 310].
Эксперты признали важность обсуждения этического измерения роботизации. Были приведены аргументы противников широкого внедрения ИАС, в первую очередь тех из них, которые полагают морально уязвимым использование устройств автоматики, заменяющих человека, в боевых ситуациях. В частности, упоминался распространенный тезис о том, что бомбардировки времен Второй мировой войны были более «гуманными» и уважали «человеческое достоинство» жертв (в отличие от современных боевых операций, осуществляющихся при помощи беспилотных летательных аппаратов), поскольку производились людьми1. Отвлекаясь от дискуссионных по сути этических аспектов роботизации, эксперты рассмотрели другой тезис критиков ИАС, заключающийся в том, что вне зависимости от достигнутого уровня научно-технического прогресса, без человеческого надзора полностью автономные системы неизбежно будут допускать ошибки. В военной области основные риски могут быть связаны с ошибочными действиями ма-
1 Wadhwa V., Johnson A. Robots could eventually replace soldiers in warfare. Is that a good thing? // The Washington Post. - Wash., 2016. - 5 Oct. - Mode of access: https://www.washingtonpost.com/news/innovations/wp/2016/10/05/robots-could-even tually-replace-soldiers-in-warfare-is-that-a-good-thing/?utm_term=.7b6420969612 [Accessed 06.02.2018.]
шин в ситуациях, требующих различения участников боевых действий и гражданского населения страны-противника. Остро стоит вопрос об этических ограничениях в связи с принятием роботом самостоятельных решений о том, сохранить человеческую жизнь или убить человека. Некоторые трудности могут возникнуть при определении субъекта юридической ответственности за действия, совершенные роботами. Учитывая все вышеозначенные риски, П. Хэнкок выступил за ограничение распространения роботизированных систем, как способных выйти из-под контроля и стать реальной угрозой для человечества [с. 310]. Й. Майер высказался значительно мягче, указав на исключительную значимость роли когнитивных инженеров, которые должны оценивать потенциальные риски в области проектирования и эксплуатации, при разработке роботизированных систем [с. 311].
Участники заседания сошлись во мнении, что с учетом динамики технологического развития в ближайшем будущем использование ИАС станет значимым вызовом и для системы нормативно-правового регулирования военной безопасности государства, поскольку практика и последствия внедрения отдельных инноваций пока еще не получили юридического оформления. Необходимо определиться с тем, как следует применять действующее законодательство в условиях тенденции к увеличению автономности систем оружия, а также с учетом потенциальных проблем, связанных с конструкцией будущих полностью автоматических систем оружия.
Основное содержание дискуссии определили два вопроса.
1. Большее или меньшее количество ошибок в сравнении с системами, управляемыми человеком, возникнет в ходе работы ИАС?
2. Если при использовании ИАС в военной области возникшие ошибки приведут к значительным потерям среди гражданского населения, откажется ли от них общество?
В отношении первого вопроса К. Брилл заметил, что на данный момент уровень искусственного интеллекта и машинное обучение не соответствуют способностям человека, однако технический прогресс не стоит на месте. Скорость обработки данных компьютерами значительно выше, при этом отсутствуют такие связанные с природой человека ограничения, как чувства, усталость, склонность к оценочным суждениям. С учетом этих обстоятельств
ИАС представляются менее склонными к непреднамеренным ошибкам.
В ходе обсуждения также было отмечено, что фактически, если непредумышленные потери гражданского населения все же имели место, уже не столь важно, произошли ли они вследствие ошибочных действий человека или сбоя в работе автономных систем. Тем не менее велика вероятность, что единичные сбои, обернувшиеся тяжелыми последствиями, приведут к волне общественного сопротивления последовательному внедрению ИАС.
Были высказаны опасения, что активное распространение ИАС во всех сферах человеческой жизни приведет к дегуманизации последних, замене людей роботами. Однако Э. Вреденбург парировала, что на практике ситуация не столь однозначна. Если говорить о производственной роботизации, то она потребует привлечения массы дополнительных специалистов в области программирования, т.е. снизится потребность в сотрудниках низкой, но не высокой квалификации. Таким образом, роботизация, отметила она, подразумевает не сокращение рабочих мест за счет полной замены личного состава машинами, а интеграцию ИАС в человеческую деятельность [с. 312].
В завершение заседания участники обозначили задачу дальнейшего скрупулезного исследования социальных последствий использования ИАС, в частности, совместимости автономного оружия с международными нормами в области прав человека и международным гуманитарным правом.
А.Ю. Липова
2018.02.014. НАТАЛЕ С., БАЛЛАТОРЕ А. ФАНТАЗИИ ПО ПОВОДУ МЫСЛЯЩЕЙ МАШИНЫ: ТЕХНОЛОГИЧЕСКИЕ МИФЫ И ИСТОКИ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА. NATALE S., BALLATORE A. Imagining the thinking machine: Technological myths and the rise of artificial intelligence // Convergence: The international j. of research into new media technologies. -Luton, 2017. - June 20. - P. 1-16.
