CC BY
105ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ КАК КОГНИТИВНЫЙ ПРОТЕЗ:
трансформация образов будущего
Тимофей Нестик
АННОТАЦИЯ
1 статье анализируются психологические проблемы государственного регулирования использования систем искусственного интеллекта в условиях низкого доверия социальным институтам. Рассматривается роль взаимодействия между представителями власти и некоммерческими организациями гражданского общества входе цифровой трансформации. Делается вывод о том, что путь к преодолению социального пессимизма лежит через превращение ИИ из «протеза» для плохо работающих социальных институтов в посредника, позволяющего людям заглядывать в совместное будущее как можно дальше и лучше понимать друг друга, поддерживающего в них сопереживание и способность к диалогу для выработки этически взвешенных решений. Эмпирические исследования отношения россиян к технологиям ИИ в 2018-2019 гг. проведены при поддержке гранта РНФ №18-18-00439
КЛЮЧЕВЫЕ СЛОВА
Искусственный интеллект, социальное доверие, государственное управление, гражданское общество, НКО, преадаптация, форсайт.
Социальное доверие
Утверждённая президентом РФ в октябре 2019 года Национальная стратегия развития искусственного интеллекта на период до 2030 года устанавливает в качестве показателя, характеризующего рост спроса на технологии искусственного интеллекта (ИИ), увеличение количества организаций, в том числе организаций социальной сферы и государственных органов, использующих ИИ для повышения эффективности своей деятельности.
Между тем форсированное внедрение систем ИИ в работу государственных служб требует высокого доверия граждан к государству Это хорошо видно по данным исследования
Тимофей Александрович НЕСТИК
д. психол. н., ведущии научный сотрудник Школы антропологии будущего РАНХиГС, заведующий лабораторией социальной и экономической психологии ИП РАН (129366, РФ, Москва, ул. Ярославская, д. 13/1). E-mail: nestik@gmail.com
BCG Digital Government Benchmarking: наиболее быстрыми темпами системы ИИ внедряются в государственном управлении стран с высоким доверием к социальным институтам - в Индии, Китае, Индонезии и Объединенных Арабских Эмиратах [21]. Неслучайно использование компьютерного зрения для распознавания лиц прохожих на улицах вызывает ожесточённые публичные дискуссии в западноевропейских СМИ, тогда как в Китае в это же время внедряется система обязательного распознавания лиц для всех пользователей мобильной связи [35].
Низкое институциональное доверие, характерное для большинства стран [24], усиливает
техно-гуманитарный дисбаланс, когда внедрение новых технологий опережает способность общества договариваться о правилах их использования. Технологический оптимизм российской молодёжи, в том числе среди руководителей государственных учреждений, оказывается компенсацией социального пессимизма: алгоритмы и системы ИИ рассматриваются как лекарство от коррупции, воспринимаются в качестве «протезов» для плохо работающих судов, медицинских и образовательных учреждений.
Остаётся открытым вопрос о том, будет ли развитие технологий способствовать «смягчению» культуры, росту толерантности к нарушению социальных норм, как это происходило на протяжении последних двухсот лет [30]. Действительно, использование криптовалют и токенов, ожидание избытка благ, произведённых роботами, и сокращение стоимости энергии — всё это делает популярной идею социальной сингулярности, в соответствии с которой дальнейшее развитие технологий будет сопровождаться демократизацией и децентрализацией общества [17].
Сегодня обсуждение ИИ в мировых СМИ носит сенсационный характер, подогревает ожидания радикальных изменений, страхи и необоснованные надежды: большинство считает, что развитие технологий ИИ ещё больше увеличит пропасть, разделяющую бедных и богатых, но при этом переоценивает возможности таких систем [19]. Алгоритмы и В1дОа1а «фетишизируются», их возможности в решении социальных проблем переоцениваются [36; 52]. При этом экспериментальные исследования показывают, что в условиях неопределённости и дефицита времени у человека возникает сверхдоверие к системам ИИ и роботам [45; 55]. Доверие к ИИ возрастает, если программа комментирует свои действия [22; 44]. Тем не менее готовность использовать системы ИИ в наибольшей степени определяется не их понятностью для личности, а её доверием к их разработчикам и другим пользователям [10].
В одном из наших исследований представителям городской молодёжи (N = 550) предлагался выбор между несколькими вариантами поведения системы ИИ в этически спорной ситуации: 35 % участников дали системе ИИ возможность самостоятельно найти решение в соответствии с этическими принципами, закреплёнными в программе; 30 % предпочли, чтобы система ИИ разрабатывала решение в диалоге с человеком; 19 % выбрали вариант, при котором ИИ строго следует приказам человека, а ещё 16 % — вариант, при котором система ИИ выбирает решение из набора действий, который жёстко ограничен программистами. Участники, выбравшие самостоятельность ИИ и его диалог с человеком, характеризовались более высоким уровнем доверия к людям, чем те, кто не предоставлял системе ИИ выбора [41].
Иными словами, доверие к системам ИИ тесно связано с доверием социальным.
В отличие от европейских стран и США в российском массовом сознании последствия автоматизации труда пока недооцениваются. Как показал опрос россиян, проведённый ВЦИОМ по репрезентативной выборке в декабре 2017 г., 74 % убеждены, что в обозримом будущем их рабочее место не смогут занять роботы [13]. При этом 73 % вообще никогда не задумывались об этой проблеме. Большинство (62 %) считают тенденцию к замене людей на рабочих местах роботами неправильной, причём наиболее категорично это мнение отстаивает именно молодёжь, а не старшее поколение (так считают 70 % в группе от 18 до 24 лет по сравнению с 55 % в группе от 45 до 59 лет). Общероссийский репрезентативный опрос, проведённый в сентябре 2019 г. Институтом психологии РАН и ГК ЦИРКОН, показал, что непредвиденные негативные последствия развития технологий беспокоят лишь 56 % россиян, причём в наименьшей степени об этом задумываются люди в возрасте от 18 до 24 и от 35 до 44 лет.
Ситуация осложняется так называемым «эффектом ИИ»: пользователи не знают, где он используется, причём чем чаще используется
НЕПРЕДВИДЕННЫЕ НЕГАТИВНЫЕ ПОСЛЕДСТВИЯ РАЗВИТИЯ ТЕХНОЛОГИЙ БЕСПОКОЯТ ЛИШЬ 56 % РОССИЯН
эта технология, тем менее она заметна для человека. Так, например, большинство ин-тернет-пользователей не отдают себе отчёта в том, что технологии ИИ применяются в поисковых запросах, формировании ленты новостей и рекомендациях потенциальных друзей в социальных сетях [57].
Развитие цифровых технологий углубляет культурный разрыв между теми, кто готов к неопределённости и выбору, и теми, кто стремится избежать необходимости что-либо выбирать. Искусственный интеллект даёт возможность личности переложить ответственность за свои действия на обезличенный алгоритм и его разработчиков. Ограничения, навязываемые алгоритмами, чаще всего неизвестны пользователям, даже если они описаны в пользовательской документации. Лишь треть интернет-пользователей утверждают, что ког-да-либо читали соглашения о предоставлении услуг и использовании персональных данных. При этом анализ цифровых следов на серверах показывает, что на самом деле соглашения читают менее 1 % пользователей [28]. Более того, алгоритмы превращаются в «архитектуру выбора», подталкивающую нас к решениям, которые должны повысить качество нашей жизни [16]. Даже если в основе такого цифрового патернализма будут либеральные ценности (что кажется маловероятным в культурах с вертикальным коллективизмом), использование алгоритмов, корректирующих несовершенство человеческой природы ради благих целей, может способствовать снижению осознанности и рефлексивности общества [4]. С этой точки зрения ключевые этические дилеммы, стоящие перед руководителями в условиях форсированной цифровой трансформации, сводятся к выбору между скоростью внедрения общественно полезных систем ИИ и их обсуждением с различными заинтересованными сторонами, а также между использованием систем ИИ как «замены» субъективности человека и использованием их для развития критического мышления пользователей и повышения осознанности решений, принимаемых гражданами.
Психологические исследования показывают, что доверие к киберфизическим системам отличается от доверия людям и легко сменяется абсолютным недоверием [31]. Обвал
доверия к искусственному интеллекту и основанным на нём робототехническим системам может повлечь за собой ещё больший кризис доверия к социальным институтам — государству, бизнесу и общественным организациям. Хрупкость доверия к автоматизированным системам ставит перед руководителями государственных служб задачу не только информировать граждан о том, какие программные решения используются в цифровых государственных услугах, но и о том, каковы этические принципы чиновников, имеющих доступ к данным, и сотрудников компаний, непосредственно управляющих автоматизированными системами.
Проблема «чёрного ящика»
Одна из причин тревоги по поводу развития ИИ связана с так называемой проблемой «чёрного ящика»: не только политики и обыватели, но и сами разработчики не могут в точности объяснить логику, лежащую в основе тех или иных заключений, сделанных самообучающейся нейросетью. Влияние таких алгоритмов на общество трудно оценить, так как их коды защищены коммерческой тайной, а истинные цели часто неясны. Сегодня число корпоративных и отраслевых этических кодексов, регулирующих разработку и использование ИИ, перешагнуло за сотню [32]. К сожалению, эксперименты показывают, что знакомство разработчиков с подобными нормативными документами не повышает их готовность следовать предписанным правилам [39].
В этих условиях особенно важной становится роль некоммерческих организаций (НКО) гражданского общества в поддержании практик диалога о будущем технологий в условиях цифровой трансформации, форсированной государством и крупными компаниями. Правила использования технологий умного и безопасного города, таких как распознавание лиц прохожих или создание цифровых портфолио для каждого ребёнка, требуют публичного обсуждения с участием всех заинтересованных сторон.
Современные технологии всё чаще позволяют скрыть использование ботов во взаимодействии с пользователями. Известно, что доверие к роботам и программам выше в том
случае, когда оказываемая ими услуга похожа на взаимодействие с человеком [20]. Внедрение ИИ в сферу государственных услуг может быть сопряжено с искушением не информировать граждан о том, что с ними взаимодействует именно робот. Так, серия экспериментов показала, что люди более склонны к кооперации с ботами, выдающими себя за людей, а при раскрытии информации о том, что партнёр является ботом, доверие снижается. Более того, раскрывшие себя боты при взаимодействии с людьми обучаются не ждать от своих партнёров готовности к сотрудничеству [29]. Эти психологические закономерности ставят госслужащих перед выбором между эффективностью услуги и её прозрачностью для пользователей. Особенно сложным такой выбор становится в сфере здравоохранения и при чрезвычайных ситуациях, когда рекомендации бота и доверие к ним могут спасти человеческую жизнь.
Безусловно, системы ИИ могут повысить внимание руководителей российских организаций к этическим аспектам принимаемых ими решений. В повседневной жизни мы то и дело сталкиваемся со случаями нарушения социальных норм и, если не видим возможности повлиять на ситуацию, прибегаем к множеству стратегий
отчуждения моральной ответственности [18]. Мы ссылаемся на корпоративные правила или высокие нравственные цели; используем эвфемизмы, описывая своё поведение («воздержался» вместо «промолчал»); сравниваем свои поступки с гораздо более предосудительными («ну не украли же»); перекладываем ответственность на других людей («так решило руководство»); игнорируем последствия («это она так говорит, никто не знает, что там случилось на самом деле»); обесчеловечиваем тех, кто пострадал от безответственного поведения («с такими людьми приходится работать»), или
БОЛЬШИНСТВО ИНТЕРНЕТ-ПОЛЬЗОВАТЕЛЕЙ НЕ ОТДАЮТ СЕБЕ ОТЧЁТА В ТОМ, ЧТО ТЕХНОЛОГИИ
ИИ ПРИМЕНЯЮТСЯ В ПОИСКОВЫХ ЗАПРОСАХ, ФОРМИРОВАНИИ ЛЕНТЫ НОВОСТЕЙ И РЕКОМЕНДАЦИЯХ ПОТЕНЦИАЛЬНЫХ ДРУЗЕЙ В СОЦИАЛЬНЫХ СЕТЯХ
делаем их виновниками случившегося («никто его не пытался ввести в заблуждение, это был его выбор»). В основе этих защитных механизмов лежит наше стремление сохранить положительную самооценку. Растущая цифровая «прозрачность» и «квантифицируемость» нашей жизни и поддержка принятия решений с помощью систем ИИ могут ослабить убедительность некоторых из таких стратегий самооправдания, а также сделать их более осознаваемыми для нас самих.
В ближайшие годы можно ожидать появления основанных на технологиях искусственного интеллекта программ, которые выполняют функции «когнитивных протезов»: например, помогают преодолеть откладывание на потом, компенсировать свойственную людям недооценку будущего, визуализировать сценарии развития событий [37]. В частности, такие программы предлагается использовать, чтобы психологически «приблизить» катастрофические последствия изменения климата [46; 49].
Исследования отношения личности к коллективному будущему показывают, что готовность всматриваться в будущее своей группы прямо свя-зана с уверенностью личности в способности влиять на настоящее [7; 9]. Основанием для конструирования будущего организациями гражданского общества является, прежде всего, локальная идентичность — интерес к судьбе конкретного места, территории, микрорайона, города. Вызовом становится обсуждение более абстрактного будущего региона, страны и тем более будущего мира в целом, казалось бы мало зависящего от действий отдельных организаций и людей. Цифровые следы коллективных действий, моделирование будущего конкретного места или явления в зависимости от глобальных изменений с помощью цифровых двойников и мультиагентных моделей — всё это
позволяет сделать более осознаваемой и релевантной для жителей связь между их поступками и отдалённым будущим широких социальных категорий.
Поликультурное общество
Разработка правил использования интеллектуальных систем затрудняется культурными различиями в представлениях о нравственном и безнравственном поведении. Об этом свидетельствует известный эксперимент «Моральная машина», участники которого в 240 странах приняли 39,6 миллиона решений о том, кем должен пожертвовать самоуправляемый автомобиль: пешеходами, продолжив движение, или пассажирами, врезавшись в ограждение. Большинство участников жертвовали животными в пользу людей, преступниками — в пользу законопослушных граждан, а также стремились спасти как можно большее число жизней.
Как оказалось, индивидуальные различия в уровне доходов, религиозности и политических взглядах не влияют на выбор, тогда как культурные различия в решении задачи оказались существенными. Так, в странах с высоким уровнем коллективизма, где благополучие группы более значимо, чем безопасность отдельной личности, испытуемые менее склонны руководствоваться численностью спасённых жизней, а также более склонны спасать пожилых людей ценой жизни молодых. Кроме того, оказалось, что в странах с высоким ВВП на душу населения, высокой законопослушностью и институциональным доверием участники эксперимента были более склонны жертвовать жизнями пешеходов, переходящих дорогу в неположенном месте. Иными словами, с точки зрения жителей стран с плохо работающими социальными институтами, искусственный интеллект не должен учитывать законопослушность
ГОТОВНОСТЬ ВСМАТРИВАТЬСЯ В БУДУЩЕЕ СВОЕЙ ГРУППЫ ПРЯМО СВЯЗАНА С УВЕРЕННОСТЬЮ ЛИЧНОСТИ В СПОСОБНОСТИ ВЛИЯТЬ НА НАСТОЯЩЕЕ
граждан при принятии решения в условиях неизбежного столкновения. Наконец, в странах с высокой разницей в доходах между бедными и богатыми испытуемые чаще предпочитали спасать высокостатусных людей ценой жизни низкостатусных [17]. При этом в странах Северной Америки и Европы чаще предпочитали не вмешиваться в действия машины и жертвовать пешеходами, в странах Юго-Восточной Азии и Ближнего Востока предпочитали спасать пешеходов и пожилых людей, а в странах Латинской Америки и Южной Африки чаще жертвовали пожилыми, носителями низкого социального статуса и мужчинами.
Очевидно, что государственное регулирование использования систем ИИ не может полагаться исключительно на мнение большинства. Истории известны многочисленные примеры того, как сильно общественное мнение зависит от психологических механизмов отчуждения моральной ответственности, коллективных страхов и конформности. Чтобы в этом убедиться, достаточно вспомнить историю холокоста, маккартизм, борьбу за избирательные права женщин, а также тот факт, что до сих пор общественное мнение в большинстве стран не поддерживает пересадку органов умерших для спасения живых. Тем не менее у регуляторов рынка ИИ нет возможности ориентироваться исключительно на этические теории, не учитывать мнения избирателей. Возможный путь к решению этой проблемы лежит в создании этической инфраструктуры, обеспечивающей обсуждение проблем развития ИИ с опорой на делиберативные формы демократии, так называемые мини-публики, ассамблеи граждан, общественные группы и городские советы [14].
Например, закон № 49, принятый Городским советом и утверждённый мэром Нью-Йор-ка в 2018 г., направленный на предотвращение дискриминации посредством алгоритмов, используемых государственными службами,
стал основанием для создания общественной группы экспертов, проводящих анализ правовых и этических аспектов работы городских систем автоматизированного принятия решений (NYC Automated Decision Systems Task Force Report, 2019). Выработка норм в области развития ИИ может опираться на поиск соответствия между этическими теориями и мнением граждан: например, практически все этические концепции и результаты международных опросов сходятся на том, что число спасённых жизней — важный критерий для решений, принимаемых на дороге самоуправляемыми автомобилями [48].
Социальный ароморфоз
Сегодня становится возможным поиск и привлечение к разработке решений широкого круга экспертов как внутри правительства, так и в гражданском обществе [42]. Особенно важными в этой области становятся системы поддержки коллективного интеллекта — использование ИИ в краудсорсинговых сообществах и публичных дебатах. Например, платформа Assembl с помощью технологий ИИ поддерживает обмен мнениями в муниципальных сообществах метрополии Большого Парижа; с помощью технологий ИИ, предоставляемых компанией Insigh.ts.US, Госдепартамент США собирает и анализирует предложения по совершенствованию процедуры выдачи паспортов; платформа POP VOX на основе ИИ позволяет повысить эффективность взаимодействия избирателей с конгрессменами в США при разработке новых законодательных инициатив [53].
Такого рода инструменты могут быть использованы и для выработки правил внедрения систем ИИ в повседневную жизнь. Одна из ключевых ролей здесь может принадлежать некоммерческим организациям гражданского общества.
Под влиянием цифровых технологий расширяются возможности для конструирования альтернативных образов будущего, для генерации различных культурных орудий социальных изменений и преадаптации [1; 2]. В инженерной мысли получает широкое признание подход к дизайну как культурной практике, позволяющей решать сложные, не имеющие очевидного решения социальные проблемы через
вовлечение в разработку ключевых заинтересованных сторон, совместное социотехниче-ское экспериментирование [25; 56]. Именно такой подход реализуется в технологии дизайна мышления, а также в нарративных технологиях дизайна будущего. В основе этих подходов к разработке социотехнических систем лежат несколько принципов. Во-первых, это принцип человеко-центрированного, ценностно-ори-ентированного дизайна, который уже на этапе разработки устройства или программы предполагает учёт ценностей пользователей и их право информированного выбора. Во-вторых, это принципы непрерывного совместного экспериментирования и диалога с заказчиками и пользователями. В-третьих, это не только стремление увидеть инновации с точки зрения повседневности, жизненного мира конечных пользователей, но и ориентация на учёт долгосрочных социальных последствий внедрения технологии. Новые технологии не только облегчили масштабные эксперименты в городском дизайне, но и подстёгивают непрерывное социальное экспериментирование. Возможность быстро проверить востребованность и реализуемость своей идеи, найти единомышленников и вовлечь широкий круг участников в доработку и осуществление облегчает социальное предпринимательство [38].
По сути, благодаря персонализации «настроек» социальных сетей и облачных сервисов все мы стали социальными дизайнерами. В этой ситуации одной из задач НКО и социальных предпринимателей становится проактивный дизайн — помощь в конструировании моделей ответственного социального поведения, устойчивых в долгосрочной перспективе.
При этом технические устройства, программы и облачные сервисы становятся соучастниками социальных изменений [4; б]. Артефакты становятся активными единицами социальных отношений не в силу своей автономности, а, наоборот, в силу включённости в сеть отношений между людьми. Чем доступнее люди друг для друга благодаря коммуникационным технологиям, тем больше у них возможностей для вплетения предметов в ткань совместных историй и замыслов, для превращения в культурные орудия для изменения самих себя.
Основанные на искусственном интеллекте системы будут вовлекаться в социальные
эксперименты через субъективно значимые, воспринимаемые их качества, а не через функционал, спроектированный разработчиками. Иными словами, влияние ИИ и устройств дополненной реальности на взаимодействие человека с миром будет определяться возможностями, «степенями свободы», релевантными для пользователей соответствующих программ и технических решений. На возможность такого развития событий указывает отечественная концепция воспринимаемых качеств объектов среды, разработанная В. Н. Носуленко [12], а также близкая к ней теория аффордансов, предложенная Д. Норманом на основании экологического подхода Дж. Гиб-сона [11; 26]. Включение умных устройств в жизненные ситуации людей будет придавать им новые воспринимаемые качества и функции. То есть включение технологий в жизнь общества не ограничивается продуманными дизайнерами «пользовательскими историями», на самом деле люди меняют технологии, включая их в совместное целеполагание, групповые когнитивные процессы и межличностные коммуникации.
Безусловно, целенаправленность такого рода социального экспериментирования будет зависеть от цифровой компетентности личности [15]. Однако, по-видимому, социальный ароморфоз, сопровождающийся увеличением сложности социальных систем, будет происходить вне зависимости от того, насколько российское общество информировано о возможностях и ограничениях цифровых технологий. Понимание технологий людьми не является необходимым условием не только их использования, но и даже их совершенствования. Экспериментальные социально-психологические исследования подтверждают предположение культурных антропологов о том, что технические усовершенствования постепенно накапливаются от поколения к поколению пользователей без понимания причинно-след-ственных связей, на которых основано действие устройства [23].
Создание систем ИИ требует больших обучающих выборок, накопление и обработка которых часто оказываются недоступными не только для организаций некоммерческого сектора, но и для коммерческих корпораций. Например, обучение полностью автономной
интеллектуальной системы для безошибочного вождения автотранспорта требует проезда от 500 млн до 1 млрд миль [33]. Для создания и обучения ИИ необходимы широкие партнёрства между НКО, государственными службами и частными компаниями. Это означает переход к платформенной организации работы, возможно с использованием децентрализованных реестров данных. На этом примере можно видеть, что развитие новых технологий требует не только и не столько технических навыков, сколько готовности к сотрудничеству.
Кризис доверия
По мере развития технологий ИИ и роста спроса на обучающие выборки будет меняться характер проблем, связанных с доверием. Сегодня они определяются стремлением частных компаний и государства получить доступ к личным данным интернет-пользо-вателей. В связи с этим будет расти внимание личности к соотношению между приобретаемой ценностью и ценностью своих персональных данных, передаваемых при покупке. Однако развитие цифровых платформ гражданского общества для реализации социальных изменений будет требовать готовности их участников делиться данными для обучения систем ИИ. Если сегодня камнем преткновения является цифровая безопасность личности и сохранение права на неприкосновенность личной жизни, то в дальнейшем всё более актуальной дилеммой станет выбор между закрытостью и осознанным, активным участием в создании цифровой инфраструктуры общества. Волонтёрство, вовлечение в гражданские инициативы будет предполагать готовность личности к раскрытию своих цифровых следов ради повышения точности систем ИИ, снабжения данными самообучающихся интеллектуальных систем. Иными словами, социальные изменения станут синонимом изменений цифровых, «топливом» для которых станут цифровые следы жизни миллионов людей. В этих условиях защита прав и свобод личности будет обеспечиваться целенаправленным инвестированием персональных данных, то есть их осознанным раскрытием, а не утаиванием.
Некоммерческие организации, работающие в России, сталкиваются с целым рядом ограничений: недоверие со стороны городского населения, избирательность поддержки НКО со стороны государства, сезонность в притоке добровольцев, отсутствие квалифицированных кадров и трудности в их поиске, связанные с существенными различиями в организации деятельности между разными типами НКО. Очевидно, что цифровые технологии, в том числе системы ИИ, облегчают решение части из этих проблем: делают работу НКО более прозрачной для общества, позволяют быстро находить волонтёров через различные цифровые платформы, облегчают планирование проектов и опережающую, предсказательную аналитику их эффективности.
С другой стороны, цифровые технологии могут затруднить деятельность НКО. Во-первых, это связано со всё более жёстким технологическим соперничеством между контролирующими государственными службами и организациями гражданского общества [1]. Такое технологическое противостояние может затруднять доступ к данным и обмен ими, координацию усилий НКО, повышать уязвимость лидеров НКО по отношению к различным формам давления.
Во-вторых, новые технологии открывают широкие возможности для разрушения доверия к структурам гражданского общества через информационные операции. Использование ИИ позволяет перевести информационные войны в полностью автоматизированный режим, когда нейросети сами скачивают метаданные «мишеней» и анализируют их психологический профиль по цифровым следам в поиске уязвимостей, затем генерируют искусственный видеоконтент с учётом этих психологических профилей, организуют армию ботов для его вброса в социальные сети, таргетиру-ют сообщения для тех пользователей, которые с наибольшей вероятностью перешлют эту информацию своим друзьям, а затем проводят
автоматизированную оценку разрушительного воздействия информационной кампании на общество [34; 40].
Для защиты от лжи используются всё более совершенные технические решения, основанные на машинных алгоритмах. Например, выдача ссылок на первоисточник и альтернативные версии новостного сообщения помогают пользователям более критично отнестись к информации, а автоматическое выявление и блокирование ложных сообщений средствами самой социальной сети затрудняет их распространение. Между тем НКО могут дополнить эти инженерные решения более сложными социальными технологиями, повышающими рефлексивность сообщества. Примером могут быть гражданские инициативы по фактче-кингу, а также социальные проекты, направленные на обучение интернет-поль-зователей распознаванию ложных новостей [43]. Так, многообещающим инструментом снижения подверженности воздействию лжи являются «прививки от фей-ков», например онлайн-игры, в которых на примерах ложных новостей раскрываются типичные механизмы манипуляции общественным мнением [47]. В условиях низкого социального доверия представители НКО могли бы стать лидерами мнений в социальных сетях, привлекающими внимание к он-лайн-платформам для повышения медиагра-мотности россиян.
Кризис институционального доверия в большинстве стран сдвигает политические процессы в сторону популизма и авторитарных лидеров, заявляющих о готовности идти на крайние меры для защиты граждан от локальных и глобальных угроз — от несбалансированности национальной системы здравоохранения до вынужденных мигрантов и последствий глобального изменения климата. Это смещение к консервативному и авторитарному полюсам политического спектра делает востребованной способность
БЛАГОДАРЯ ПЕРСОНАЛИЗАЦИИ
«НАСТРОЕК» СОЦИАЛЬНЫХ СЕТЕЙ И ОБЛАЧНЫХ СЕРВИСОВ ВСЕ МЫ СТАЛИ СОЦИАЛЬНЫМИ ДИЗАЙНЕРАМИ
руководителей к формированию лидерского и командного видения, мотивирующего и одновременно снижающего тревогу перед неопределённым будущим. Такого рода образы будущего, зафиксированные в стратегических целях, повышают самооценку общества и сплачивают его. Однако лидерские образы будущего сужают поле внимания последователей на коллективных целях: чем они ярче, тем менее противоречивой оказывается картина настоящего и тем менее восприимчивым оказывается властный аппарат к слабым сигналам приближающихся перемен, не предвиденных ранее.
От «протеза» к посреднику
Традиционные инструменты прогнозирования будущего, в том числе методология ин-новационно-технологического форсайта, разрабатывались для экспертной поддержки и апробации стратегических решений, принимаемых небольшой группой лиц. Они были ориентированы на предсказание развития рынков и анализ сценариев конкуренции между государствами, чаще всего упуская из виду изменения в повседневной жизни и психологии людей. Сегодня под влиянием социальных сетей и развития цифровых платформ происходит смещение проектирования будущего с вершины организаций на их периферию, включение «мудрости толпы» в социальный инжиниринг.
В связи с этим становятся актуальными такие подходы к «сканированию горизонтов», которые приближены к жизненному миру человека. Так, в критических исследованиях будущего, концепциях социального форсайта и интегрального будущего основное внимание уделяется не внешним, объективным изменениям в технологиях, экономике, демографии и т.д., а внутренним, психологическим изменениям [51]. В концепции многоуровневого каузального анализа С. Инаятуллы обосновывается необходимость перехода от поверхностного анализа трендов к диалогу различных идеологических и ценностных позиций, в котором конструируются альтернативные версии развития технологий [27]. Нарративный подход предоставляет возможность участникам
осознать когнитивные и культурные факторы, влияющие на конструируемый ими образ будущего, увязать последствия технологий с конкретными людьми, предметами и событиями, образующими повседневность будущего [54]. Кроме того, сетевыми сообществами активно развиваются собственные практики конструирования будущего и технологии фасилитации (см., например: [5]).
НКО гражданского общества оказываются в сложной ситуации. В XX веке задача определения долгосрочных приоритетов решалась государством, тогда как гражданское общество было сконцентрировано на критике текущей политики власти, его коллективные инициативы чаще всего имели краткосрочный горизонт, а прогнозированием занимались относительно небольшие группы экспертов. В XXI веке функции гражданского общества меняются: благодаря цифровым технологиям оно непосредственно включается в решение сложных социальных проблем, требующих ориентированного на долгосрочность подхода. Теперь речь идёт о двух взаимодополняющих системах сканирования горизонтов. Одна из них
ПУТЬ К ПРЕОДОЛЕНИЮ СОЦИАЛЬНОГО ПЕССИМИЗМА ЛЕЖИТ ЧЕРЕЗ ПРЕВРАЩЕНИЕ ИИ ИЗ «ПРОТЕЗА» ДЛЯ ПЛОХО РАБОТАЮЩИХ СОЦИАЛЬНЫХ ИНСТИТУТОВ В ПОСРЕДНИКА
принадлежит государству, сконцентрирована на гашении разнообразия ради мобилизации производительных сил и контролируемого «перехода через пустыню» климатических, политико-экономических, социально-демогра-фических и технологических рисков. Вторая поддерживается силами профессиональных, корпоративных, отраслевых, поколенческих, городских объединений, а также спонтанно
возникающих и распадающихся временных виртуальных сообществ, каждое из которых всматривается в коллективное будущее и моделирует его. Обе системы имеют гетерархи-ческий характер, включают в себя сетевые и вертикально выстроенные структуры генерации экспертного знания, опираются на те или иные технологии конструирования будущего — от форсайт-сессий и экспертных панелей до анализа больших данных. Но если первая направлена на повышение управляемости воображаемого будущего, то вторая поддерживает его многовариантность и когнитивную сложность.
По-видимому, путь к преодолению социального пессимизма лежит через превращение ИИ из «протеза» для плохо работающих социальных институтов в посредника, позволяющего людям дальше заглядывать в совместное будущее, лучше понимать друг друга, поддерживающего в нас сопереживание и способность к диалогу для выработки этически взвешенных решений.
Литература
1. Асмолов А. Г. Донкихоты против роботов: Непредсказуемость как Дар?! // Учительская газета: сетевое издание. 21 мая 2019 г. URL: http://www.ug.rU/article/1107 (дата обращения: 20.11.2019).
2. Асмолов А. Г., Асмолов Г. А. Интернет как генеративное пространство: историко-эволюционная перспектива// Вопросы психологии. 2019. №4. С. 1-26.
3. Асмолов Г. А. Сумма протестных технологий: куда ведёт гонка инноваций в России// Open Democracy: [сайт]. 19 августа 2019 г. URL: https://www.opendemocracy.net/ru/technological-innovations-protests/
4. Журавлёв А. Л., Нестик Т. А. Социально-психологические последствия внедрения новых технологий: перспективные направления исследований // Психологический журнал. 2019. Т. 40. № 5. С. 35-47.
5. Конкурс методик работы с будущим / АСИ. 2017// Leader-ID [сайт]. URL: https://leader-id.ru/event/5242/ (дата обращения: 19.01.2019).
6. Латур Б. Пересборка социального: введение в акторно-сетевую теорию. М.: НИУ ВШЭ, 2014.
7. Нестик Т. А. Отношение личности к прошлому, настоящему и будущему России: результаты эмпирического исследования // Социальная
и экономическая психология. Ч. 1: Состояние и перспективы исследований / отв. ред. Т. А. Нестик, Ю. В. Ковалева. М.: Институт психологии РАН, 2018. С. 190-212.
8. Нестик Т. А. Перспективы психологических исследований внедрения технологий искусственного интеллекта // Цифровое общество в культурно-исторической парадигме: колл. монография / под ред.
Т. Д. Марцинковской, В. Р. Орестовой, 0. В. Гавриченко. М.: МГППУ 2019. С. 13-22.
9. Нестик Т. А. Социальная психология времени. М.: Институт психологии РАН, 2014.
10. Нестик Т. А., Журавлёв А. Л. Психология глобальных рисков. М.: Институт психологии РАН, 2018.
11. Норман Д. Дизайн вещей будущего. M.:Strelka Press, 2006.
12. Носуленко В. Н. Воспринимаемое качество как основа психофизического измерения событий естественной среды // Современная психофизика / под ред. В. А. Барабанщикова. М.: Институт психологии РАН, 2009. С. 13-40.
13. Роботизация работы: возможность или опасность? // ВЦИОМ: [сайт]. №3538. 4 декабря 2017. URL: https://wciom.ru/index. php?id=236&uid=116605.
14. Руденко В. Н. Формы алеаторной демократии: генезис и развитие // Науч. ежегодник Института философии и права Уральского отделения РАН. 2018. Т. 18. Вып. 4. С. 97-125.
15. Солдатова Г. У., Рассказова Е. И., Нестик Т. А. Цифровое поколение России: компетентность и безопасность. М.: Смысл, 2017.
16. Талер Р., Санстейн К. Nudge. Архитектура выбора. Как улучшить наши решения о здоровье, благосостоянии и счастье / науч. ред. С. Щербаков; [перевод с англ.]. М.: Манн, Иванов и Фербер, 2017.
17. Awad, Е., Dsouza, S., Kim, R. et al. The Moral Machine experiment // Nature. 2018. V. 563. P. 59-64. DOI: 10.103S/s41586-018-0637-6.
18. Bandura, A. Selective Moral Disengagement in the Exercise of Moral Agency// Journal of Moral Education. 2002. V. 31 (2). P. 101-119. DOI: 10.1080/0305724022014322.
19. Borders, M. The Social Singularity: How decentralization will allow us to transcend politics, create global prosperity, and avoid the robot apocalypse. Austin, TX: Social Evolution, 2018.
20. Calhoun, C. S., Bobko, Ph., Gallimore, J. J., Lyons, J. B. Linking precursors of interpersonal trust to human-automation trust: An expanded typology and exploratory experiment// Journal of Trust Research. 2019. V. 9:1.
P. 28-46. DOI: 10.1080/21515581.2019.1579730.
21. Carrasco, M., Mills, S., Whybrew, A., Jura, A. The Citizen's Perspective on the Use of Al in Government: BCG Digital Government Benchmarking. 2019. [Online], Available at: https://www.bcg.com/ publications/2019/citizen-perspective-use-artificial-intelligence-government-digital- benchmarking.aspx (дата обращения: 01.05.2019).
22. Chen, J. Y. C., Barnes M. J, Wright, J. L, Stowers, K., Lakhmani, S. G. Situation awareness-based agent transparency for human-autonomy teaming effectiveness // Proc. SPIE 10194, Micro- and Nanotechnology Sensors, Systems, and Applications IX, 101941V {May 18, 2017). DOI: 10.1117/12.2263194; URL: http://dx.doi. org/10.1117/12.2263194.
23. Derex, M., Bonnefon, J. F., Boyd, R., Mesoudi, A. Causal understanding
is not necessary for the improvement of culturally evolving technology // Nature Human Behaviou. 2019. V. 3 (5). P. 446-452. DOI: 10.1038/ s41562-019-0567-9.
24. Edelman Al Survey Report, 2019. URL: https://www.edelman.eom/sites/g/ files/aatuss191/files/2019-03/2019_Edelman_AI_Survey_Whitepaper.pdf.
25. Engeler, В. Towards prospective design // The Design Journal. 2017. V. 20 (supl), S4591-S4599. DOI: 10.1080/14606925.2017.1352956.
26. Heras-Escribano, M., De Pinedo-García, M. Affordances and Landscapes: Overcoming the Nature-Culture Dichotomy through Niche Construction Theory// Frontiers in Psychology. 2018. 8: 2294. DOI: 10.3389/
fpsyg.2017.02294.
27. Inayatullah, S. Epistemological Pluralism in Futures Studies: The CLA-ln-tegral Debates// Futures. 2010. V. 42(2). P. 99-102.
28. Ipsos MORI. Understanding society: the power and perils of data.
Ipsos, 2014. URL: https://www.ipsos-mori.com/DownloadPublication/1687_ sri-understanding-society-july-2014.pdf (дата обращения: 01.05.2019).
29. Ishowo-Oloko, F., Bonnefon, J., Soroye, Z. et al. Behavioural evidence for a transparency-efficiency tradeoff in human-machine cooperation. Nat Mach Inte 11 1, 517-521 (2019). DOI: 10.1038/s42256-019-0113-5.
30. Jackson, J. C., Gelfand, M., De, S., Fox, A. The loosening of American culture over 200 years is associated with a creativity-order tradeoff// Nature Human Behaviour. 2019. V. 3. P. 244-250. DOI: 10.1038/ s41562-018-0516-z.
31. Jian, J. - Y., Bisantz, A. M., Drury, C. G. Foundations for an Empirically Determined Scale of Trust in Automated Systems// International Journal of Cognitive Ergonomics. 2000. V. 4(1). P. 53-71. DOI: 10.1207/ S15327566I JCE0401_04.
32. Jobin, A., lenca, M., Vayena, E. The global landscape of Ai ethics guidelines// Nature Machine Intelligence volume, 2019. V.1.P. 389-399. doi:10.1038/s42256-019-0088-2.
33. Kalra, N., Paddock, S. M. Driving to Safety: How Many Miles of Driving Would It Take to Demonstrate Autonomous Vehicle Reliability? Santa Monica, Calif.: RAND Corporation, 2016. RR-1478-RC. As of August 27, 2019: https://www.rand.org/pubs/research_reports/RR1478.html.
34. Knight, W. The world's top deepfake artist is wrestling with the monster he created. MIT Technology Review. Aug 16,2019. URL: https://www. technologyreview.com/s/614083/the-worlds-top-deepfake-artist-is-wrestling-with-the-monster-he-created/ (дата обращения: 10.12.2019).
35. Kuo, L. China brings in mandatory facial recognition for mobile phone users // The Guardian, 2 December 2019. URL: https://www.theguardian. com/world/2019/dec/02/china-brings-in-mandatory-facial-recognition-for-mobile-phone-users (дата обращения: 10.12.2019).
36. Levy, К. E., Johns, D. M. When open data is a Trojan Horse: The weaponization of transparency in science and governance. Big Data & Society. 2016. https://doi.org/10.1177/2053951715621568.
37. Lieder, F., Chen, 0. X., Krueger, P. M. et al. Cognitive prostheses for goal achievement// Nature Human Behaviour. 2019. V. 3. P. 1096-1106. DOI: 10.1038/S41562-019-0672-9.
38.Manzini, E. Design, When Everybody Designs. An Introduction
to Design for Social Innovation. London, England: The MIT Press Cambridge, 2015.
39. McNamara, A., Smith, J., Murphy-Hill, E. Does ACM's code of ethics change ethical decision making in software development? // ESEC/FSE 2018 Proceedings of the 201826th ACM Joint Meeting on European Software Engineering Conference and Symposium
on the Foundations of Software Engineering. P. 729-733.
40. Memes That Kill: The Future of Information Warfare // CBInsights Research Briefs. May 3, 2018. URL: https://www.cbinsights.com/ research/future-of-information-warfare.
41. Nestik, T. Social trust and representations about risks of the introduction of artificial intelligence into everyday life // The Abstract Book of the 14th ESA Conference. Europe and Beyond: Boundaries, Barriers and Belonging (20-23 August 2019, Manchester). Paris: European Sociological Association, November 2019. P. 507.
42. Noveck, B. S. Smart Citizens, Smarter State: The Technologies
of Expertise and the Future of Governing. Cambridge, Massachusetts: Harvard University Press, 2015.
43. Perez, S. Google's new media literacy program teaches kids how to spot disinformation and fake news // Techcrunch.com. June 24,2019. URL: https://techcrunch.com/2019/06/24/googles-new-media-literacy-program-teaches-kids-how-to-spot-disinformation-and-fake-news/ (дата обращения: 10.12.2019).
44. Pynadath, D. V., Barnes, M., Wang, N., Chen, J.Y.C. Transparency Communication for Machine Learning in Human-Automation Interaction // Human and Machine Learning. Visible, Explainable, Trustworthy and Transparent. Ed. by J. Zhou and F. Chen. Cham: Springer, 2018. P. 75-90. DOI: 10.1007/978-3-319-90403-0_5.
45. Robinette, P., Howard, A., Wagner, A. R. Conceptualizing overtrust in robots: Why do people trust a robot that previously failed? // Autonomy and Artificial Intelligence: A Threat or Savior? Cham: Springer International Publishing, 2017. P. 129-155. DOI:
10.1007/978-3-319-59 719-5_6.
46. Rolnick, D., Donti, P.L., Kaack, L.H. et al. Tackling Climate Change with Machine Learning // arXiv:1906.05433v2 [cs.CY] 5 Nov 2019. URL: https://arxiv.Org/pdf/1906.05433v2.pdf (дата обращения: 20.11.2019).
47. Roozenbeek, J., van der Linden S. Fake news game confers psychological resistance against online misinformation// Palgrave Communications. 2019. V. 5. Article number: 65. DOI: 10.1057/
s41599-019-0279-9.
48. Savulescu, J., Kahane, G., Gyngell, C. From public preferences to ethical policy// Nature Human Behaviour. 2019. DO!: 10.1038/ s41562-019-0711-6.
49. Schmidt, V., Luccioni, A., Mukkavilli, S. K., Balasooriya, N., Sankaran, K., Chayes, J., and Bengio, Y. Visualizing the consequences of climate change using cycle-consistent adversarial networks. Preprint arXiv: 1905.03709,2019.
50. Simonite, T. Al experts want to end «black box» algorithms
in government//Wired Business. 10.18.17. URL: https://www.wired. com/story/ai-experts-want-to-end-black-box-algorithms-in-government.
51. Slaughter, R. A. What Difference Does «Integral» Make // Futures. 2008. V. 40 (2). P. 120-137.
52. Smith, G. J. Data doxa: The affective consequences of data practices // Big Data & Society. 2018. V. 5. No. 1. https://doi. org/10.1177/2053951717751551.
53. Verhulst, S. G., Zahuranec, A. J., Young, A. Identifying citizens' needs by combining Al and CI. Building a Repository of Tools and an Evidence Base for Augmented Collective Intelligence. The Governance
Lab. September 2019. URL: http://www.thegovlab.org/static/files/ publications/CI-AI_oct2019.pdf {дата обращения: 20.11.2019).
54. Von Stackelberg, P., McDowell, A. What in the World? Storyworlds, Science Fiction, and Futures Studies // Journal of Futures Studies. 2015. V. 20 {2). P. 25-46. DOI: 10.6531/JFS.2015.20 (2).A25.
55. Wagner, A. R., Borenstein, J., Howard, A. Overtrust in the Robotic Age // Communications of the ACM. 2018. V. 61 No. 9. P. 22-24. DOI: 10.1145/3241365.
56. Wahl, D. C., Baxter, S. The designer's role in facilitating sustainable solutions // Designlssues. 2008. V. 24. No. 2. P. 72-83.
57. Zhang, В., Dafoe, A. Artificial Intelligence: American Attitudes and Trends; University of Oxford: Oxford, 2019. URL: https://governanceai.github.io/ US-Public-Opinion-Report-Jan-2019/.
Artificial intelligence as a cognitive prosthesis or mediator: transformation of imaginated futures
TIMOFEI A. NESTIK.
Sc.D. (psychology), leading researcher, the School of Anthropology of Future, the Russian Presidential Academy of National Economy and Public Administration; head of the laboratory of the social and economics psychology, Institute of Psychology, RAS (13-1, Yaroslavskaya str., Moscow, 129366). E-mail: nestik@gmail.com
Abstract
The article analyzes the psychological problems of state regulation of the use of artificial intelligence (Al) systems in conditions of low trust in social institutions. The role of interaction between government representatives and non-profit organizations of civil society in the course of digital transformation is considered. It is concluded that the path to overcoming social pessimism lies in turning Al from a "prosthesis" for poorly functioning social institutions into an intermediary that allows people to look further into their common future, better understand each other, supporting empathy and the ability to cooperate for working out ethically sound decisions.
Key words: artificial intelligence, government, ethics, social trust, civil society, NGO, preadaptation, foresight.
References
1. Asmolov, A. G. {2019, May 21) Quixotes vs. robots: Unpredictability as a Gift?! Teacher's newspaper. Retrieved from http://www.ug.ru/ article/1107. {In Russ.).
2. Asmolov, A. G., & Asmolov, G. A. {2019). Internet as generative space: historical and evolutionary perspective. Voprosy Psychologii, 4,1 -26. {In Russ.).
3. Asmolov, G. A. {2019, August 19). The sum of protest technologies: where does the innovation race in Russia lead. OpenDemocracy. Retrieved from
https://www.opendemocracy.net/ru/technological-innovations-protests/ {In Russ.).
4. Zhuravlev, A. L., & Nestik, T. A. {2019). Socio-psychological consequences of new technologies adoption: perspective directions of research. Psychological journal, 40 (5), 35-47. DOI: 10.31857/S020595920006074-7. {In Russ.).
5. Agency for Strategic Initiatives. {2017). Competition of methods
of work with the future. Leader-ID. Retrieved from https://leader-id.ru/ event/5242/. {In Russ.).
6. Latour, B. {2014). Reassembling the social: an introduction to actor-network-theory. Moscow: HSE University. {In Russ.).
7. Nestik, T. A., & Kovaleva, Yu. V. {Eds). {2018). Attitudes toward past, present and future of Russia: an empirical study. Moscow: Institute of Psychology of Russian Academy of Sciences, pp. 190-212. {In Russ.).
8. Nestik, T. A. (2019). Introduction of artificial intelligence technologies into everyday life: Perspectives of psychological research. In T. D. Mart-sinkovskaya, V. R. Orestova, 0. V. Gavrichenko (Eds.), Digital society
in the cultural-historical paradigm (pp. 29-35). Moscow: Moscow State University of Psychology and Education. {In Russ.).
9. Nestik, T. A. (2014). Social psychology of time. Moscow: Institute of Psychology of Russian Academy of Sciences. (In Russ.).
10. Nestik, T. A, & Zhuravlev, A. L. (2018). Psychology of global risks. Moscow: Institute of Psychology of Russian Academy of Sciences, {in Russ.).
11. Norman, D. (2006). The Design of Everyday Things. Moscow: Strelka Press. (In Russ.).
12. Nosulenko, V. N. (2009). Perceived quality as the basis of psychophysical measurement of natural environment events. In V. A. Barananschi-
kov (Ed.), Modern Psychophysics (pp. 13-40). Moscow: Institute of Psychology of Russian Academy of Sciences. (In Russ.).
13. WCIOM. (2017, December 4). Job robotics: opportunity or danger? cRe-trieved from https://wciom.ru/index.php?id=236&uid=116605. (In Russ.).
14. Rudenko, V. N. (2018). Forms of aleatory democracy: Genesis and development. Research Yearbook, Institute of Philosophy and Law, Ural Branch of the Russian Academy of Sciences, 18 (4), 97-125. (In Russ.).
15. Soldatova, G. U, Rasskazova, E. I., & Nestik, T. A. (2017). Russia's digital generation: competence and security. Moscow: Smysl. (In Russ.).
16. Thaler, R., & Sunstein, C. (2017). Nudge. Improving Decisions About Health, Wealth and Happiness. Moscow: Mann, Ivanov and Ferber. (In Russ.).
17. Awad, E, Dsouza, S, & Kim, R. (2018). The Moral Machine experiment. Nature, 563, 59-64. D0l:10.1038/s41586-018-0637-6.
18. Bandura, A. (2002). Selective Moral Disengagement in the Exercise of Moral Agency. Journal of Moral Education, 31 (2), 101-119. DOI: 10.1080/0305724022014322.
19. Borders, M. (2018). The Social Singularity: How decentralization will allow us to transcend politics, create global prosperity, and avoid the robot apocalypse. Austin, TX: Social Evolution.
20. Calhoun, C. S., Bobko, Ph., Gallimore, J. J., & Lyons J. B. (2019). Linking precursors of interpersonal trust to human-automation trust: An expanded typology and exploratory experiment. Journal of Trust Research, 9 (1), 28-46. DOI: 10.1080/21515581.2019.1579730.
OYTyPAMA nPEAflAflTALlMfl
21. Carrasco, M., Mills, S., Whybrew, A., & Jura, A. (2019, March 1). The Citizen's Perspective on the Use ofAl in Government: BCG Digital Government Benchmarking. Retrieved from https://www.bcg.com/publications/2019/ citizen-perspective-use-artificial-intelligence-government-digital-bench-marking.aspx.
22. Chen, J. Y. C., Barnes, M. J., Wright, J. L., Stowers, K., & Lakhmani, S. G. {2017, May 18). Situation awareness-based agent transparency for hu-man-autonomy teaming effectiveness. In Thomas George, Achyut K. Dut-ta., M. Saif Islam (Eds.), Micro- andNanotechnoiogy Sensors, Systems, and Applications IX, 10194. doi:10.1117/12.2263194.
23. Derex, M., Bonnefon, J. F., Boyd, R., & Mesoudi, A. (2019). Causal understanding is not necessary for the improvement of culturally evolving technology. Nature Human Behaviou. 3 (5), 446-452. DOI: 10.1038/
s41562-019-0567-9.
24. Edelman. (2019). Edelman Al Survey Report. Retrieved from https:// www.edelman.com/sites/g/files/aatuss191/files/2019-03/2019_Edel-m a n_A l_S u r vey_W hitepaper.pdf.
25. Engeler, B. {2017). Towards prospective design. The Design Journal, 20 (1). DOI: 10.1080/14606925.2017.1352956.
26. Heras-Escribano, M., & De Pinedo-García, M. {2018). Affordances and Landscapes: Overcoming the Nature-Culture Dichotomy through Niche Construction Theory. Frontiers in Psychology, 8 {2294). DOI: 10.3389/ fpsyg.2017.02294.
27. Inayatullah, S. {2010). Epistemological Pluralism in Futures Studies: The CLA-ln-tegral Debates. Futures, 42 (2), 99-102.
28. Ipsos MORI. {2014). Understanding society: the power and perils of data. Retrieved from https://www.ipsos-mori.eom/DownloadPublication/1687_ sri-understanding-society-july-2014.pdf.
29. Ishowo-Oloko, F., Bonnefon, J., & So roye, Z. {2019). Behavioural evidence for a transparency-efficiency tradeoff in human-machine cooperation. Nature Machine Intelligence, 1 {11), 517-521. DOI: 10.1038/ S42256-019-0113-5.
30. Jackson, J. C., Gelfand, M., De, S., & Fox, A. {2019). The loosening
of American culture over 200 years is associated with a creativity-order trade-off. Nature Human Behaviour, 3 {1), 244-250. DOI: 10.1038/ s41562-018-0516-z.
31. Jian J.-Y., Bisantz, A.M.,& Drury, C.G. {2010). Foundations for an Empirically Determined Scale of Trust in Automated Systems. International Journal of Cognitive Ergonomics, 4 (1), 53-71. DOI: 10.1207/ S153275661JCE0401_04.
32. Jobin, A, lenca, M., & Vayena, E. {2019). The global landscape of Al ethics guidelines. Nature Machine Intelligence 1 {9), 389-399. doi:10.1038/ S42256-019-0088-2.
33. Kalra, N., & Paddock, S. M. {2016). Driving to Safety: How Many Miles of Driving Would It Take to Demonstrate Autonomous Vehicle Reliability? Retrieved from https://www.rand.org/pubs/research_reports/ RR1478.html.
34. Knight, W. {2019, August 16). The world's top deepfake artist is wrestling with the monster he created. MIT Technology Review. Retrieved from https://www.technologyreview.eom/s/614083/the-worlds-top-deepfake" a rtist-i s-wre st I i n g-wi th-t he-monster-he-created.
35. Kuo, L. {2019, December 02). China brings in mandatory facial recognition for mobile phone users. The Guardian. Retrieved from https://www. theguardian.com/world/2019/dec/02/china-brings-in-mandatory-fa-cial-recognition-for-mobile-phone-users.
36. Levy, K. E., Johns, D. M. {2016). When open data is a Trojan Horse: The weaponization of transparency in science and governance. Big Data ¿Society, https://doi.org/10.1177/2053951715621568.
37. Lieder, F., Chen, 0. X., & Krueger, P. M. {2019). Cognitive prostheses for goal achievement. Nature Human Behaviour, 3,1096-1106. DOI: 10.1038/S41562-019-0672-9.
38. Manzini, E. {2015). Design, When Everybody Designs. An Introduction to Design for Social Innovation. London, England: The MIT Press Cambridge.
39. McNamara, A, Smith, J., & Murphy-Hill, E. (2018). Does ACM's code of ethics change ethical decision making in software development? ESEC/FSE 2018 Proceedings of the 201826th ACM Joint Meeting on European Software Engineering Conference and Symposium on the Foundations of Software Engineering, {pp. 729-733). Lake Buena Vista, FL, USA.
40. Technology Market Intelligence. {2018, May 3). Memes That Kill: The Future of Information Warfare. CBInsights Research Briefs. Retrieved from https://www.cbinsights.com/research/future-of-information-warfare.
41. Nestik, T. {2019, November). Social trust and representations about risks of the introduction of artificial intelligence into everyday life. The Abstract Book of the 14th ESA Conference. Europe and Beyond: Boundaries, Barriers and Belonging (20-23 August 2019, Manchester), (p. 507). Paris: European Sociological Association.
42. Noveck, B. S. (2015). Smart Citizens, Smarter State: The Technologies of Expertise and the Future of Governing. Cambridge, Massachusetts: Harvard University Press.
43. Perez, S. (2019, June 24). Google's new media literacy program teaches kids how to spot disinformation and fake news. Techcrunch.com. Retrieved from https://techcrunch.com/2019/06/24/googles-new-media-literacy-program-teaches-kids-how-to-spot-disinformation-and-fake-news.
44. Pynadath, D. V., Barnes, M., Wang, N, & Chen, J. Y. C. (2018). Transparency Communication for Machine Learning in Human-Automation Interaction. In J. Zhou, F. Chen (Eds.), Human and Machine Learning. Visible, Explainable, Trustworthy and Transparent, (pp. 75-90). Cham: Springer. DOI: 10.1007/978-3-319-90403-0.5.
45. Robinette, P, Howard, A., & Wagner, A. R. (2017). Conceptualizing over-trust in robots: Why do people trust a robot that previously failed? Autonomy and Artificial Intelligence: A Threat or Savior? (pp. 129-155). Cham: Springer International Publishing. DOI:10.1007/978-3-319-59719-5_6.
46. Rolnick, D., Donti, P.L., & Kaack, L.H. {2019, November 05). Tackling Climate Change with Machine Learning. arXiv:1906.05433v2[cs.CY], Retrieved from https://arxiv.org/pdf/1906.05433v2.pdf.
47. Roozenbeek, J., & van der Linden, S. (2019). Fake news game confers psychological resistance against online misinformation. Palgrave Communications, 5(65). DO!: 10.1057/s41599-019-0279-9.
48. Savulescu, J, Kahane, G, & Gyngell, C. (2019). From public preferences to ethical policy. Nature Human Behaviour, 3 (8). DOI: 10.1038/ S41562-019-0711-6.
nPEAAAnTAUMfl OYTyPAI/IA
49. Schmidt, V., Luccioni, A., Mukkavilli, S. K., Balasooriya, N., Sankaran, K., Chayes, J., & Bengio, Y. (2019). Visualizing the consequences of climate change using cycle-consistent adversarial networks. Preprint arXiv: 1905.03709, 2019.
50. Simonite, T. {2017, October 18). Al experts want to end "black box" algorithms in government. Wired Business. Retrieved from https://www.wired. com/story/ai-experts-want-to-end-black-box-algorithms-in-government.
51. Slaughter, R. A. {2008). What Difference Does "Integral" Make. Futures, 40 (2), 120-137.
52. Smith, G. J. {2018). Data doxa: The affective consequences of data practices. Big Data & Society, 5 {1). https://doi. org/10.1177/2053951717751551.
53. Verhulst, S. G., Zahuranec, A. J., & Young, A. (2019, September). Identifying citizens' needs by combining Al and CI. Building a Repository
of Tools and an Evidence Base for Augmented Collective Intelligence. The Governance Lab. Retrieved from http://www.thegovlab.org/static/ files/publications/CI-AI_oct2019.pdf.
54. Von Stackelberg, P., & McDowel, I A. (2015). What in the World? Storyworlds, Science Fiction, and Futures Studies. Journal of Futures Studies, 20 (2), 25-46. D0l:10.6531/JFS.2015.20 (2).A25.
55. Wagner, A. R., Borenstein, J., & Howard, A. (2018). Overtrust
in the Robotic Age. Communications of the ACM, 61 (9), 22-24. D0l:10.1145/3241365.
56. Wahl, D. C., & Baxter S. (2008). The designer's role in facilitating sustainable solutions. Designlssues, 24 (2), 72-83.
57. Zhang, B., & Dafoe, A. (2019, January). Artificial Intelligence: American Attitudes and Trends. University of Oxford. Retrieved from https://gover-nanceai.github.io/US-Public-Opinion-Report-Jan-2019/.
