CC BY
6THE ROAD TO DIGITAL UNFREEDOM: HOW ARTIFICIAL INTELLIGENCE IS RESHAPING REPRESSION
Feldstein Steven, Associate Professor and Frank and Bcthinc Church Chair of Public Affairs at Boise State University and a nonresident fellow in the Democracy, Conflict, and Governance Program at the Carnegie Endowment. From 201.4 r° 20.1% he was deputy assistant secretary in the U.S. Department of States Bureau of Democracy, Human Rights, and Labor.
The problem oj freedoms and non freedoms within the framework of a democratic regime is of interest to most researchers, since it depends on them how "correctly" each of us understands how and for whom these categories work. Of course, we are interested in the latest developments in this area, so the editors cite a study by Professor Stephen Feldstein from Boise State University. It is difficult to agree with Professor Feldstein absolutely in everything, and therefore some frag nients of the article are marked with footnotes of the author of the translation. The author of the article cannot be taken away from the merit that the study of this issue requires seriousness and a close look into the future. First of all, Stephen Feldstein in his article exposes the fruits of advanced artificial intelligence as an accomplice and hotbed, of an autocratic repressive regime of government. Cites the scenarios according to which modern authoritarians solve the problems of the emergence of opposition forces within the country. Draws predictive pictures that can come true if the pace of development of technologies in the field of artificial intelligence continúes to grow temporally. Nevertheless, we must assume that the main premise that the author wanted to convey to us isa warning against the superpowers oj artificial intelligence that China possesses and the fruits oj new technologies that it is ready to share in the name, if we continue the author's thought, of a shallow hidden intention oj world domination, thereby, as we can draw independent conclusions, violating similar plans oj the United States.
Keywords: freedom}, democracy: autocracy; artificial intelligence; A.I; digital unfreedom. DOI 10.24923/2305-8757.3021-5.4
ДОРОГА К ЦИФРОВОМ НЕСВОБОДЕ: КАК ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ МЕНЯЕТ РЕПРЕССИЯ
Проблема свобод и несвобод в рамках демократического режима интересу-ет большинство исследователей, поскольку от них зависит, насколько "верно" каждый из нас осознает, каким образом и на кого работают эти категории. Разумеется, в этой области нас интересуют самые последние разработки, поэтому редакция приводит исследование профессора Стивен Фельдштейн из Университета штатаБойсе. Сложно быть согласным с профессором Фельдштейном абсолютно во всем, и поэтому отдельные фрагменты статьи отмечены сносками автора перевода. Нельзя отнять у ¿штора статьи заслуги в том, что изучение этого вопроса требует серьезности и прианального взгляда в будущее. Прежде всего, Стивен Фельдштейн в своей статье разоблачает гьюды развитого искусственного интеллекта в качестве пособника и рассадника ¿ютокргтического репрессивного режима правления. Приводит сценарии, по которьш современные авторитаристы решают проблемы зарождешт оппозиционных сия внутри страны. Рисует прогностические картины, могущие сбыться, если темпы развития технологий в области искусственного интеллекта продолжат темпоральный рост. Тем не менее, надо полагать, что осповиая посылка, которую хотел передать нам автор, заключается в предостережении от сверхвозлюжностей искусственного интеллекта, которыми обладает Китай, и плоды новых технологий, которыми он готов поделиться во имя, если продолжить мысль автора статьи, неглубоко скрытого намерения мирового господства, тем самым, как мы можем сделать самостоятельные выводы, нарушая аналогичные тшны США.
Ключевые слова: свобода; демократии; автократия; искуссвенный интел-лект; ИИ; цифровая несвобода.
В начале 2018 года представители департамента безопасности Малайзии сделали поразительное заявление. Вспомогатель-
УДК 004,8 ВАК 23.00.02
© Фельдштейн С., 2021 © Григорьева М.А., перевод, аннотация и прилгечания, 2021
ФЕЛЪДШТЕИН Стивен, адъюнкт-профессор и заведующий кафедрой Общественных отношений Фрэнка и Бетин Черч в Университете штата Бойсе, а также внешпштный со тру дни к программы "Демократия, конфликты и управление" Фонда Карнеги. С 2014 по 2017год был заместителем помощ) шка госсекретаря в Бюро по вопросами демократии, прав человека и труда Госдепартамента США.
Feldstein S. The Road to Digital Un freedom; How Artificial intelligence is Reshaping Repression // Journal of Democracy, January 2019, Volume 30, Number 1, pp. 40-52. DOI: 10.1353/jod.2019.0003
Перевод статьи и сопровождение аннотацией кандидата полит, п. МЛ. Григорьевой.
ное подразделение Королевской полиции Малайзии заключило партнерское соглашение с китайской компанией Yitu Technology для оснащений офицеров подразделений нательными камерами с функцией распознавания лиц. Сотрудники Службы безопасности смогут быстро сравнивать изображения, снятые живыми камерами, с изображениями из центральной базы данных. Глава Вспомогательных сил пояснил, что такое использование искусственного интеллекта (ИИ) - "значительный шаг вперед" в усилиях по улучшению общественной безопасности. Он также отметил, что его агентство планирует в конечном итоге усовершенствовать систему нательных камер, чтобы обеспечить "распознавание лиц в реальном времени и мгновенное оповещение о присутствии лиц, представляющих потенциальную угрозу и интерес, из списков наблюдения за преступниками", [i]
Соседний Сингапур вскоре последовал примеру Малайзии, объявив о своих планах запустить пилотный проект по установке камер с конечной целью внедрения технологии распознавания лиц на каждом общественном фонарном столбе. Проект, якобы, направлен на облегчение "анализа толпы" и помощь в антитеррористических операциях. Защитники частной жизни, такие как Фонд электронных рубежей, обеспокоены тем. что такого рода технологии позволят правительствам обратить свои возможности против политических оппонентов или на подавление свободы выражения мнений, но их протесты были проигнорированы. ЦЦ
Тем временем в апреле 2018 года запуск ИИ-отрасли Cloud Walk Technology, компания, которая базируется в китайском городе Гуанчжоу, как сообщается, подписал соглашение с правительством Зимбабве о предоставлении технологии распознавания дин для использования службами государственной безопасности и создании национальной базы данных изображений. CloudWalk также известен тем, что поставляет технологии распознавания лиц и проверки личности полицейским силам в китайском регионе Синьцзян, власти которого ведут репрессивную политику. Новое африканское партнерство CloudWalk подпадает под зонт мультИконтинентальной китайской схемы инфраструктуры и инвестиций, известной как проект "Один пояс и один путь" (BRI). [3] Предложения CloudWalk грозят усилением политических репрессий в Зимбабве, где власти после выборов провели карательные меры.
Это не единичные примеры. Во всем мире системы ИИ демонстрируют свой потенциал и создают благоприятную почву для расцвета репрессивного режима, дестабилизируют отношения между гражданами и государством, тем еамьш ускоряя глобальное возрождение авторитаризма. Китайская Народная Республика (КНР) способствует распространению технологий искусственного интеллекта среди авторитарных и нелибераль-
пых режимов, и этот подход стал ключевым компонентом китайской геополитической стратегии.
Понятие ИИ доказало необходимость к точному определению. Одно из широко распространенных утверждений состоит в том, что цель ИИ -"сделать машины разумными", что часто объясняют применительно к человеческому интеллекту и сопоставимо с ним. ¡4] Другие, среди которых Джерри Каплан, сомневаются в полезности подобных аналогий. Каплан утверждает, что не имеет значения, "осознают ли машины себя так же, как люди". Вместо этого сущность ИИ можно свести к "способности компьютера своевременно делать соответствующие обобщения на основе ограниченных данных" [5].
Настоя щая статья не направлена на разрешение этих опоров. Скорее, она фокусируется на практических результатах новых технологий, которые появляются в обращении благодаря трем основным достижениям: 1) возросшей доступности обширных данных из государственных и частных источников; 2) усовершенствованному машинному обучению и алгоритмическим подходам; из) соответственно продвинутой компьютерной обработке. (Машинное обучение, которое может быть применено к задачам, варьирующимся от победы в ставках на спорт до определения патогенов, представляет собой статистический процесс, в котором система ИИ вводит набор данных и "пытается вывести правило или процедуру, которая объясняет данные или может предсказать будущие данные" [6]). В последние годы автократии достигли новых уровней контроля и манипулирования, применяя передовые вычислительные системы
к огромному количеству неструктурированных данных, доступных в настоящее время в Интернете и из живых видеопотоков и других источников мониторинга и наблюдения. От технологий распознавания лиц, которые сверяют изображения в реальном временисобшир-ными базами данных, до алгоритмов, которые сканируют социальные сети в поисках признаков оппозиционной активности, эти инновации меняют правила игры для авторитарных усилий по формированию дискурса и подавлению оппозиционных голосов.
ИИ - не единствен пая категория новых технологий, все чаще используемых автократами в политических целях. Другие коммуникационные и информационные технологии, часто используемые в тандеме с ИИ, имеют не менее тревожные последствия. К ним относятся передовые методы биометрии, кибератаки в Широких масштабах и методы искажения информации. Эта статья подчеркивает репрессивное влияние технологии ИИ по двум причинам. Во-первых, ИИ предоставляет возможности более высокого порядка, которые интегрируют и расширяют функции других технологий поразительными новыми способами. Во-вторых, общее понимание политического воздействия технологий ИИ остается ограниченным; политологам еще предстоит серьезно разобраться с репрессивными последствиями ИИ.
Почему ИИ является благом для авторитарных лидеров
Хотя ИИ обладает значительным потенциалом в качестве инструмента для правительств во всем мире, он предлагает ряд особых преимуществ авторитарным и нелиберальным режимам. Несмотря на большое разнообразие недемократических режимов
В ПОСЛЕДНИЕ ГОДЫ АВТОКРАТИИ ДОСТИГЛИ НОВЫХ УРОВНЕЙ КОНТРОЛЯ И МАНИПУЛИРОВАНИЯ, ПРИМЕНЯЯ ПЕРЕДОВЫЕ ВЫЧИСЛИТЕЛЬНЫЕ СИСТЕМЫ К ОГРОМНОМУ КОЛИЧЕСТВУ НЕСТРУКТУРИРОВАННЫХ ДАННЫХ, ДОСТУПНЫХ В НАСТОЯЩЕЕ ВРЕМЯ В ИНТЕРНЕТЕ И ИЗ ЖИВЫХ ВИДЕОПОТОКОВ И ДРУГИХ ИСТОЧНИКОВ МОНИТОРИНГА И НАБЛЮДЕНИЯ.
от однопартийных диктатур до гибридных или полуавторитарных режимов; военных диктатур и персоналистск их автократий -большинство из этих правительств удерживают власть посредством сочетания принуждения (угрозы и запугивания потенциальных соперников) и сотрудничества (подкупа или иного побуждения политических акторов присоединиться к правящей коалиции).
Лидер, который выбирает репрессии, должен полагаться на силы государственной безопасности в применении необходимых принудительных мер. Это приводит к двум сопутствующим проблемам. Во-первых, такое подавление является трудоемким и дорогостоящим; со временем оно требует все большего количества ресурсов для поддержания. Во-вторых, это заводит в тупик главного агента: "те самые ресурсы, которые позволяют репрессивным агентам режима подавлять его оппозицию, также дают им возможность действовать против самого режима" [7]. Другими словами, поскольку режим все больше полагается на полицию или солдат для выполнения своей грязной работы, он также становится более уязвимым для давления или даже восстания стех же самых сторон. Лидеры сталкиваются с трудным выбором: перевешивают ли преимущества развертывания сил безопасности для подавления вызовов извне потенциальную угрозу, которую сами эти силы представляют изнутри.
Именно здесь становятся очевидными преимущества технологии ИИ, Вместо того, чтобы полагаться на плотную инфраструктуру сил безопасности с целыо обеспечения широкого угла наблюдения, преследований и запугивания противников по всей территории государства, авторитарные лидеры могут использовать ИИ для культивирования цифровых репрессивных возможностей с меньшими затратами - и тем самым снизить риски "внутренней угрозы". Г8] В действительности, наиболее продвинутые методы наблюдения опираются на относительно небольшое количество чело-
веческих агентов: многие функции вместо этого автоматизируются с помощью ИИ. Более того, по сравнению с человеческими оперативниками с ограниченными запасами времени и внимания, системы ИИ могут забрасывать гораздо более ш ирокую сеть. Из-за этой вездесущности они могут вызывать изменения в поведении, создавать и поддерживать "леденящий эффект" даже при отсутствии постоянного физического насилия. Если граждане знают, что ИИ-"боты" контролируют все коммуникации и что алгоритмы будут улавливать оппозиционно настроенные по отношению к действующему режиму голоса и сообщать о них властям^ общественности появляется мощна® мотивация подчиняться. Такова элегантная простота подавлений средствами ИИ: оно требует значительно меньшего количества человеческих акторов, чем обычно, влечет за собой меньше физических преследований и обходится дешевле. [9] Тем не менее, это вполне может иметь более ншрокое и систематическое воздействие.
Еще до начала цифровых репрессий ландшафт современного авторитаризма заметно изменился. Во-первых, во всем мире ускорилась эрозия демократических институтов и норм. По оценкам разработчиков проекта "Разновидности демократии" (V-Пеш) на 2018 год в странах, затронутых "глобальной Тенденцией автократизации", проживает около 2,5 млрд человек, [ю |
Во-вторых, меняется и способ ухода автократов из власти. С 1946 по 1988 годы перевороты были наиболее распространенным способом ухода автократов с поста, причем на такие события приходилось 48,6% авторитарных выходов. Но в эпоху после окончания Холодной войны (курсив - М.Г.) случаи изменения внешних по отношению к режиму факторов превзошли перевороты. С 1989 по 2017 годы наиболее распространенными причинами ухода диктаторов были народные восстания и поражение на выборах. Выходы через перевороты резко сократились (курсив - М.Г.), составив лишь ¡з% от
общего числа выходов (фактически, выхода руководства из-за гражданской войны немного превысили выходы из-за переворотов в этот период), [п] 1
Данный факт указывает на то, что самые серьезные угрозы выживанию диктатуры сегодня могут исходить не от восстаний, возглавляемых инсайдерами, а от недовольной публики на улицах или у избирательных урн. Последствия для диктаторов, которые хотят остаться у власти, очевидны: перенаправить ресурсы, чтобы держать под контролем народные гражданские движения и лучше фальсифицировать выборы. В этих областях технология ИИ дает решающее преимущество. Вместо того чтобы полагаться на силы безопасности для подавления своих граждан - со всеми вытекающими отсюда затратами ресурсов и политическим риском - автократические лидеры используют цифровую тактику для мониторинга, наблюдения и преследования движений гражданского общества и для искажения выборов. Взгляд на три возможных сценария поможет прояснить значение ИИ для некоторых из наиболее острых проблем, стоящих перед современны ми авторитаристами.
которые периодически происходили в течение последнего года, беспокоят политическое руководство. Режим хочет предпринять решительные шаги, чтобы предотвратить массовую политическую мобилизацию, но его ограниченные ресурсы означают, что он не может позволить себе полагаться На массовые аресты и тюремное заключение. Он также опасается, что открытые репрессии такого рода могут вызвать ответную реакцию населения. Поэтому он останавливается на стратегии из двух частей: 1) выявлять, контролировать и выборочно задерживать лидеров оппозиции и потенциальных последователей; и 2) внимательно следить за формированиями толпы, которые могут превратиться в массовые митинги, сохраняя при этом силы безопасности в готовности разогнать протесты до того, как они станут крупномасштабными.
Работа по реализации этой стратегии начинается с обширного обзора социальных сетей и личных коммуникаций. Поскольку некоторые группы чатов полагаются на
настройки кон фи-
СЦЕНАРИИ i: СЛЕДИТЬ ЗА НАРОДНЫМ НЕДОВОЛЬСТВОМ И КОНТРОЛИРОВАТЬ МАССОВЫЕ ПРОТЕСТЫ
Сценарий г: следить за народ* ным недовольством и контролировать массовые протесты, В первом сценарии действующий однопартийный режим сталкивается с растущим недовольством экономической стагнацией и политическим подавлением. Стихийные протесты,
Надо признать, тот факт, что число выходов автократов с поста руководящей должности через перевороты резко сократилось именно после завершения Холодном войны, свидетельствует в пользу смены стратегии вмешательства США в политику других государств. Стратегия вмешательства "из вне" продемонстрировала свою непригодность и была заменена на скрытое воздействие и подготовку почвы ''изнутри" через агентов, открытых к сотрудничеству [Прим, - М.Г.Д.
«Й
8
о
Q 2
ш
денциальности или шифрование для предотвращения слежки правительства, власти могут обратиться к международным вредоносным фирмам, таким как FinFisher или NSO Group, которые торгуют программным обеспечением, предназначенным для проникновения в эти закрытые группы. В качестве альтернативы режим мог бы выбрать более дешевый вариант и приобрести для этой задачи услуги международного хакера "hacker for-hire" или поставщика вредоносных программ второго уровня. [12] Этот сбор онлайн-данных помогает режиму распознавать закономерности, выявлять интересующие группы соучастников или одиночек и стать частью этого сообщества. По мере того как операция наблюдения строит профили политических активистов и составляет карты гражданских и оппозиционных
сетей, она передает эту информацию в алгоритм ИИ, который затем просеивает множество наборов данных с помощью программного обеспечения для распознавания образов, чтобы идентифицировать людей с тенденциями к политическому инакомыслию. Алгоритм также помогает режиму отслеживать вопросы, которые вызывают народное недовольство, и классифицировать сообщения по уровню лояльности. Вооружившись этой информацией, режим проводит целенаправленные задержания и превентивные аресты, чтобы предотвратить массовые беспорядки.
Если протесты все же начнутся, несмотря на эти усилия, ИИ может помочь режиму сдержать их. Одна из технологий, уже предоставленная популярной китайской коммуникационной платформой \VeChat, производит "теп- СЦЕНАРИЙ 2: СДЕРЖИВАНИЕ ловые карты", которые пока- БЕСПОКОЙНОЙ ПРОВИНЦИИ зывают плотность толпы и измеряют пешеходное движение в определенных местах. [13] Режим может внедрить технологию отслеживания в аналогичные чат-платформы, что позволит ему мгновенно узнавать, когда начинают формироваться толпы. В качестве альтернативы он может установить системы распознавания лиц в городских общественных местах (в соответствии с предложением Сингапура о фонарном столбе). Системы ИИ, имеющие доступ к этим камерам, могут отслеживать плотность тол пы, искать людей, несущих политическую информацию, и следить за местонахождением интересующих их лиц. Наконец, ИИ усиливает способностьгосудар-ства применять избирательную цензуру и дезинформацию в Интернете, чтобы посеять инфосуррогат и подорвать потенциальные протесты. Это может принимать форму атак типа "отказ в обслуживании" против протестых кампаний (подрывающих способность оппонентов орган изовывать и эффективно подвергать Цензуре жизненно важную информацию) или кампаний по искажению информации, управляемых бо-
том (создающих шквал вводящих в заблуждение сообщений, размывающих сообщения оппонентов и перегружающих информационные каналы шумом).
Сценарий 2: сдерживание беспокойной провинции, В этом примере авторитарный режим борется с потенциальной нестабильностью в отдаленной провинции, где этническое меньшинство составляет основную часть населения. Легитимность режима в этой провинции исторически слаба, и регион периодически переживает приступы волнений. В связи с чем центральное правительство решает обуздать политическую турбулентность с помощью жестких репрессий, сочетающих традиционную тактику с новыми технологиями. Этот сценарий тесно связан с нынешним положением дел в регионе Синьцзян, и продолжающиеся усилия КНР по подавлению инакомыслия в регионе резко высвечивают огромный репрессивный потенциал ИИ, используемого в сочетали и с более старой тактикой принуждения.
Во-первых, китайское правительство широко использует обычные физические репрессии. Власти создали разветвлённую сеть лагерей перевоспитания, в которых, как полагают, содержится миллион или более заключенных мусульман, в основном представителей уйгурского этнического меньшинства. Это составляет значительную часть примерно 21 миллиона жителей Сипьцзяна. Эти рабочие лагеря предполагают неустанную идеологическую обработку, включая самокритику и повторение фраз ("мы будем противостоять экстремизму, мы будем противостоять сепаратизму, мы будем противостоять терроризму"). Задержанные содержатся в запертых помещениях в мучительных условиях и подвергаются драконовской дисциплине. [14]
Во-вторых, власти КНР дополняют жесткое физическое принуждение более широ-
ким подходом, опирающимся на передовые технологии. Они внедряют "сетевое социальное управление", которое предполагает разделение сообществ на "геометрические зоны, чтобы сотрудники Службы безопасности могли систематически наблюдать за всеми действиями с помощью новых технологий. " ¡15] Через каждые несколько сотен футов в крупных районах насаждены полицейские участки, укомплектованные десятками тысяч агентов Службы безопасности. Более того, китайские власти оснащают их передовыми возможностями наблюдения и системами, которые могут выполнять анализ обширных данных.
В частности, китайцы трудятся над разработкой прогностической полицейской программы, которая будет объединять и анализировать несколько потоков данных ддя выявления потенциальных угроз. Хыо-маи Райте Вотч (HRW) сообщила о создании властями Синьцзяна "Интегрированной совместной операционной платформы" (1JOP), которая собирает информацию из источников, включая закрытые телевизионные камеры (часто оснащенные программным обеспечением для распознавания лиц) и "Wi-Fi снифферы", которые собирают идентифицирующие адреса с ноутбуков и смартфонов. TJOP получает дополнительную информацию из номерных знаков и удостоверений личности, проверенных на кон трол ь но- п ро пускн ых пунктах, а также из медицинских, банковских и юридических документов. [16] Хотя степень интеграции между IJOP и другими усилиями КНР по сбору данных неизвестна, следует отметить, что китайские власти все чаще используют портативные сканирующие устройства для взлома смартфонов и извлечения контактов, сообщений в социальных сетях, электронной почте, фотографий и видео. Кроме того, недавно КНР создала обязательную базу данных ДНК с целью получения образцов от всех жителей Синьцзяна в возрасте от 12 до 65 лет. [17]
Как только соответствующая информация поступает на рабочие компьютеры, алгоритмы просеивают пачки данных в поисках паттернов, которые могут означать угрожающее поведение. Неясно, какие пороги доверия используют китайские власти для проведения этих тестов, но алгоритмы, вероятно, генерируют значительное количество ложных совпадений из-за системных ошибок. Как только машина отметит личность, это лицо может быть схвачено силами безопасности и задержано на неопределенный срок.
Разработка этой системы обошлась недешево. Сумма, заложенная властями Синьцзяна в бюджет "инвестиционных проектов, связанных с безопасностью", как сообщается, выросла с 27 млн долл. США в 2015 году до более чем 1 млрд долл. в первом квартале 2017 года. [18]
Сценарий 3: использование дезинформации для делегитимиза-ции оппонентов. В третьем сценарии автократический режим организует национальные выборы, как того требует Конституция. Он планирует заниматься обычной фальсификацией выборов, вбросом бюллетеней и подавлением избирателей, но также ищет новые стратегии, которые помогут полностью гарантировать победу над оппозицией. Технология ИИ может помочь несколькими способами, особенно на фронте дезинформации.
Во-первых, ИИ может манипулировать доступной информацией и выталкивать ключевые сообщения режима. Например, платформы социальных сетей используют алгоритмы управления контентом, чтобы привлечь пользователей к определенным статьям и удерживать их внимание. Государственные органы могут использовать такие алгоритмы для вытеснения прорегим-ных сообщений, используя армии ботов и троллей по найму. ИИ может помочь выя-
СЦЕНАРИИ 3: ИСПОЛЬЗОВАНИЕ ДЕЗИНФОРМАЦИИ ДЛЯ ДЕЛЕГИТИМИЗАЦИИ ОППОНЕНТОВ
вить ключевых "влиятельных лиц" в социальных сетях, которых власти затем могут вовлечь в распространение дезинформации. Новые технологии ИИ также могут способствовать развертыванию через социальные меди а-платформы автоматизированных, гиперперсонализированных дезинформационных кампаний, нацеленных на конкретных людей или группу лиц, - во многом по аналогии с усилиями России по влиянию на выборы в США в 2016 году 2 или саудовскими армиями троллей, нацеленными на диссидентов, таких как убитый журналист Джамаль Хашогти. В последние годы наблюдается растущая тенденция распространения дезинформации политическими акторами с помощью этих и других средств с целью активизации сторонников или дезориентации противников.
Во-вторых, технология ИИ все больше способна создавать реалистичные видео- и аудиоформаты. Одним из новых методов, дезинформационный потенциал которого особенно беспокоит политиков, является использование генеративных состязательных сетей, которые противопоставляют конкурирующие системы ИИ друг другу. По существу, первая машина генерирует подделки, которые вторая машина пытается раскрыть. Обратная связь от второй системы помогает первой системе создавать все более реалистичные примеры. [19] В конечном счете, это может привести к сложным подделкам, которые даже продвинутые системы ИИ могут быть не в состоянии обнаружить. Для авторитарных лидеров глубоко фальшивые технологии предлагают средство дискредитацш! потенциальных соперников, которые могут стать объектами
1 Строчка, б которой автор разоблачай ис тин шяй интерес к проблематике, на ¡дач но б|хкив фразу, особенно не концентрируясь на ней и дальше уводя читателя в проблему автократии. При зтом автор нарочно обходит вниманием возможность использования тех же самых стратегий для вмешательства в поли тику другого государства с целью дестабилизации внутренней обстановки. (Прим. - М.Г.)
поддельных видео, которые ложно изображают их делающими подстрекательские замечания или участвующими в компрометирующих их кампаниях.
Ключевые проблемы политики
Распространение технологий ИИ и рост цифровых репрессий создают серьезные политические проблемы для либеральных демократий. Ключевой вопрос заключается в том, приведут ли мощные инструменты ИИ к тому, что сами эти демократии станут более репрессивными. В частности, не подорвет ли в конечном итоге демократические гарантии искушение воспользоваться возможностями ИИ по наблюдению?
История подсказывает, что граждане должны быть настороже. В 1975 году шокирующие обвинения в неправомерных действиях жерикацасихспецслуж^ Побудили Сенат США санкционировать создание так называемого Церковного комитета. ЦРУ, как сообщалось, организовывало покушения на иностранных лидеров, а другие агентства раскинули обширные внутренние сети для наблюдения и преследования активистов движения За гражданские права, политических протестующих и организаций коренных американцев. [20] В своем заключительном докладе церковный комитет предупреждал: "Слишком часто конституционные принципы подчинялись прагматическому курсу, позволяющему желаемым целям диктовать и оправдывать ненадлежащие средства" [21]. Несмотря на Давнюю традицию в Соединенных Штатах защиты прав личности и установления контроля над правительственной властью, потенциал для государственного вмешательства оставался огромным.
Преднамеренное злоупотребление службой государственной безопасности -неединственная проблема гражданских свобод, сопровождающая развитие ИИ. Неявная предвзятость и усиленная дискриминация в алгоритмах также являются причинами для беспокойства. Например, обучение ИИ, используемое в полиции или здравоохране-
нии, может усиливать неравенством порождать или увековечивать дискриминационную практику. Одним из печально известных примеров неявной предвзятости стал инцидент 2015 года, когда система индексации фотографий Google описала фотографии афроамериканцев как "горилл". Главным виновником были "обучающие данные", используемые для "обучения" алгоритма идентификации лиц, которые смещались преимущественно в сторону кавказских лиц. (курсив - ¡VI.Г.) Скорее всего, на то, что эта ошибка вообще имела место, оказал воздействие тот факт, что ничтожно мал процент (точнее он составляет 2%) "профессиональных" сотрудников Google, являющихся афроамериканцами. [22] Последующие исследования показали, что человеческие предрассудки оказывают глубокое влияние на работу систем ИИ. В статье 2017 года в журнале Science было задокументировано, как программы машинного обучения приобретают предубеждения из текстовых данных: тестируемая программа стала ассоциировать семейные описания, такие как "родители", с женскими именами, в то время как мужские имена она связывала с такими терминами, как "профессионал" [23].
Сектор уголовного правосудия был ранним приверженцем прогностического анализа на основе ИИ, но исследования показывают, что участвующие в нем программы часто полагаются на предвзятые данные. Например, статистика преступности показывает, что афроамериканцы гораздо чаще подвергаются аресту, чем их кавказские "двойники". Но машинные алгоритмы редко учитывают, что предвзятость полиции может быть причиной непропорциональных арестов афроамериканцев. Вместо этого ал-
горитм по умолчанию предполагает, что афроамериканцы более склонны к совершению преступлений. Этот сомнительный вывод лежит в основе последующих предсказаний, производимых этими алгоритмами, подчеркивая жизненно важный принцип: машины ИИ хороши лишь настолько, насколько хороши данные, с которых они обучены.
В 2018 году нетрудно представить себе либерально-демократические правительства эксплуатирующими. Поскольку ИИ доказывает свою репрессивную ценность для автократий,, которые сейчас являются пионерами новых технологий, вероятно, последует подражательное поведение других правительств. Технологии ИИ, таким образом,
ущемляют права граж-ПОСЛЕДУЮЩИЕ ИССЛЕДОВАНИЯ дан щ счасты0; граждане
ПОКАЗАЛИ, ЧТО ЧЕЛОВЕЧЕСКИЕ
ПРЕДРАССУДКИ ОКАЗЫВАЮТ
ГЛУБОКОЕ ВЛИЯНИЕ НА РАБОТУ
СИСТЕМ ИИ
3 Сложно оценить, насколько этот факт должен извинять ошибку обучающего алгоритма. (Прим. - М.Г.)
развитых демократии в прошлом успешно боролись со злоупотреблениями правительственного надзора, и существуют надежные системы сдержек и противовесов, которые могут противостоять чрезмерному вмешательству государства. Хотя нет никакой гарантии, что ИИ не ослабит демократические политические системы, риск тем не менее остается.
Опасностьтем больше, чем хрупче демократия или чем крепче авторитарные тенденции. В режимах демократического отката, таких как Польша, Венгрия или Филиппины, репрессивный потенциал ИИ может привести к еще более резкому ухудшению. Нелиберальные правительства, которые сталкиваются с перспективными народными вызовами, имеют естественный интерес к технологиям, которые могли бы помочь им пережить массовое недовольство. Даже в политических системах, которые якобы являются демократическими, правительства имеют высокий стимул вооружать силы безопасности интрузивными технологиями, контролировать деятельность политических оппонентов и гражданского общества и
принимать упреждающие меры против потенциальных угроз их власти. Государства также внимательно следят за действиями друг друга.
Соединенные Штаты и Китай лидируют в мире в области технологий ИИ, но они предлагают совершенно разные подходы к его использованию.4 Для Китая ИИ является важным компонентом более широкой системы контроля, лежащей в основе правления Коммунистической партии. Более того, предоставление новых возможностей ИИ для поддержки коллег-авторитаристов служит достижению великих стратегических целей режима, в частности "подрыву западного либерального порядка при одновременном достижении гегемонии КНР в Азии и расширении китайского влияния во всем мире" [24].
Следовательно, китайцы одновременно активно работают над развитием новых возможностей ИИ и активно торгуют своими новыми продуктами за рубежом. Из трех основных компонентов ИИ - данных для машинного обучения, вычислительной мощности и сильных алгоритмов - Китай имеет обучающие данные в изобилии, и его алгоритмы совершенствуются, но его промышленные мощности чипов значительно отстают от США. Напротив, Соединенные Штаты обладают самыми передовыми в мире микрочипами, и их алгоритмы также лидируют в мире по уровню сложности. Но Соединенные Штаты все больше отстают от Китая в плане цифровых данных, доступных компаниям ИИ. Это важно, потому что данные все чаще "играют решающую роль", когда речь заходит о создании компаний, управляемых ИИ, которые могут превзойти конкурентов, [25] В рамках флагманской инициативы "Сделано в Китае 2025" КНР стремится трансформировать свои мощности по производству чипов за счет инвестиций и кражи интеллектуальной собствен-
* Очевидно, что подход, применяемый США, раз нится лишь тем, что используется для расширения сферы влияния США. (Прим. - М.Г)
ности, чтобы доминировать в основном наборе высокотехнологичных отраслей. Эксперты предупреждают, что эта кампания сигнализирует о стремлении "не столько вступить в ряды высокотехнологичных экономик, таких как Германия, США, Южная Корея и Япония, сколько полностью заменить их" [26].
Технология Yitu была разработана двумя китайскими экспертами в области ИИ в 2012 году, и всего за шесть лет прошла несколько значительных этапов. Ее платформа изображений "Глаз стрекозы" уже содержит более 1,8 млрд фотографий, и Yitu утверждает, что системе требуется всего три секунды, чтобы идентифицировать человека в своей базе данных. Этот набор данных включаетвсебя изображения из Национальной базы данных КНР, а также около 320 мл н фотографий въезда и выезда, сделанных на границах страны* В 20î8 году стоимость Yitu достигла примерно 2,4 млрд долл., и сейчас в компании работает более пятисот человек, разбросанных по Шанхаю, Сингапуру и Силиконовой долине. Самое главное, что его алгоритмы работают: технологии распознавания лиц Yitu получили высшие награды от Национального института стандартов и технологий США и программы разводы вателы-юго сообщества США Агентство передовых исследований в сфере разведки (IARPA).
По мере того как Китай развивает мощ-ны й сектор ИИ, он использует проект "Один пояс и один путь" BRI для распространения этой сложной технологии среди правительств по всему миру. Иллюстративные проекты варьируются от создания сети "безопасных городов" в Пакистане (такие города имеют обширную технологию мониторинга, встроенную непосредственно в инфраструктуру) до предоставления аргентинским властям программного обеспечения для ИИ и распознавания лиц, которое усилит общественный надзор. КНР проницательно предполагает, что чем больше она сможет привести модели управления дру-
гих стран в соответствие с китайскими, тем меньше эти страны будут представлять угрозу для китайской гегемонии. Важно учитывать, что, по мере того, как правительства будут зависеть от передовых китайских технологий для контроля над своим населением, они будут испытывать все большее давление, чтобы привести свою политику в соответствие со стратегическими интересами КНР. На самом деле китайская стратегия ИИ прямо говорит о предполагаемых преимуществах технологии: "она [ИИ] станет новым стимулом для продвижения структурных реформ со стороны предложения, новой возможностью для омоложения реальной экономики и новым двигателем для превращения Китая как в производственную, так и в кибернетическую сверхдержаву" [27].
Отлетные меры политики
В ближайшие годы ИИ окажет серьезное влияние на мировую политику. Хотя ни один политический ответ не может адекватно решить столь сложную и многогранную проблему, существует несколько важных последствий для демократических государств.
В целом, развитые демократии должны более четко осознавать, насколько большую угрозу представляет технология ИИ для открытых политических систем. Усилия Китая по созданию современных возможностей ИИ, наряду с распространением этой технологии среди других авторитарных режимов, представляют собой серьезные долгосрочные риски. Западные политики должны уделять гораздо бол ьше внимания противодействию этим усилиям, как внешним, так и внутренним.
Злоупотребление технологией ИИ не ог-раничивается авторитарными режимами. По мере того как демократические правительства приобретают новые технологии, которые значительно расширяют их возможности в области мониторинга и наблюдения, им необходимо определить приемлемые пределы использования этих технологий. Демокра-
тии должны заглянуть внутрь себя и взять на себя ведущую роль в разработке внутренней нормативной базы. Такой процесс будет беспорядочн ы м, геоскол ьку технологические инновации часто обгоняют способность регулирующих органов разрабатывать разумные стандарты и руководящие принципы. Тем не менее, развитые демократии находятся в наилучшем положении для рассмотрения вопроса о том, как регулировать частные компании и предотвращать злоупотребления.
Внутренние усилия должны дополнять международные действия по созданию более четких рамок использования ИИ. Такие инициативы, как руководящие принципы ООН по предпринимательству и правам человека, Предлагают полезный шаблон. Разработка международных руководящих принципов по технологии ИИ потребует процесса с участием многих заинтересованных сторон (курсив - М.Г.), который будет инклюзивным по своей природе; достаточно гибким, чтобы отражать новые технологические достижения; и устойчивым к захвату Китаем или другими авторитарными правительствами. Необходимо также провести гораздо более широкое нормативное обсуждение. Международному сообществу еще предстоит решить множество проблем, связанных с алгоритмической предвзятостью, скрытой дискриминацией и конфиденциальностью.
Наконец, демократии должны рассмотреть пути укрепления потенциала гражданского общества, противостоять репрессиям, подпитываемым ИИ, и участвовать в разработке руководящих принципов использования ИИ. Местные организации гражданского общества, действующие в репрессивных условиях, потребуют допол нительных ресурсов, подготовки кадров и технической поддержки. Многие такие группы мигрировали в Интернет, но они не используют широкодоступные инструменты цифровой безопасности, такие как службы шифрования. В результате они сталкиваются со
значительными рисками кибервзлома, вторжения, мониторинга и слежки. Для Организации гражданского общества (СЗОз), работающей в демократических странах, большая задача состоит в том, чтобы всесторонне контролировать предлагаемые правила, выявлять нарушения, связанные с неправильным использованием ИИ, и брать на себя общую роль сторожевого пса. Такие исследования, как раскрытие РгоРиЬНса алгоритмической неявной предвзятости в системе уголовного правосудия США, существенно меняют то, как правительства используют технологии ИИ, По мере того как все больше и больше правительств внедряют платформы ИИ, спрос на такую работу будет расти. На международном уровне жизненно важно, чтобы заинтересованные стороны гражда! 1ского общества имели сильный голос в обсуждении вопроса правильного регулирования ИИ.
Технология ИИ - это "двойное использование": Его можно использовать как в благотворных целях, так и в военных и репрессивных. Но эту технологию нельзя аккуратно разделить на "полезные" и "вредные" ведра. Функции, которые получают ценность от автоматизации, могут так же легко использоваться авторитаристами в злонамеренных целях, как демократическими или коммерческими субъектами - в выгодных. Чтобы обеспечить ответственное использование ИИ, ключевое значение будет иметь укрепление связей, соединяющих политическое сообщество с инженерами и исследователями. Другими словами, те, кто отвечает за разработку, программирование и внедрение систем ИИ, также должны разделить ответственность за применение и соблюдение стандартов в области прав человека. Эксперты по вопросам политики должны вести регулярный открытый диалог с инженерами и технологами, для того чтобы все стороны были осведомлены о потенциальных злоупотреблениях ИИ и могли разработать соответствующие меры реагирования на ранней стадии.
Мировые автократии во главе с Китаем все чаще демонстрируют опасности, которые лежат на стыке передовых технологий ИИ, более широких инноваций в информационно-Коммуникационной сфере и авторитарных проектов принуждения и контроля. Чтобы противостоять не только распространению высокотехнологичных репрессий за рубежом, но и потенциальным злоупотреблениям внутри своих собственных границ, политики в демократических государствах должны серьезно подумать о том, как смягчить ущерб и сформировать лучшую практику. От Пакистана до Зимбабве формируется опасное авторитарное видение будущего ИИ. Настало время для того, чтобы демократические субъекты предприняли серьезный ответ.
References:
1. IjTao, "Malaysian Police Wear Chinese Start-Up's AI Camera to Identify Suspected Criminals," South China Morning Post, 20 April 2018.
2. Aradhana Aravindan and John Geddie, "Singapore to Test Facial Recognition on lampposts, Stoking Privacy Fears," Reuters; 13 April 2018.
3. Amy Hawkins, "Beijing's Big Brother Tech Needs African Faces," Foreign Policy, 24 July 2018.
4. Nils J, Nilsson, The Quest for Artificial Intelligence: A History of Ideas and Achievements (Cambridge: Cambridge University Press, 2010).
5.Jerry Kaplan, Artificial Intelligence: What Everyone Needs to Know (New York: Oxford University Press, 20J6),5-6.
6. Executive Office of the President, National Science and Technology Coundl, Committee on Tedmology,' 'Preparing for the Future of Artificial intelligence," October 2016, https://obamawhi tehouse.archives.gov/sites/defaul t/ files/wbitehouse_files/microsites/ostp/NSTC/ prepar i ng_for _the _futu re ..of. ai. pdf, 8.
7. Milan W. Svoiik, The Politics of Authoritarian Rule (Cambridge: Cambridge University Press, 2012), 124. 8.1.ucan A, Way and Steven Levis sky, "The Dynamics of Autocratic Coercion After the Cold War," Communist and Post-Communist Studies 39 (September 2006): 387-410.
9. Для сравнения, например, Служба безопасности Восточной Германии полагалась на сеть информаторов, эквивалентную 1% всего населения страны, что приводило к Значительным и постоянным экономическим издержкам. См.: Andreas I jchter. Max Loftier, and Sebastian Siegloch, "The Long-Term Costs of Government Surveillance: insights from Stasi Spying in East Germany,"
SOEPpapers onMultidiscipliiiaiy Panel Data Research No, 865, Deutsches Institut: for Wirtschaftsforschung, Berlin, 2016, www.econstor.eu/bitstream/10419/ 146890/1/869045423.pdf-
10. V-Dem Institute, Democracy for ЛИ? V-Dem Annual Democracy Report 2018, 2018, www.v-dem. net/en/ news/democracy-all-v-dem-an nual-dem(xracy-report-2oi8,19. См. также: Erica Frantz and Andrea Kendall-Taylor, "The Evolution of Autocracy: WhyAut horitarianism Is Becoming More Formidable," Survival 59 (October-November 2017): 57-68.
11. Статистическая и классификационная система, используемая для этих определений, основана на данных за периоде 1946 по20Ю год: Barbara Geddes, Joseph Wright, and Erica Frantz, "Autocratic Breakdown and Regime Transitions: A New Data Set," Perspectives on Politics 12 (June 2014): 313-31, Данные за период 2030-2017 гг. были обновлены автором при содействии Эрики Франц.
12. Collin Anderson, "The Hollowing Middle of the Surveillance Malware Market," Motherboard, 14 December 2017, https://motherboard.vice.com/ en. .us/a ]-1 icle/595d kd/ the - hollow ing- m iddle-o f-the -su rveil lance- ma I ware- m a rket.
13. Josh Horwitz, "WeChat's New Heat Map Feature Lets Users-and Chinese Authorities - See Where Crowds Are Forming," Quartz, 7 October 2015, https:/ /q z. com/518908/wechats-new-heat-map-feature-let s-users-and-chinese-autbori ties-see-where-cro wdsare-forming.
14. Gerry Shih, "China's Mass Indoctrination Camps Evoke Cultural Revolution," AP, 18 May 2018.
15. Adrian Zenz and James Leibokl, "Chen Quanguo: The Strongman Behind Beijing's Securitization Strategy in Tibet arid Xinjiang," Jamestown Foundation, China Brief, 21 September 2017.
16. Human Rights Watch, "China: Big Data Fuels Crackdown in Minority Region," 26 February 2018, www.hrw.org/ news/2018/02/26/china-big-da ta-fue Is -crac kd ow n-minorUy- regi on.
17. Cate Cadell, "From Laboratory in Far West, China's Surveillance State Spreads Quieily," Reuters,
14 August 2018; Iluman Rights Watch, "China; Minority Region Collects DNA from Millions," 33 December 2017, www.hrw.0rg/news/2017/12/13/ chi n am i nori ty- region -col lects -dna - m il lions.
18. Josh Chin and Clement Bürge, "Twelve Days in Xinjiang: How China's Surveillance State Overwhelms Daily Life," Wall Street Journal, 19 December 2017.
19. Will Knight, "The US Military Is Funding an Effort to Catch Deepfakes and Other AI Trickery," MIT Technology Review, 23 May 2018.
20. See LeRoy Ashby and Rod Cramer, Fighting the Odds: The Life of Senator Frank Church (Pullman, Wash.: Washington State University Press, 1994), 478.
21. Intelligence Activities arid the Rights of Americans: Final Report of the Select Committee to Study Governmental Operations with Respect to Intelligence Activities. United States Senate, Book II (Washington, D.C.: U.S. Government Printing Office, 1976), www.intelligence.senate.gov/sites/defauk/ftles/ 9-1755 ir.pdf, HI.
22. Wendy Lee, "How Lech's Lack of Diversity Leads to Racist Software," SFGATE, 22 July 2035.
23. Princeton University, Engineering School, "Biased Bots: Human Prejudices Sneak into Artificial Intelligence Systems," ScienceDaily, 13 April 2017.
24. Minxin Pei, "China inXi's 'New Era': A Play for Global Leadership," Journal of Democracy 29 (April 2018): 38.
25. Kai-Fu Lee, AI Superpowers; China, Silicon Valley, and the New World Order (New York: Houghton Mifflin Harcourt, 2018), 56.
26. Lorand Laskai, "Why Does Everyone [-late Made in China 2025?" Council on Foreign Relations, Net Politics, 28 March 2018, www.cfr.org/blog/why-does-everyoneh a te - made-ch ina-2025.
27. Paul Triolo, Lisa Kania, and Graham Webster, "Translation: Chinese Government Outlines AI Ambitions Through 2020," New America, Ei ig ¡China, 26 January 2018, www.newamerica.org/ cy bersec uri ty- i n it iative/ d igich ina/ b! og/ trans 1 ation -chi nese-governmentou tli nes -ai -am b i ti ons - th rough -2020.
«Й
8 Q
2
ш
