CC BY
24
DOI: 10.17803/1729-5920.2022.190.9.108-120
Р. З. Рувинский*
Замыкание в «цифровой контур»: возможные последствия для современных правовых систем1
Аннотация. В статье представлен теоретико-правовой анализ происходящих в последние годы во всем мире процессов замыкания индивидов, юридических лиц и общества в целом в «цифровой контур», то есть особую среду коммуникации субъектов и управления их поведением посредством алгоритмических систем обработки и анализа данных о них. Отмечены основные направления выстраивания системы регулирования поведения индивидов через анализ и обработку персональных данных: интеграция различных государственных баз данных с информацией о субъектах в рамках проектов электронного правительства, развитие систем видеонаблюдения и автоматизированного анализа видеособытий, контроль за цифровыми следами индивида в сети Интернет. Установлено, что цифровое профилирование индивидов и организаций на основе собранных о них данных позволяет государственным органам реализовывать политику допуска и ограничений, обусловливая доступ к публичным услугам и частным сервисам содержанием и качеством биографической (репутационной) информации о субъекте в соответствующих базах данных. В известной степени выстраиваемая система регулирования перекликается с идеями конфуцианства: вместо принципа равенства субъектов перед законом и судом формируется иерархическое (ранжированное) общество, границы свободы членов которого определяются не законом, а их репутацией, то есть данными в соответствующих источниках; правовое поведение субъектов ритуализируется, становится в большей степени результатом привычки и конформизма, нежели сознательного выбора; право сливается с социальной этикой. Отмеченные трансформации означают необратимое изменение самих оснований правовых систем западного типа. На основе выявленных тенденций представлен вероятностный прогноз развития правовых систем, предложено возможное объяснение указанных трансформаций. Ключевые слова: репутация; система социального кредита; социальный этикет; цифровой профиль; цифровая трансформация; алгоритмическое управление; деградация закона; кризис права; технологическая нормативность; права граждан; перспективная юридическая ответственность. Для цитирования: Рувинский Р. З. Замыкание в «цифровой контур»: возможные последствия для современных правовых систем // Lex russica. — 2022. — Т. 75. — № 9. — С. 108-120. — DOI: 10.17803/17295920.2022.190.9.108-120.
1 Исследование выполнено при финансовой поддержке РФФИ в рамках научного проекта № 20-011-00173.
© Рувинский Р. З., 2022
* Рувинский Роман Зиновьевич, кандидат юридических наук, доцент, доцент кафедры истории и теории государства и права Нижегородского института управления — филиала Российской академии народного хозяйства и государственной службы при Президенте Российской Федерации (РАНХиГС) просп. Гагарина, д. 46, г. Нижний Новгород, Россия, 603950 ruvinskiy-rz@ranepa.ru
Shaping «Digital Circuit»: Possible Consequences for Modern Legal Systems2
Roman Z. Ruvinskiy, Cand. Sci. (Law), Associate Professor, Associate Professor, Department of History and Theory of State and Law, Nizhny Novgorod Institute of Management (Branch of the Russian Presidential Academy of National Economy and Public Administration (RANEPA)) prosp. Gagarina, d. 46, Nizhny Novgorod, Russia, 603950 ruvinskiy-rz@ranepa.ru
Abstract. The paper presents a theoretical and legal analysis of the processes that result in bringing individuals, legal entities and society as a whole to the «digital circuit», that is, a special environment for communication between subjects and management of their behavior through algorithmic systems of processing and analyzing data thereof. The main directions of building a system for regulating the behavior of individuals through the analysis and processing of personal data are noted. The integration of various state databases with information about subjects within the framework of e-government projects, the development of video surveillance systems and automated analysis of video events, control over the digital traces of an individual on the Internet. Digital profiling of individuals and organizations based on the data collected about them allows government agencies to implement a policy of admission and restrictions, conditioning access to public services and private services on the content and quality of biographical (reputational) information about the subject in the relevant databases. To a certain extent, the developing regulatory system echoes the ideas of Confucianism. A hierarchical (ranked) society is formed instead of the principle of equality of subjects before the law and the court; the boundaries of freedom of its members are determined not by the law, but by their reputation, that is, data in relevant sources; the legal behavior of subjects is ritualized, becomes more the result of habit and conformity than conscious choice; law merges with social ethics. These transformations mean an irreversible change in the very foundations of Western-type legal systems. The author presents a probabilistic forecast of the development of legal systems following the identified trends, and proposes a possible explanation of these transformations. Keywords: reputation; social credit system; social etiquette; digital profile; digital transformation; algorithmic management; degradation of the law; crisis of law; technological normativity; citizens' rights; prospective legal responsibility.
Cite as: Ruvinskiy RZ. Zamykanie v «tsifrovoy kontur»: vozmozhnye posledstviya dlya sovremennykh pravovykh sistem [Shaping «Digital Circuit»: Possible Consequences for Modern Legal Systems]. Lexrussica. 2022;75(9):108-120. DOI: 10.17803/1729-5920.2022.190.9.108-120. (In Russ., abstract in Eng.).
Введение
Сегодня, пожалуй, никто не станет спорить с утверждением о том, что человечество переживает период серьезнейших потрясений, а многие привычные и считавшиеся незыблемыми социальные институты подвергаются коренной трансформации. Старые и, казалось бы, ушедшие в прошлое конфликты обостряются с новой силой, при этом возникают и специфически современные, новые противоречия. Одним из наиболее очевидных феноменов, отражающих специфичность переживаемой нами эпохи и, несомненно, оказывающих влияние на правовое регулирование и правореализационную деятельность, является внедрение прорывных цифровых технологий в сферу публичного управле-
ния. Сервисы «электронного правительства» уже прочно вошли в жизнь каждого россиянина, а за последние два года мы уже почти привыкли к работе интеллектуальных систем распознавания лиц в общественных местах и необходимости предъявления QR-кодов, подтверждающих вакцинацию, для того чтобы такие места посетить.
Жизнь миллионов постепенно, но необратимо меняется, а значит, меняются и способы регулирования поведения людей, модели управления социумом, правовые принципы, ценности, нормы и практика их толкования. Может статься, что в радостном оптимизме от успехов во внедрении новейших технологий в сферу социальной регуляции мы вот-вот упустим (или уже упустили) момент радикальной трансформации современных правовых систем,
2 The reported study was funded by RFBR according to the research project № 20-011-00173
LEX 1Р?Ж
способной поставить крест на многовековом развитии уникальной цивилизации права3 — цивилизации, своими истоками уходящей в своеобразие древнеримской культуры и так или иначе связанной с развитием западной юридической традиции4.
Настоящее исследование является попыткой осмыслить происходящий буквально на наших глазах и стремительно ускоряющийся процесс замыкания общества, индивида, юридического лица в «цифровой контур» — особую среду коммуникации субъектов друг с другом и управления их поведением посредством осуществляемых через специальные программные комплексы обработки и обмена информацией о них и их поведенческих актах. Хотя в последнее время весьма популярными в юриспруденции стали категории «цифровое право»5, «платформенное право»6, «право искусственного интеллекта»7, они находятся за рамками рассмотрения данной статьи: полезные в плане фиксирования складывающихся тенденций технологического и правового развития рассуждения об открытии новых типов общественных отношений и формировании новых отраслей права фокусируются преимущественно на вопросах нормативной регламентации технологических инноваций (прежде всего систем искусственного интеллекта) и, на наш взгляд, не особенно способствуют пониманию изменения места субъекта права в правовой системе. Исследования цифрового права в большей степени ориентированы на то, как наиболее эффективно упорядочить использование цифровых технологий, как устранить возникшие законодательные пробелы, однако оставляют за рамками своего рассмотрения принципиальный вопрос о том, не меняются ли кардинальным образом сами основания существующих правовых систем (а не только
перечень составляющих систему права отраслей и институтов).
Как писал Гегель, «почвой права является вообще духовное, и его ближайшим местом и исходной точкой — воля, которая свободна»8. Говоря о праве, мы изначально подразумеваем, что речь идет о тех или иных способах управления людьми, регулирования поведения людей. На наш взгляд, именно в эту (самую важную для права) область отдельные современные технологии, внедряемые в публичное управление, способны внести и уже вносят крайне значимые изменения. Центральной проблемой для юридической науки, таким образом, является вовсе не признание правосубъектности инновационных устройств и программных систем9, как это пытаются представить многие современные исследователи. Центральной проблемой является изменение поведения человека, его привычек, границ свободы.
Изложенные выше исходные посылки исследования определяют его цель: проанализировать, каким образом и в каком направлении основанные на оперировании данными механизмы профилирования субъектов, фиксации, учета и оценки их поведения воздействуют на облик и отдельные составляющие современных правовых систем западного типа (в том числе на систему нормативного регулирования, форму закона, правосознание и характер правового поведения индивидов).
Правовое поведение в «цифровом контуре»
На сегодняшний день в развитых странах значительная часть поведенческих актов субъектов права в рамках публично-правовых отношений опосредуется специальными цифровыми платформами и программными комплексами и (тем
См.: Зорькин В. Д. Цивилизация права и развитие России. М. : Норма, 2016. С. 408. См.: Берман Г. Дж. Западная традиция права: эпоха формирования. М. : Изд-во МГУ, 1998.
Рожкова М. А. Является ли цифровое право отраслью права и ожидать ли появления цифрового кодекса? // Хозяйство и право. 2020. № 4 (519). С. 3-12.
См., например: Кашкин С. Ю., Алтухов А. В. Роль искусственного интеллекта в становлении платфор-
менного права и его эволюции в направлении концепции права экосистем // Lex russica. 2022. Т. 75.
№ 1. С. 94-108.
Мишина Н. В. Право искусственного интеллекта как новая сфера правового регулирования или новая отрасль права // Евразийский союз ученых. 2020. Т. 72. № 3. С. 62-65. Гегель Г. В. Ф. Философия права. М. : Мысль, 1990. С. 67.
См., например: Oliveira A. Subject (in) Trouble: Humans, Robots, and Legal Imagination // Laws. 2020. Vol. 9. No. 2. P. 10.
3
4
5
6
7
8
9
или иным образом) отражается в соответствующих базах данных.
Начало цифровизации публичного управления было положено развитием проектов так называемого «электронного правительства» (e-government) в конце 1990-х гг.10 За последние два десятилетия эти проекты прошли впечатляющий путь и серьезно поменяли свой функционал: от упрощения документооборота в структурных элементах госаппарата до опосредования большей части ситуаций взаимодействия гражданина с государством. Современные системы электронного правительства, такие как Единый портал государственных и муниципальных услуг в России, не только упрощают переписку между гражданами и государственными ведомствами, но и — что крайне важно! — постепенно накапливают все больший объем данных об индивидах. Интеграция различных государственных баз данных с информацией о субъектах и объединение систем идентификации личности с системами межведомственного обмена данными11 делают возможным всесторонний контроль за субъектами со стороны государства.
Уже сегодня государственные базы данных включают не только регистрационно-анкет-ные сведения о каждом субъекте, но и данные биографического характера о случаях обращения того или иного лица к органам публичного управления, о состоящем на налоговом учете имуществе и своевременности внесения обязательных платежей в бюджет, об исполнении
трудовых обязанностей, об имевших место случаях привлечения лица к юридической ответственности, о неисполненных судебных актах и даже о намерении совершить противоправное деяние12. Современные системы видеонаблюдения и автоматизированного видеоанализа событий в рамках проектов smart city13 позволяют в режиме реального времени идентифицировать индивидов, фиксировать и оценивать их поведение в общественных местах, причем область распространения таких систем все увеличивается14. Значительную часть информации о себе современный индивид добровольно указывает в своих профилях в социальных сетях в Интернете, а его записи и комментарии незаметно для него превращаются в материал, позволяющий алгоритмам искусственного интеллекта, работающим на государственные и корпоративные структуры, составить довольно-таки подробный его портрет. Уже введенная в некоторых странах мира, в том числе в России, идентификация пользователей интернет-сервисов должна упростить профилирование индивидов по оставляемым ими цифровым следам. Разрабатываемые в настоящее время финансовыми регуляторами ряда стран проекты внедрения цифровой валюты15 очевидным образом направлены на всеохватный централизованный контроль за движением денежных средств, доходами и расходами каждого субъекта.
Если прибавить к этому сведения о нас, содержащиеся в базах данных компаний частного
10 Grönlund Â., Horan T. A. Introducing e-Gov: History, definitions, and issues // Communications of the Association for Information Systems. 2005. Vol. 15. P. 713-714.
11 В России такой системой является Единая система межведомственного электронного взаимодействия. См.: постановление Правительства РФ от 08.09.2010 № 697 «О единой системе межведомственного электронного взаимодействия» // СЗ РФ. 2010. № 38. Ст. 4825
12 См.: п. 1 ч. 4 ст. 20.6 Федерального закона от 04.12.2007 № 329-Ф3 «О физической культуре и спорте в Российской Федерации» в редакции Федерального закона от 30.12.2021 № 462-ФЗ «О внесении изменений в Федеральный закон "О физической культуре и спорте в Российской Федерации"» // СЗ РФ. 2022. № 1 (ч. 1). Ст. 31.
13 В России к таковым, несомненно, можно отнести аппаратно-программный комплекс «Безопасный город».
14 См.: Wadhwa T. Smart Cities: Toward the Surveillance Society? // Smart Cities as Democratic Ecologies / ed. by D. Araya. London : Palgrave Macmillan, 2015. P. 125-141 ; Feldstein S. The Global Expansion of AI Surveillance // URL: https://carnegieendowment.org/files/WP-Feldstein-AISurveillance_final1.pdf (дата обращения: 12.04.2022).
15 См.: Концепция цифрового рубля // Банк России. 8 апреля 2021 г. URL: https://cbr.ru/StaticHtml/ File/41186/info_20210408.pdf (дата обращения: 12.04.2022) ; A Digital Euro // URL: https://www.ecb. europa.eu/paym/digital_euro/html/index.en.html (дата обращения: 12.04.2022) ; The Digital Dollar Project: Exploring a US CBDC. May 2020 // URL: https://www.banking.senate.gov/imo/media/doc/Giancarlo%20 Testimony%20Addendum%206-30-202.pdf (дата обращения: 12.04.2022).
LEX IPS»
сектора (прежде всего в банках и бюро кредитных историй), становится очевидным: вот-вот не останется тех мест и сфер общественной жизни, в которых индивид не находился бы под надзором органов публичного управления и корпоративных гигантов либо где такой надзор был бы невозможен. Тогда как в отношении физических лиц данный вывод до сих пор звучит достаточно скандально, юридические лица и индивидуальные предприниматели интегрированы в мир цифрового государственного контроля еще более глубоко, в их отношении уже вводятся отдельные механизмы ранжированного управления на основе интеллектуального анализа репутационных данных об их деятельности16.
Медленно, но верно субъекты замыкаются в «цифровой контур» — уже не просто набор данных, а среду коммуникации, существования, пространство взаимодействия с публичной властью и заключения многих частноправовых сделок. Информация о субъектах, прежде хранившаяся в пыльных архивах или локальных электронных базах данных многочисленных ведомств, для доступа к которой требовалось в каждом отдельном случае отдельное решение уполномоченного должностного лица (человека), теперь доступна для автоматизированной (алгоритмической) обработки и автоматизированного же (полностью или хотя бы частично) принятия решений.
Впрочем, данные сами по себе значат не так много. Они нужны для того, чтобы формировать стохастические (вероятностные) модели поведения субъектов и по возможности влиять на такое поведение. Если государство имеет значительный объем данных о физическом или юридическом лице, оно осуществляет
профилирование17 данного лица, т.е. посредством тех или иных интеллектуальных средств обрабатывает имеющиеся данные о нем, анализирует их и уже на основании этого анализа оценивает его склонности к правомерному или неправомерному поведению, надлежащему или ненадлежащему исполнению договорных обязательств и т.д. Техническая возможность обрабатывать массивы данных о тысячах, а то и миллионах лиц, возможность выстраивать предсказания их вероятного поведения ведет к ранжированию лиц, находящихся внутри управляемого контура, к реализации политики допусков и ограничений.
По всей видимости, такую политику имел в виду французский философ Ж. Делёз, описывая в начале 1990-х гг., на заре информационной эры, картину общества, которую сегодня без какой-либо специальной оптики может наблюдать каждый из нас: «...город, где каждый может покинуть свое жилище, свою улицу, свой округ с помощью электронной ("дивиду-альной") карточки, которая открывает соответствующую дверь или проход. Но эта карта в какой-то определенный день или час может не действовать. Важен не сам барьер, а компьютер, который отслеживает положение каждого, легальное или нелегальное.»18.
В рамках правопорядка, в котором ключевую роль играет не объем законодательно закрепленных за субъектами прав и свобод, а переопределяемые в режиме реального времени допуски и ограничения, основным активом и ценностью становится репутация, вернее — репутационные данные о субъекте, фиксируемые в соответствующих базах данных и доступные для обработки.
16 Имеется в виду инициатива вычисления рейтинга деловой репутации для участников системы государственных закупок, а также введение ранжирования юридических лиц и индивидуальных предпринимателей, являющихся клиентами российских банков, в зависимости от уровня риска совершения ими подозрительных операций с денежными средствами. См.: законопроект № 1100997-7 «О внесении изменений в отдельные законодательные акты Российской Федерации» // URL: https://sozd.duma.gov.ru/bill/1100997-7 (дата обращения: 19.04.2022) ; Федеральный закон от 21.12.2021 № 423-Ф3 «О внесении изменений в отдельные законодательные акты Российской Федерации» // СЗ РФ. 2021. № 52 (ч. 1). Ст. 8982.
17 По смыслу действующего в Европейском Союзе Общего регламента по защите данных профилирование связано в том числе с анализом имеющихся данных о субъекте и предсказанием вопросов, относящихся к качеству выполнения им своих трудовых обязанностей, состоянию его здоровья, его личным предпочтениям и интересам, его поведению, местоположению и т.д. (Regulation (EU) 2016/679 of the European Parliament and of the Council of 27 April 2016 on the protection of natural persons with regard to the processing of personal data and on the free movement of such data, and repealing Directive 95/46/EC (General Data Protection Regulation) // OJEU. Legislation. 2016. No. 119. P. 1-88).
18 Делёз Ж. Post scriptum к обществам контроля // Переговоры: 1972-1990 / пер. с фр. В. Ю. Быстрова. СПб. : Наука, 2004. С. 232.
Опора на репутационные данные и неизбежное в условиях нынешней цифровизации публичного управления формирование своего рода «ранжированного общества» (graduated society19) неожиданным образом возвращают актуальность конфуцианским подходам к вопросам права и управления.
Неожиданная актуальность конфуцианства
Для известных нам правовых систем западного типа, в том числе правовой системы России, характерны такие признаки, как разделение права и морали, формальное равенство граждан перед законом и судом, неразрывная связь юридической ответственности как механизма принуждения с противоправным поведением. Это базовые вещи, однако современные инновации в области регулирования и управления бросают им вызов.
«Человек по природе зол. Его доброта есть вопрос намеренного усилия», — рассуждал один из основоположников конфуцианства, Сюнь-цзы20. Согласно идеям философа, добродетель необходимо культивировать в себе путем самоограничения собственных эгоистических желаний, что становится возможным благодаря следованию ритуалу. Как отмечает один из современных исследователей китайской политико-правовой мысли, ритуал — в понимании Сюнь-цзы — устанавливает место человека в рамках социума как гармонического целого, причем для такого общества естественной является иерархичность: «все равны только в том, что сполна имеют положенное каждому»21. Принципиально значимой в рамках такого мышления оказывается репутация: «знатный и низкий занимают свое положение; старший и младший имеют различия; бедный и богатый, презираемый и уважаемый — все имеют свою репутацию в обществе»22.
Как известно, конфуцианство настаивало на примате морали и социального этикета, а не права, при этом обращая особое внимание на репутацию человека. Идеалом конфуциан-
ства являлось общество, основанное в большей степени на добродетели, нежели на законе; отсюда проистекает идея управления людьми посредством усвоения ими типизированных поведенческих привычек, а не посредством предписывания им тех или иных абстрактных моделей поведения. Так, конфуцианская традиция утверждала, что добродетельному государю нет нужды заниматься делами управления: «Если наставлять народ путем [введения] правления, основанного на законе, и поддерживать порядок [угрозой] наказания, то народ станет избегать наказаний и лишится [чувства] стыда. Если наставлять народ путем [введения] правления, основанного на добродетели, и поддерживать порядок путем [использования] Правил (этикета. — Автор), то в народе появится [чувство] стыда, и он исправится»23. В идеале, с точки зрения конфуцианства, государственные органы ничего не предписывают и не осуществляют управление напрямую, а лишь создают условия, при которых соблюдение норм социального этикета входит в повседневную привычку подданных. Стоит обратить внимание на тотальность социального этикета (ли Ц) в представлении конфуцианцев: он охватывает практически все аспекты человеческой жизни24.
Конечно, сегодня нельзя говорить о буквальном перенесении на устройство общественной жизни конфуцианских идей, формировавшихся в принципиально иных исторических условиях, однако определенные параллели явно напрашиваются.
Замыкание субъектов в «цифровой контур», их более или менее детальное профилирование и ранжирование на основе тех или иных критериев позволяют в конечном счете передать принятие значительной части управленческих решений, осуществление контроля и надзора за деятельностью граждан и организаций от должностных лиц автоматизированным (алгоритмическим) системам. Управлению придается видимость объективной, не зависящей от воли и произвола чиновников деятельности: по идее, индивид все чаще должен стал-
19 Подробнее см.: Yu K. Towards Graduated Citizenship: A Study of Social Credit Systems in China // Critique: a worldwide student journal of politics. 2020, Spring. P. 28-55.
20 Xunzi: The Complete Text. Princeton University Press, 2014. P. 248.
21 Малявин В. В. Китайская цивилизация. М., 2001. С. 172.
22 Сюнь-Цзы // Классическое конфуцианство : в 2 т. / переводы, статьи, комментарии А. Мартынова и И. Зограф. СПб. : Нева ; М. : ОЛМА-пресс, 2000. Т. 2. С. 169.
23 Конфуций. Суждения и беседы. М. : Рипол-классик, 2017. С. 54.
24 Olberding A. Etiquette: A Confucian Contribution to Moral Philosophy // Ethics. 2016. Vol. 126. No. 2. P. 422.
LEX RUSSICA
киваться не с чиновником, а с безразличным пользовательским интерфейсом; само государственное принуждение должно перестать ассоциироваться с государственными органами и должностными лицами. Этой цели способствует и постепенный переход от регулирования посредством нормативных или индивидуально адресованных предписаний к регулированию через так называемые технологические артефакты (technological artefacts), т.е. технические устройства, делающие невозможным для субъекта нарушить установленные запреты (преодолеть ограничения) и тем самым задающие безальтернативные варианты поведения25. Если, допустим, в отношении гражданина действует запрет на посещение спортивных соревнований и иных публичных мероприятий, он оказывается просто не в состоянии приобрести билет и пройти на стадион:электронная система не пропустит его. Если его репутация (рейтинг, ранг, класс, нахождение в черном списке) не позволяет ему приобретать недвижимость, сделка не состоится или не пройдет государственную регистрацию. Как ни странно, в этом нет ничего фантастического, и некоторые из подобных механизмов уже были испытаны ранее26.
Если государство получает возможность меньше предписывать напрямую, через общеобязательные нормы законодательства, а регулирование социальными процессами в большей мере полагается на реализацию политики допусков и ограничений,связанной с анализом репутационных данных, то субъекты оказываются вынуждены действовать в заданных рамках, в соответствии с определенными для них допусками и с постоянной оглядкой на собственный репутационный статус. Принцип, согласно которому разрешено все, что не запрещено законом, фактически сменяется прин-
ципом «Разрешено только то, что прямо разрешено (то, что не вредит моей репутации)». Поскольку любые цифровые следы, вольно или невольно оставляемые субъектом, могут стать основаниями для ухудшения его социального статуса, императивами поведения в обществе рано или поздно должны сделаться самоограничение, самодисциплина и самоцензура, а наиболее рациональной стратегией правомерного поведения становится конформизм, установка вести себя «как все». Так или иначе, правомерное, социально полезное поведение субъектов неизбежно ритуализируется, так как технологические артефакты сводят возможность волевого отношения к выбору тех или иных действий к минимуму, а установка на конформное, бесконфликтное и одобряемое окружающими поведение не способствует глубокому осознанию должного и недопустимого; субъект вынужден вести себя типично, в рамках сформированной привычки, будучи «запрограммирован» окружающей его социальной средой и технологической архитектурой27.
Важно, что пристальное внимание к репутации делает принципиально возможным и логичным учет соблюдения субъектами не только правовых, но и широкого спектра морально-этических норм и норм общежития при определении допусков и ограничений. Таким образом, в то время как государственное управление сливается с кажущейся беспристрастной и объективной техникой, право сливается с моралью, формируя новую синкретическую систему регулирования (социального этикета), подконтрольную институтам публичной власти.
Алгоритмическая оценка поведения субъектов, их ранжирование, осуществляемое в той или иной форме, создают, как уже отмечалось выше, иерархическое ранжированное обще-
25 См.: Hildebrandt M. Legal and Technological Normativity: More (and Less) than Twin Sisters // Techne: Research in Philosophy and Technology. 2008. Vol. 12. No. 3 ; Idem. Smart Technologies and the End(s) of Law: Novel Entanglements of Law and Technology. Edward Elgar Publishing, 2015. P. 11, 28.
26 В период пандемии коронавируса власти Москвы блокировали действие транспортных карт жителей столицы старше 60 лет и горожан с хроническими заболеваниями; разблокировка карт осуществлялась в автоматическом режиме после поступления сведений из Единой медицинской информационно-аналитической системы о прохождении вакцинации. См.: Как будут работать карты москвича у людей из групп риска: отвечаем на основные вопросы // URL: https://www.mos.ru/news/item/98510073/ (дата обращения: 04.05.2022).
27 Именно такую стратегию регулирования, очевидно, имел в виду М. Фуко, писавший о так называемых «устройствах безопасности» (Фуко М. Безопасность, территория, население : курс лекций, прочитанных в Коллеж де Франс в 1977-1978 учебном году. СПб., 2011. С. 38, 72-75). Сегодня мы можем наблюдать их звездный час.
ство на месте общества формально равноправных субъектов.
В наиболее яркой форме описанные тенденции проявляются в своеобразном и масштабном проекте «Система социального кредита» далее — ССК), реализуемом в течение последних лет в КНР. Исследователи уже неоднократно пытались провести параллели между данным проектом и идеями китайского конфуцианства28, хотя, пожалуй, связь ССК с китайской философией в большей степени случайна. Если отбросить сугубо китайскую специфику ССК с использованием позорящих практик общественного порицания недобросовестных (незаконопослушных) лиц и экспериментами по начислению баллов за социальное полезное и «подрывающее доверие» поведение29, перед нашим взором предстанет механизм социального регулирования и контроля, развивающийся примерно в том же направлении, что и системы публичного управления западных стран: датафи-кация (datafication) поведенческих актов субъектов, цифровое профилирование, автоматизация принятия решений, выстраивание системы допусков и ограничений поверх и помимо закрепленных законом субъективных прав и свобод, слияние права с трансформированной (или, лучше сказать, деформированной) этикой30.
Необратимые изменения
Стоит отметить: то направление развития, к которому новейшие технологии публичного управления подталкивают правовые системы, во многих отношениях противоречит ценностям и принципам, на основе которых правовые системы западного типа развивались до сих пор.
Прежде всего, стоит отметить, что перенос акцента с законодательного регулирования поведения субъектов (регулирования, при
котором устанавливаемые нормы прямо или опосредованно связаны с народным волеизъявлением и являются достаточными основаниями для реализации субъектами своих прав в конкретных правоотношениях) на регулирование посредством допусков и ограничений, связанных с репутацией (рейтингом, грейдом, рангом, классом) управляемых лиц, в конечном счете ведет к двум серьезнейшим изменениям: деградации закона как формы права и постепенной ликвидации народного суверенитета как фундамента, лежащего в основе большинства современных правопорядков. Общество, разделенное на определенные множества в зависимости от наличия или отсутствия тех или иных допусков, в зависимости от содержания данных профилей в соответствующих базах данных, не может функционировать в качестве источника публичной власти и юридической силы законодательных актов. По большому счету, на место гражданского общества как предпосылки государства, на место народного суверенитета (общей воли31) как учредительной власти незаметно, но необратимо приходит «кастовое», разделенное общество, представители которого теряют какое-либо влияние на принятие общественно значимых решений, государственное строительство и законотворчество, превращаясь в безвольных статистов — объекты управленческих решений, исходящих как бы от нейтральных инстанций, а то и вовсе от искусственно созданных технологических артефактов. Коль скоро регулирование все в меньшей степени связывается с народным волеизъявлением и представительством и, напротив, все больше стремится к обретению видимости технической нейтральности, объективной обез-личенности, законодательное регулирование постепенно замещается регулированием со стороны многочисленных подзаконных актов, а сами законы по своему содержанию и про-
28 См.: Рувинский Р. З., Тарасов А. А. «Система социального кредита»: исторические предпосылки и док-тринальные основания феномена // Национальная безопасность. 2020. № 3. С. 72-88 ; Creemers R. China's social credit system: An evolving practice of control // URL: https://papers.ssrn.com/sol3/papers. cfm?abstract_id=3175792 (дата обращения: 19.04.2022) ; Yu K. Op. cit. P. 31-34.
29 См.: MacSithigh D., Siems M. The Chinese Social Credit System: A Model for Other Countries? // Modern Law Review. 2019. Vol. 82. No. 6. P. 1050-1051.
30 О трансформации правоприменительной практики в США под влиянием новой этики взаимоотношений мужчин и женщин на рабочем месте, катализатором развития которой стало движение #MeToo, см.: Tippet E. The Legal Implications of the MeToo Movement // Minnesota Law Review. 2018. Vol. 103. No. 57. P. 229-302.
31 См.: РуссоЖ.-Ж. Об общественном договоре, или Принципы политического права // Об общественном договоре : трактаты. М., 2000. С. 209-216.
цедуре принятия32 все сильнее сближаются с подзаконными нормативными актами.
Профилирование и ранжирование субъектов, осуществляемое в той или иной форме (рейтингование, распределение на классы и т.п.), разумеется, в корне противоречат признаваемым современными правовыми системами принципам равенства всех перед законом и судом. Тогда как закон все менее становится отличим от подзаконного акта, технического регламента или инструкции, фактическая реализация предусмотренных законодательно прав и свобод субъектов ставится в прямую зависимость от содержания записей о них в государственных базах данных, от их оценки алгоритмическими системами. Следующий этап развития, логичным образом вытекающий из отмеченных тенденций, — детерминация объема и качества оказываемых государством публичных услуг содержанием информации в соответствующих цифровых профилях получателей этих услуг. Так технологическая архитектура надстраивается над зданием правового государства, делая само это здание бесполезным памятником самому себе.
Оцифровка правового поведения и выстраивание архитектуры допусков и ограничений — юридическая мина, закладываемая не только под институт прав и свобод граждан, но угрожающая также институту юридической ответственности и заставляющая переосмыслить вообще всю систему мер государственного принуждения. Во-первых, цифровое профилирование субъектов и переход к автоматизированному принятию решений на основе анализа данных делает принципиально возможным применение к лицу правоограничительных мер, напрямую не связанных с совершением им право-
нарушения. Во-вторых, все более глубокое внедрение интеллектуальных цифровых технологий в сферу публичного управления создает риски принятия правоприменительных актов лишь на основании выводов, сформированных зачастую непрозрачными алгоритмами33. Развитие инструментов предиктивной аналитики и архитектуры допусков/ограничений рано или поздно должно будет поставить вопрос о внедрении в правоприменительную практику превентивных наказаний и профилактических ограничений, не связанных с уже совершенными правонарушениями. Теория перспективной юридической ответственности, являвшаяся своеобразным изобретением отечественной юридической школы34, может неожиданным образом обрести подлинную актуальность.
Но вернемся к субъекту права и его месту в рамках меняющегося правопорядка. Утративший равноправие с другими, вынужденный поступать типично, по-конформистски, дабы не попасть под рестрикции того или иного рода, перманентно находящийся в ситуации правовой неопределенности (поскольку его статус является результатом перманентных или периодически повторяемых вычислений) и под постоянным надзором, субъект де-факто становится объектом, частицей управляемого множества. В рамках такого формирующегося порядка индивиду остается только быть лояльным к любым инициативам органов публичной власти. Он более не является гражданином, поскольку лишен практически значимых возможностей влиять на законодательство и текущее управление; тем не менее он вполне может выступать в качестве потребителя, носителя эгоистичного интереса, удовлетворяющего свои преимущественно экономические потребности.
32 Здесь имеется в виду как пренебрежение отдельными процедурными требованиями в процессе обсуждения и принятия законодательных актов, ускоренный характер обсуждения законов, так и сведение всей законодательной процедуры к чистой формальности, превращение парламента из представительного органа в «не-место для дискуссий» — процессы, которым кризисные явления последних лет, несомненно, благоприятствуют. См.: Rouvinsky R. Lawmaking in times of domestic and foreign-policy instability (the Russian experience) // The Theory and Practice of Legislation. 2021. Vol. 9. No. 1. P. 117-139.
33 Скандальными примерами принятия необоснованных судебных решений на основании выводов алгоритмических систем являются дело Эрика Лумиса в США (см.: Liu H. W., Lin C. F., Chen Y. J. Beyond State v. Loomis: Artificial Intelligence, Government Algorithmization and Accountability // International Journal of Law and Information Technology. 2019. Vol. 27. No. 2. P. 122-141) и случай Светланы Лепассон в России. См.: Петров С. «Это не я!»: жительница Южно-Сахалинска добивается отмены штрафа за нарушение карантина // URL: https://russian.rt.com/russia/article/738444-otmena-shtraf-karantin-narushenie (дата обращения: 04.05.2022).
34 См.: Куксин И. Н., Николаева Ж. А. Позитивная и негативная ответственность как виды юридической ответственности // Теория государства и права. 2021. Т. 22. № 2. С. 120-129.
Заключение
Все описанное выше, конечно, может показаться мрачным преувеличением. Однако вне зависимости от того, нравится нам получившаяся картина или нет, необходимо признать: предпосылки использования новейших цифровых технологий именно в указанном ключе действительно имеют место, причем не только в КНР с ее системой социального кредита. Масштабные изменения, логику которых мы попытались развить и спроецировать на не очень отдаленное будущее, осуществятся, разумеется, не в одночасье, а будут растянуты на годы, в течение которых то, что ранее казалось невозможным и неприемлемым, будет постепенно становиться нормальным и привычным. Накопление подробнейших данных о поведенческих актах физических и юридических лиц, связывание различных ведомственных и корпоративных баз данных между собой, профилирование, а где-то даже социальное рейтингование или хотя бы ранжирование без начисления баллов уже имеют место. Отдельные страны ушли в этом развитии дальше, другие отстают или реализуют инновации в более осторожной форме. Россия — страна, никогда не делавшая фетишей из концепта верховенства права и идеологии прав человека, но при этом являющаяся одним из мировых лидеров в цифро-визации публичного сектора35, — сегодня, в период ухудшения отношений с так называемым Западом, оказывается перед соблазном последовать по наиболее прямому китайскому пути цифровой трансформации госуправления и своей правовой системы, с введением балльных рейтингов и инкорпорированием некоей
версии «государственной этики» в тексты нормативных правовых актов.
Если обобщить симптомы происходящих изменений, можно заметить, что все эти изменения, по-видимому, являются кульминацией процессов «моторизации права», о которых отдельные европейские ученые говорили еще столетие назад36 и за которыми по большому счету скрывается отношение к праву как к технике (нейтральному инструменту), а не как к ценности. Сегодня, когда развитие технологий вычислений и обработки данных делает принципиально возможным постоянный надзор и прогнозирование поведения практически каждого, а также таргетированное регуляторно-репрессивное воздействие на ранжированные множества, для права как «искусства доброго и справедливого»37 не остается места. Наиболее драматичным и самым важным здесь, пожалуй, является то, что описанные тенденции так или иначе связаны с процессами устранения волевого компонента из механизма регулирования общественных отношений. Индивиду, переставшему быть гражданином и сведенному к набору записей в базах данных, не остается ничего другого, кроме как послушно выполнять новые, в том числе абсурдные, указания уполномоченных инстанций, перестраивать свое поведение под вводимые на ходу «морально-этические» стандарты, мимикрировать, исполнять заведенный социальный ритуал. Цели довольно прозрачны: упрощение управления массами; упрощение самого общества, ставшего за последние десятилетия слишком сложным; регулирование (и, судя по всему, снижение) уровня потребления в условиях наступающей череды кризисов и потрясений.
БИБЛИОГРАФИЯ
1. Берман Г. Дж. Западная традиция права: эпоха формирования : пер. с англ. — 2-е изд. — М. : Изд-во МГУ : Инфра-М — Норма, 1998. — 624 с.
2. Гегель Г. В. Ф. Философия права : пер. с нем. — М. : Мысль, 1990. — 524 с.
3. Делёз Ж. Post scriptum к обществам контроля // Переговоры: 1972-1990 / пер. с фр. В. Ю. Быстрова. — СПб. : Наука, 2004. — С. 226-233.
4. Дигесты Юстиниана / пер. с лат. ; отв. ред. Л. Л. Кофанов. — 2-е изд. — Т. 1. — М. : Статут, 2008. — 584 с.
35 См.: Исследование ООН: Электронное правительство — 2020 // URL: https://publicadministration.un.org/ egovkb/Portals/egovkb/Documents/un/2020-Survey/2020%20UN%20E-Government%20Survey%20-%20 Russian.pdf (дата обращения: 04.05.2022).
36 Schmitt C. Die Lage der europäischen Rechtswissenschaft. Tübingen : Internationaler Universitäts-Verlag, 1950. S. 18-19.
37 Дигесты Юстиниана. М. : Статут, 2008. Т. 1. С. 82.
5. Зорькин В. Д. Цивилизация права и развитие России. — 2-е изд. — М. : Норма, Инфра-М, 2016. — 416 с.
6. Кашкин С. Ю., Алтухов А. В. Роль искусственного интеллекта в становлении платформенного права и его эволюции в направлении концепции права экосистем // Lex russica. — 2022. — Т. 75. — № 1. —
C. 94-108. — DOI: 10.17803/1729-5920.2022.182.1.094-108.
7. Конфуций. Суждения и беседы / пер. с кит. Л. С. Переломова. — М. : Рипол-классик, 2017. — 360 с.
8. Куксин И. Н., Николаева Ж. А. Позитивная и негативная ответственность как виды юридической ответственности // Теория государства и права. — 2021. — Т. 22. — № 2. — С. 120-129.
9. Малявин В. В. Китайская цивилизация. — М. : Дизайн. Информация. Картография : Астрель : АСТ, 2001. — 632 с.
10. Мишина Н. В. Право искусственного интеллекта как новая сфера правового регулирования или новая отрасль права // Евразийский союз ученых. — 2020. — Т. 72. — № 3. — С. 62-65.
11. Рожкова М. А. Является ли цифровое право отраслью права и ожидать ли появления цифрового кодекса? // Хозяйство и право. — 2020. — № 4 (519). — С. 3-12.
12. Рувинский Р. З., Тарасов А. А. «Система социального кредита»: исторические предпосылки и доктри-нальные основания феномена // Национальная безопасность. — 2020. — № 3. — С. 72-88.
13. Руссо Ж.-Ж. Об общественном договоре, или Принципы политического права // Об общественном договоре : трактаты : пер. с фр. — М. : Терра — Книжный клуб ; Канон-пресс-Ц, 2000. — С. 195-322.
14. Сюнь-Цзы // Классическое конфуцианство : в 2 т. / переводы, статьи, комментарии А. Мартынова и И. Зограф. — Т. 2. — СПб. : Нева ; М. : Олма-Пресс, 2000. — 208 с.
15. Фуко М. Безопасность, территория, население : курс лекций, прочитанных в Коллеж де Франс в 19771978 учебном году : пер. с фр. — СПб. : Наука, 2011. — 544 с.
16. Creemers R. China's social credit system: An evolving practice of control // URL: https://papers.ssrn.com/sol3/ papers.cfm?abstract_id=3175792 (дата обращения: 19.04.2022).
17. Feldstein S. The Global Expansion of AI Surveillance. — Carnegie Endowment for International Peace, 2019. — URL: https://carnegieendowment.org/files/WP-Feldstein-AISurveillance_final1.pdf (дата обращения: 12.04.2022).
18. GrönlundÀ., Horan T. A. Introducing e-Gov: History, definitions, and issues // Communications of the Association for Information Systems. — 2005. — Vol. 15. — P. 713-730.
19. Hildebrandt M. Legal and Technological Normativity: More (and Less) than Twin Sisters // Techné: Research in Philosophy and Technology. — 2008. — Vol. 12. — No. 3. — DOI: https://doi.org/10.5840/techne20081232.
20. Hildebrandt M. Smart Technologies and the End(s) of Law: Novel Entanglements of Law and Technology. — Cheltenham, UK & Northampton, MA, USA : Edward Elgar Publishing, 2015.
21. Liu H. W., Lin C. F., Chen Y. J. Beyond State v. Loomis: Artificial Intelligence, Government Algorithmization and Accountability // International Journal of Law and Information Technology. — 2019. — Vol. 27. — No. 2. — P. 122-141.
22. Mac Sithigh D., Siems M. The Chinese Social Credit System: A Model for Other Countries? // Modern Law Review. — 2019. — Vol. 82. — No. 6. — P. 1034-1071.
23. Olberding A. Etiquette: A Confucian Contribution to Moral Philosophy // Ethics. — 2016. — Vol. 126. — No. 2. — P. 422-446.
24. Oliveira A. Subject (in) Trouble: Humans, Robots, and Legal Imagination // Laws. — 2020. — Vol. 9. — No. 2. — DOI: https://doi.org/10.3390/laws9020010.
25. Rouvinsky R. Lawmaking in times of domestic and foreign-policy instability (the Russian experience) // The Theory and Practice of Legislation. — 2021. — Vol. 9. — No. 1. — P. 117-139. — DOI: https://doi.org/10.108 0/20508840.2020.1841986.
26. Schmitt C. Die Lage der europäischen Rechtswissenschaft. — Tübingen : Internationaler Universitäts-Verlag, 1950. — 32 s.
27. Tippet E. The Legal Implications of the MeToo Movement // Minnesota Law Review. — 2018. — Vol. 103. — No. 57. — P. 229-302.
28. Wadhwa T. Smart Cities: Toward the Surveillance Society? // Smart Cities as Democratic Ecologies / ed. by
D. Araya. — London : Palgrave Macmillan, 2015. — P. 125-141.
29. Xunzi: The Complete Text / trans. by E. L. Hutton. — Princeton : Princeton University Press, 2014.
30. Yu K. Towards Graduated Citizenship: A Study of Social Credit Systems in China // Critique: a worldwide student journal of politics. — 2020, Spring. — P. 28-55.
Материал поступил в редакцию 4 мая 2022 г.
REFERENCES
1. Berman G.D. Zapadnaya traditsiya prava: epokha formirovaniya [The Western tradition of law: the age of formation]. Transl. from Eng. 2nd edition. Moscow: MSU: Infra-M — Norma Publ.; 1998. (In Russ.).
2. Hegel GVF. Filosofiya prava [Philosophy of Law]. Transl. from Germ. Moscow: Mysl Publ.; 1990. (In Russ.).
3. Deleuze J. Post scriptum k obshchestvam kontrolya [Post scriptum to control societies]. In: Deleuze J. Peregovory: 1972-1990 [Negotiations: 1972-1990]. Trans. from Fr. Bystrov VYu. St. Petersburg: Nauka Publ.; 2004. Pp. 226-233. (In Russ.).
4. Kofanov LL, editor. Digesty Yustiniana [Digests of Justinian]. Transl. from Lat. Vol. 1. 2nd ed. Moscow: Statut Publ.; 2008. (In Russ.).
5. Zorkin VD. Tsivilizatsiya prava i razvitie Rossii [The civilization of law and development of Russia]. 2nd ed. Moscow: Norma: Infra-M Publ.; 2016. (In Russ.).
6. Kashkin SYu, Altukhov AV. Rol iskusstvennogo intellekta v stanovlenii platformennogo prava i ego evolyutsii v napravlenii kontseptsii prava ekosistem [The Role of Artificial Intelligence in the Formation of Platform Law and its Evolution towards the Concept of Ecosystem Law]. Lex Russica. 2022;75(1):94-108. DOI: 10.17803/17295920.2022.182.1.094-108. (In Russ.).
7. Confucius. Suzhdeniya i besedy [Judgments and conversations]. Transl. from Chinese by Perelomov LS. Moscow: Ripoll Klassik Publ.; 2017. (In Russ.).
8. Kuksin IN, Nikolaeva ZhA. Pozitivnaya i negativnaya otvetstvennost kak vidy yuridicheskoy otvetstvennosti [Positive and negative liability as types of legal liability]. Teoriya gosudarstva i prava [Theory of state and law]. 2021;22(2):120-129. (In Russ.).
9. Malyavin VV. Kitayskaya tsivilizatsiya [Chinese civilization]. Moscow: Dizayn. Informatsiya. Kartografiya: Astrel: AST Publ.; 2001. (In Russ.).
10. Mishina NV. Pravo iskusstvennogo intellekta kak novaya sfera pravovogo regulirovaniya ili novaya otrasl prava [Artificial intelligence law as a new sphere of legal regulation or a new branch of law]. Evraziyskiy soyuz uchenykh [Eurasian Union of Scientists]. 2020;72(3):62-65. (In Russ.).
11. Rozhkova MA. Yavlyaetsya li tsifrovoe pravo otraslyu prava i ozhidat li poyavleniya tsifrovogo kodeksa? [Is digital law a branch of law and should we expect the appearance of a digital code?]. Khozyaystvo i pravo [Business and Law]. 2020;519(4):3-12. (In Russ.).
12. Ruvinskiy RZ, Tarasov AA. «Sistema sotsialnogo kredita»: istoricheskie predposylki i doktrinalnye osnovaniya fenomena [«Social credit system»: Historical prerequisites and doctrinal foundations of the phenomenon]. Natsionalnaya bezopasnost [National Security]. 2020;3:72-88. (In Russ.).
13. Rousseau JJ. Ob obshchestvennom dogovore, ili printsipy politicheskogo prava [A Treatise on the Social Compact: Or the Principles of Political Law]. In: Roussau JJ. Ob obshchestvennom dogovore: Traktaty [On social contract: Treatises. Trans. from Fr.]. Moscow: Terra-Book Club Publ.; Kanon-press-Ts Publ.; 2000. Pp. 195-322. (In Russ.).
14. Xun-Tzu. Klassicheskoe konfutsianstvo: perevody, stati, kommentarii A. Martynova i I. Zograf: v 2 t. [Classical Confucianism: Translations, articles, and comments by A. Martynov and I. Zograf. In 2 vols.]. Vol. 2. St. Petersburg: Neva Publ,; Moscow: Olma-Press Publ.; 2000. (In Russ.).
15. Foucault M. Bezopasnost, territoriya, naselenie: kurs lektsiy, prochitannykh v Kollezh de Frans v 1977-1978 uchebnom godu [Security, territory, population: A lecture course delivered at the Collège de France in the 1977-1978 academic year.]. Transl. from Fr. St. Petersburg: Nauka Publ.; 2011. (In Russ.).
16. Creemers R. China's social credit system: An evolving practice of control. Available from: https://papers.ssrn. com/sol3/papers.cfm?abstract_id=3175792 [Accessed: 04.19.2022].
17. Feldstein S. The Global Expansion of AI Surveillance. Carnegie Endowment for International Peace, 2019. Available at: https://carnegieendowment.org/files/WP-Feldstein-AISurveillance_final1.pdf [Accessed: 12.04.2022].
18. Grönlund Â, Horan TA. Introducing e-Gov: History, definitions, and issues. Communications of the Association for Information Systems. 2005;15:713-730.
19. Hildebrandt M. Legal and Technological Normativity: More (and Less) than Twin Sisters. Techné: Research in Philosophy and Technology. 2008;12:3. DOI: https://doi.org/10.5840/techne20081232.
20. Hildebrandt M. Smart Technologies and the End(s) of Law: Novel Entanglements of Law and Technology. Cheltenham, UK & Northampton, MA, USA: Edward Elgar Publishing; 2015.
LEX 1PSÄ
21. Liu HW, Lin CF, Chen YJ. Beyond State v. Loomis: Artificial Intelligence, Government Algorithmization and Accountability. International Journal of Law and Information Technology. 2019;27(2):122-141.
22. Mac Sithigh D, Siems M. The Chinese Social Credit System: A Model for Other Countries? Modern Law Review. 2019;82(6):1034-1071.
23. Olberding A. Etiquette: A Confucian Contribution to Moral Philosophy. Ethics. 2016;126(2):422-446.
24. Oliveira A. Subject (in) Trouble: Humans, Robots, and Legal Imagination. Laws. 2020;9(2). DOI: https://doi. org/10.3390/laws9020010.
25. Rouvinsky R. Lawmaking in times of domestic and foreign-policy instability (the Russian experience). The Theory and Practice of Legislation. 2021;9(1):117-139. DOI: https://doi.org/10.1080/20508840.2020.1841986.
26. Schmitt C. Die Lage der europäischen Rechtswissenschaft. Tübingen: Internationaler Universitäts-Verlag; 1950.
27. Tippet E. The Legal Implications of the MeToo Movement. Minnesota Law Review. 2018;103(57):229-302.
28. Wadhwa T. Smart Cities: Toward the Surveillance Society? In: Araya D, editor. Smart Cities as Democratic Ecologies. London: Palgrave Macmillan; 2015. Pp. 125-141.
29. Xunzi. The Complete Text. Trans. by Hutton EL. Princeton: Princeton University Press; 2014.
30. Yu K. Towards Graduated Citizenship: A Study of Social Credit Systems in China. Critique: A Worldwide Student Journal of Politics. 2020;Spring:28-55.
