CC BY
42^ РО! 10.22394/2686-7834-2022-3-8-22
^ Цифровые технологии и правовая аргументация: £ влияние статистических юридических технологий на право1
Лоуренс Дайвер, Брюссельский свободный университет (Брюссель, Бельгия) доктор философии, научный сотрудник в области права; соучредитель Журнала междисциплинарных исследований в области вычислительного права (CRCL); e-mail: [email protected]. Полин Макбрайд, Брюссельский свободный университет (Брюссель, Бельгия) научный сотрудник в области права; шотландский адвокат.
Аннотация
Внедрение «юридических технологий», использующих статистические инструменты, поднимает вопросы о будущем права и юридической практики. Если раньше технологии всегда опосредовали концепцию, практику и структуру права, то сейчас происходит качественный и количественный сдвиг: статистические юридические технологии непосредственно интегрируются в юридическую практику, особенно в судебную. Цифровые приложения, в частности для поиска и создания документов, влияют на то, как практикующие юристы взаимодействуют с правовой системой. Воздействуя на процессы создания права, технологии в конечном итоге формируют само право. Также технологии влияют на творческие элементы судебной практики. Например, за счет автоматизации они обуславливают способ реализации юристами профессиональных и этических обязанностей в рамках дела своего клиента. Все это приводит к тому, что в юридическую практику приложения с использованием технологии машинного обучения должны вводиться с большой осторожностью, если мы хотим избежать тонкого, непреднамеренного, но в конечном итоге фундаментального подрыва действия принципа верховенства права. В статье авторы приходят к выводу, что полагаться на бдительность отдельных юристов недостаточно для защиты от потенциально вредных последствий использования таких систем, учитывая непостижимость алгоритма принятия ими решений, и предполагаем, что ответственность за демонстрацию легитимности своих систем в соответствии со стандартами и принципами права лежит на создателях и поставщиках юридических технологий.
Ключевые слова: юридические статистические технологии; машинное обучение; цифровизация правосудия.
Argument by Numbers: the Normative Impact of Statistical Legal Tech2
Laurence Diver, Vrije Universiteit Brussel (Brussels, Belgium)
Doctor of Science (Philosophy), postdoctoral researcher in law; co-founder of the Journal of Cross-disciplinary Research in Computational Law (CRCL); e-mail: [email protected]. Pauline McBride, Vrije Universiteit Brussel (Brussels, Belgium) postdoctoral researcher in law; a Scottish solicitor.
Abstract
The introduction of statistical "legal tech" raises questions about the future of law and legal practice. While technologies have always mediated the concept, practice, and texture of law, a qualitative and quantitative shift is taking place: statistical legal tech is being integrated into mainstream legal practice, and particularly that of litigators. These applications — particularly in search and document generation — mediate how practicing lawyers interact with the legal system. By shaping how law is "done", the applications ultimately come to shape what law is. Where such applications impact on the creative elements of the litigator's practice, for example via automation bias, they affect their professional and ethical duty to respond appropriately to the unique circumstances of their client's case — a duty that is central to the Rule of Law. The statistical mediation of legal resources by machine learning applications must therefore be introduced with great care, if we are to avoid the subtle, inadvertent, but ultimately fundamental undermining of the Rule of Law. In this contribution we describe the normative effects of legal tech application design,
1 Перевод и публикация данной статьи выполнены на основе лицензии CC BY Attribution-NonCommercial 4.0 International, на условиях которой данная статья была опубликована на английском языке на сайте https://osf.io/preprints/socarxiv/ts259/. Статья также была принята к публикации в журнале Communitas (2022).
2 The translation and publication of this article is based on the CC BY Attribution-NonCommercial 4.0 International license, under which this article was published in English at https://osf.io/preprints/socarxiv/ts259/. The article is accepted for publication in Communitas (2022).
how they are (in)compatible with law and the Rule of Law as normative orders, particularly with respect to legal texts which we frame as the proper source of "lossless law", uncompressed by statistical framing. We conclude that reliance on the vigilance of individual lawyers is insufficient to guard against the potentially harmful effects of such systems, given their inscrutability, and suggest that the onus is on the providers of legal technologies to demonstrate the legitimacy of their systems according to the standards inherent in the legal system. Key words: legal statistical technologies, machine learning, digitalization of justice.
Введение
Внедрение в юридическую практику новых технологий, основанных на статистическом прогнозировании, ставит вопросы о природе нормативности. Несмотря на то, что раньше технологии опосредовали теорию, практику и законодательные положения, сейчас происходит качественный и количественный поворот по мере того, как базирующиеся на данных «юридические технологии» внедряются в основную юридическую практику, особенно в практику судебных разбирательств. Использование цифровых приложений в силу их доступности стало неотъемлемой частью взаимодействия практикующих юристов с правовой системой. Задавая алгоритм «создания» права, архитектура выбора задействованных приложений трансформирует понятие и сущность права. Это подразумевает способность юридических технологий влиять на нормативную структуру закона и уравновешивать множество политических целей, одновременно ограничивая произвольное осуществление политической власти. Несмотря на то, что юридические технологии в некоторых случаях будут способствовать более эффективной и результативной юридической практике3, возникает ощущение, что, по крайней мере, в некоторых случаях, они представляют собой точную инъекцию своего рода политической рациональности непосредственно в сердце юридического процесса4. Это важно, потому что именно законность и верховенство закона должны лежать в основе такого технологизированного выражения политической морали, а не конституироваться ими.
Предложение Европейской комиссии о вопросах, которые требуют регулирования Законом об искусственном интеллекте (ИИ), свидетельствует о важности данной проблемы. В нынешней редакции Закон относит к системам «высокого риска» те системы, которые «предназначены для оказания помощи судебным органам в исследовании и толковании фактов и закона, а также в применении закона к конкретному набору фактов»; такие системы классифицируются как вовлеченные в «отправление правосудия и демократические процессы»5. Необходимо понимать, что эти риски также нужно учитывать применительно к другим системам (не только судебным). Учитывая долгожданное признание в Законе об ИИ нового вызова, который вычислительные системы создают для отправления правосудия и демократии, его сфера действия должна применяться более широко, чтобы охватить использование ИИ сторонами, чья профессиональная роль в отправлении правосудия обязывает их сохранять приверженность принципам законности и верховенства права. Самым важным элементом в деятельности любого юриста является «устремленность к правосудию», этическая и профессиональная приверженность господствующему идеалу права, которая должна мотивировать его в повседневной юридической деятельности, даже и особенно там, где это крайне затруднительно, учитывая существующую реальность.
Это обязательство может быть искажено, когда программное приложение выступает посредником между юристом и правовой системой, и технология такого приложения отражает не стремление к справедливости, а какие-то иные цели6. Роль юриста состоит в том, чтобы выступать в качестве представителя интересов клиента, сохраняя при этом верность правосудию в качестве «служителя Фемиды»7. Для реализации этой роли юрист наделяется правовыми инструментами, которые он использует в ходе своей практики. В зависимости от того, как разработаны эти инструменты, юрист может потерять свою квалификацию и репутацию, если он участвует в процессе просто как «пользователь» юридической технологии, содержание которой отражает инструментализованное понятие права. Способность рассуждать и анализировать, которая является неотъемлемым и творческим элементом юридической практики, потенциально вытесняется или даже устраняется, что, в свою очередь, приводит к отступлению от принципов, на которых основывается фундаментальное понятие справедливости.
Например, юрист может использовать юридическую технологию, которая позволяет подготовить проекты документов, обобщить или структурировать судебные документы, ходатайства или правовую позицию. Даже если такие
3 Мало кто будет серьезно утверждать, например, что мы должны вернуться к использованию пишущих машинок вместо текстовых процессоров, например отказаться от электронной почты.
4 См. дискуссию Рувруа и Стиглера об «алгоритмической управляемости». См. A. Rouvroyи B. Stiegler, The Digital Regime of Truth: From the Algorithmic Governmentality to a New Rule of Law. La Deleuziana: Online Journal of Philosophy. 2016. No. 3. P. 6.
5 Предложение к закону об искусственном интеллекте (COM (2021) 206 final), Annex III, Article 8.
6 См. Kerr I. Prediction, Pre-Emption, Presumption: The Path of Law After the Computational Turn. In M. Hildebrandt and K. De Vries (eds.), Privacy and Due Process After The Computational Turn: The Philosophy of Law Meets The Philosophy of Technology. London: Routledge, 2013.
7 Ibid. P. 13. См. также A. Paterson, Duties to the Court, Law, Practice & Conduct for Solicitors (2nd edn., W. Green/Thomson Reuters, 2014).
s технологические процессы не предполагают окончательного создания финальной версии подаваемых в суд доку-jf ментов, они могут предусматривать алгоритмы, расставляющие акценты, выдающие рекомендации и информацию < по формированию правовой стратегии юриста-пользователя. Почему использование таких алгоритмов может вызывать беспокойство, даже если это позволяет подготовить процессуальные документы, которые лучше отражают ° соответствующий закон или содержат более релевантные отсылки? На этот вопрос есть два ответа. Первый: как мы оцениваем, являются ли результаты использования технологии «лучшими» по сравнению с результатом, полученным без ее использования? Ответ на этот вопрос пока оставим в стороне. Второй — касается роли юристов, характера правовой аргументации и функции самого права.
В настоящей статье мы рассматриваем ситуацию, когда творческая задача юридического обоснования опосредована юридическими технологиями. Мы обращаем внимание на рефлексивный характер применяемых в юридической практике технологий и то, как они сами могут формировать практику, частью которой являются. Это заставляет нас обратить внимание на роль юриста как, по существу, творческого главнокомандующего технических и нормативных ресурсов. По словам Гаакира (Gaakeer), роль юриста состоит в том, чтобы выдумывать8, создавать истории, составленные не только из фактических данных (в том числе судебных решений и иных кейсов), но также из интуитивных представлений о правовых принципах и стремления к справедливости, которые должны управлять миром. Задача состоит в том, чтобы преобразовать эти элементы в технологию и сохранить их неоспоримый вклад в новые способы подготовки юридической аргументации, которая по своей сути является творческим процессом, например, в той мере, в какой она отражает абстрактные понятия или объяснение конкретных обстоятельств. Использование юридических технологий в качестве посредника в рамках этого процесса может, в зависимости от особенностей таких технологий, угрожать этому творческому аспекту роли судебного юриста. Сама возможность творческого осмысления является центральной для профессиональной и этической обязанности юриста формулировать выводы и обоснования, исходя из уникального сочетания фактов, норм и аргументов, которые могут быть использованы в рамках всей системы права.
Мы утверждаем, что заложенная в технологии нормативная архитектура выбора решений, представленная дизайном приложений, должна дополнять и поддерживать основы философии права. Юристы, в том числе судьи, не должны выступать только в качестве наблюдателей за создаваемой с помощью больших данных и технологий правоприменительной практикой, но должны оставаться профессиональными участниками принимаемых решений. Их приверженность идеям права, среди прочего, проявляется в творческом лингвистическом синтезе прошлого и настоящего, всегда с прицелом на будущее. Когда в эту деятельность вводится «третий голос» юридической технической программы, основанной на статистических данных, а не на идеях права, это искажает или преломляет отношения между «сырым» текстом закона и творчеством, опытом и морально-этическими идеалами юриста — при этом с использованием таких способов, которые неочевидны даже для самого юриста. Качество построения этих отношений с участием «третьего голоса» имеет центральное значение для сохранения концепции права и жизнеспособности принципа верховенства закона. Следовательно, любые изменения в этой области должны производиться с полным осознанием последствий, особенно там, где решающим фактором может стать необходимость учета погрешностей технологии и очевидная привлекательность эффективности новых технологий.
Нормативные трансформации: опосредование права технологиями
Термин «юридическая технология» (legal tech) возник относительно недавно, хотя попытки вовлечения вычислительных систем в юридическую практику предпринимались еще с послевоенного периода. Обычно это относится к внедрению цифровых технологий в правоприменительную деятельность, а иногда и в области контроля за соблюдением законов. Применяемые технологии в юриспруденции имеют множество различных функций и целей, начиная от очень конкретных и поддающихся проверке (например, автоматизация проверки контрактов на основе сценария, заданного конкретной фирмой9) до более сложных для обоснования (например, «улучшение доступа к правосудию»10). Важно понимать, что «юридические технологии» не являются новым явлением, несмотря на ажиотаж вокруг данной темы и существующие вопросы к ее использованию. Как отмечает М. Хильдебрант, создание и применение права на протяжении последних пяти столетий сопровождалось использованием технологий письменности и печатного станка11. Без них закон в том виде, в каком мы его знаем, был бы совершенно неузнаваем по практикам, текстуальным и материальным артефактам, знакомым современным юристам и гражданам.
8 Gaakeer J. Judging from Experience: Law, Praxis, Humanities. Edinburgh University Press, 2019.
9 E. g. LawGeex (дата обращения: 1.11.2021).
10 E. g. DoNotPay, чьи условия и положения гласят: «Наша цель — уравнять правила игры и сделать юридическую помощь доступной для самых уязвимых слоев общества» (по состоянию на 1 ноября 2021 г.).
11 Hildebrandt M. Smart Technologies and the End(s) of Law: Novel Entanglements of Law and Technology (Edward Elgar Publishing 2015) passim. См. также HarveyD. J. Collisions in the Digital Paradigm: Law and Rule Making in the Digital Age (Bloomsbury, 2017). Постоянные читатели журнала «Теоретическая и прикладная юриспруденция», вероятно, помнят, что данные идеи развивались М. Хильдебрант и в подробной статье, перевод которой опубликован в одном из прошлых номеров журнала (см.: ХильдебрантМ. Действие юрисдикции, возникшей в результате текстуальных актов, в киберпространстве // Теоретическая и прикладная юриспруденция, 2021. № 2. С. 6-20). (Прим. пер.)
Технология текста предоставляет конституционным демократиям набор фундаментальных средств, которые соответственно и конституируют государственность. Текст экстернализует правовые нормы, придавая им стабильность во времени и пространстве, что, в свою очередь, способствует формированию юрисдикции, которая может регулироваться во времени и пространстве одним и тем же набором текстов. Присущая естественному языку двусмысленность, содержащаяся в этих текстах, вынуждает их интерпретировать в точке применения, противопоставляя особое мировоззрение одного гражданина содержанию нормы, что приводит к нормативному синтезу, определяющему возможное русло действий. В этом и заключается суть спора: норму можно интерпретировать по-разному, тем самым создавая — а иногда, возможно, и провоцируя, — конкурирующие нарративы о ее значении и о том, как ее следует применять в данном случае, в данном сообществе, в данный конкретный момент времени. Потенциальный конфликт, присущий природе текста, требует организации некоторой формы судебного процесса, который может разрешать споры о толковании. Такие решения, в свою очередь, должны быть легитимированы внутри сообщества, что в конституционных демократиях достигается посредством гласности процессов и обоснования правовых позиций. Благодаря этим характеристикам правовые суждения, которые сами по себе строятся на основе текста и, таким образом, рефлекторно отражают специфику данной текстуальной технологии, служат маркером прогресса и самосознания сообщества в данный момент времени, до наступления следующей фазы спора по интерпретации, судебного разбирательства и формулирования соответствующего решения.
Значимость аргументации как проявления мыслительного творчества
Роль юристов заключается в том, чтобы выступать в качестве представителей людей, являющихся их клиентами. Основные обязанности юриста-практика — обязанности перед своим клиентом, хотя они также несут обязательства перед судом и своими коллегами-адвокатами12. Хотя юристы готовят ходатайства, заявления и обоснование позиции, это ходатайства, заявления и обоснования их клиентов. Вслед за Дж. Уолдроном мы считаем, что функция закона состоит в том, чтобы позволить обычным людям через своих адвокатов «сформулировать свои собственные юридические аргументы, предложив суду, рассматривающему их дело, изучить их собственный взгляд на ситуацию, что вписывается в целостную концепцию соблюдения духа закона»13.
По мнению Уолдрона, процесс аргументации — это то, что имеет особое значение. Именно он обеспечивает «уважение свободы и достоинства каждого человека как мыслящего субъекта»14. Таким образом, решения судов следует рассматривать не просто как «победы или поражения» сторон, а как результаты процесса, включающего в себя выслушивание мнений людей, формулирующих свои взгляды на базе соответствующих правовых норм15. В ходе судебного разбирательства истец объединяет элементы рассматриваемой ситуации, которые совместимы с силлогистической структурой юридического рассуждения (если она сама по себе не представлена как таковая)16. Стороны апеллируют к определенным нормам, интерпретируемым в свете представленных фактов, точно так же, как факты интерпретируются в свете норм.
Нелегко четко сопоставить фактические обстоятельства с требованиями правовых норм. Доказательства должны быть выявлены и интерпретированы, прежде чем они будут оформлены в лингвистических терминах, понятных в более общем плане в рамках формы жизни закона17. Даже если оставить в стороне научно-технические проблемы надежного сбора доказательств, их квалификация в юридических терминах — это не просто описание, даже если используется юридическая терминология, но обязательно оформленный текст с соблюдением условий логической аргументации, которую юридическое обоснование и должно в конечном счете подкрепить18. Здесь риторика играет роль в установлении того:
а) какие именно факты относятся к делу;
б) какие их аспекты относятся к делу;
в) по отношению к каким конкретным нормам из всего свода законов предусмотрены эти факты;
г) почему они выбраны с точки зрения интересов клиента и справедливости.
12 Paterson A. Supra note 7.
13 Waldron J. The Rule of Law and the Importance of Procedure. No. 50 (3). 2011. P. 19.
14 Ibid. P. 23.
15 Юридический институциональный процесс, способствующий такой аргументации, отмечает Уолдрон, имеет «санитарный» аспект. Закон относится к людям с уважением. Это предполагает «обращение внимания к точке зрения и... уважение достоинства тех, к кому применяются нормы как существ, способных объясниться» (Ibid. P. 16. Emphasis supplied). См. также: Meneceur Y., Barbaro C. Artificial Intelligence and The Judicial Memory: The Great Misunderstanding. AI and Ethics. 2021. P. 3.
16 См. MacCormick N. Rhetoric and the Rule of Law: A Theory of Legal Reasoning. Oxford; New York: Oxford University Press, 2005. Chs. 3-4.
17 О данном процессе см. DijkN. van, The Life and Deaths of a Dispute: An Inquiry into Matters of Law. In McGee K. (ed.), Latour and the Passage of Law. Edinburgh University Press, 2015; LatourB. Biography of an Inquiry: On a Book About Modes of Existence. Social Studies of Science, 2013. Vol. 43. Ch. 13. P. 287.
18 О понятии юридического аргумента см. Fish S. Working on the Chain Gang: Interpretation in the Law and in Literary Criticism. In Fish S. Doing What Comes Naturally: Change, Rhetoric, and the Practice of Theory in Literary and Legal Studies. Durham: Duke University Press, 1989. P. 100.
s Риторическое представление аргументации часто скрывает лежащую в его основе силлогистическую логику, но jf в любом случае творческие аспекты лингвистического построения не позволяют простой логике инкапсулировать < все содержание обоснования19. В этом случае отсутствует платоническое представление о логической «юридической истине», которая уже существует «где-то» и которую может выявить либо юрист, либо машина. Наоборот, твор-° ческая работа по интерпретации и перформативной аргументации, производимая стороной спора, которая осознает свои профессиональные и этические обязанности, как раз и является тем, что влечет за собой «создание права». Только в ходе работы по подготовке аргументированной позиции, созданной с помощью мыслительного творчества и соответственно структурированной, поддерживаются ценности права, и это не зависит от результата.
Проблемы применения юридических технологий
В свете только что приведенной краткой характеристики процесса творческой юридической аргументации проблему взаимодействия юридических технологий с интеллектуальным творчеством юриста можно рассматривать в двух различных, но взаимосвязанных измерениях. Во-первых, существует опасение, что компьютеры не могут рассуждать так, как это делают юристы, и что они не имеют и не могут иметь каких-либо нормативных обязательств перед стоящей перед ними задачей.
Второе измерение более тонкое, потому что возникающую в его рамках угрозу статус-кво юридической практики не так легко оценить: это представление о том, что результаты применения юридических технологий (в частности, тех, которые построены на основе прогнозирования машинного обучения) будут рассматриваться как окончательный результат или отражение самого закона, тем самым влияя на лежащую в его основе структуру права таким образом, который трудно предвидеть или даже выявить, когда эти результаты впоследствии будут приняты и, таким образом, узаконены в рамках юридических процедур.
Правовое обоснование позиции при помощи технологий
Статистические модели, лежащие в основе юридических технологий, основанных на базах данных, предсказывают результат индуктивно, как упражнение в сопоставлении с образцом, в то время как управляемые кодом символьные системы следуют детерминированным правилам, чтобы предоставить решение, основная структура которого уже была предусмотрена при разработке. Даже тогда, когда результат или прогноз приветствуются, ни в том, ни в другом случае нет необходимой связи с нормативной юридической практикой, не говоря уже о приверженности тем ее положениям, которые требуют применения синтеза толкования. В случае применения технологии статистического предсказания любой хороший результат является хорошим только потому, что мы прилагаем усилия, чтобы интерпретировать его, и мы можем это сделать только потому, что результат попадает в диапазон средних показателей и его возможно рационально объяснить. У машины нет доступа к стандартам, по которым мы можем проверить такой результат на предмет его разумности, поскольку она не имеет представления о ценности или нормативном контексте выполняемой ею задачи. В некотором смысле нам повезло, когда статистические модели, используемые в юридических технологиях, дают прогнозы, которым мы можем приписать разумную интерпретацию, поскольку эти модели не предполагают проверку прогноза на соответствие определенной нормативной позиции для получения справедливого результата, которая в них не заложена. Проще говоря, когда дело доходит до права, статистические модели «не знают, о чем говорят»20.
На протяжении XX в. много сил было затрачено на «юридикометрию» в попытках рассматривать право как «науку», а правовые нормы — как логические предпосылки, поддающиеся строгой форме дедуктивного расчета. В сочетании с духом логического позитивизма и бихевиоризма (пусть и не в точном совпадении с их историческими временными рамками) будущий «статистик» представлялся идеальным юристом, проводящим юридические «расчеты» для получения правильного ответа в рамках любого спора21. Эта точка зрения получила воплощение в некоторых современных юридических технических приложениях и программах, которые стремятся предсказать результаты дел на основе экстралегальных факторов, например моделей речи участников судебного процесса22. Эти более современные подходы, основанные на данных, строятся на индуктивных выводах, которые относительно недавно стали использоваться благодаря доступу к обширным наборам данных и созданию вычислительных мощностей,
19 Как отмечает Маккормик (MacCormick): возможно, «совсем не лучше и необязательно излагать реальные юридические аргументы в строгой силлогистической форме. То, как представить дело, относится скорее к риторике, чем к логике, но наиболее эффективной риторикой, вероятно, будет та, которая опирается на ясное понимание имплицитной логики процесса». Supra note 16. P. 42-43.
20 Smith B. C. The Promise of Artificial Intelligence: Reckoning and Judgment. Cambridge, MA: The MIT Press, 2019. P. 76 (с учетом расставленных нами акцентов).
21 Gaakeer. Supra note 7, ch. 3. Термин «статистик» в правоведении ввел О. Холмс (O. Holmes, The Path of the Law. Harvard Law Review, 1897. No. 10. P. 457).
22 См. исследование M. A. Livermore и D. N. Rockmore (eds), Law as Data: Computation, Text, and the Future of Legal Analysis. Santa Fe: SFI Press, 2019. Однако обратите внимание, что Франция ввела юридические ограничения на использование данных, касающихся поведения судей. См. G'sellF. Predicting Courts. Decisions Is Lawful in France and Will Remain So (дата обращения: 30.09.2021).
необходимых для построения статистических моделей, которые делают возможными прогнозы. Напротив, с 1970-х гг. работа в области символического ИИ, применительно к праву, стремилась моделировать и подражать дедуктивным способностям юриста. В последнем случае цель состоит не в том, чтобы статистически предсказать будущее на основе существующих данных23, а вместо этого в том, чтобы предопределить результат посредством предварительной спецификации «правильного» ответа, содержащегося в формализованных наборах правил, которые либо представляют его, либо непосредственно обеспечивают его выполнение посредством создания дополнительной архитектуры на основе кода. Здесь мы видим реализацию иной стратегии рассуждений, которая возникла в последние 25 лет, «код как закон», и идеи возможности совершенного и сверхэффективного применения правовых норм, которое способствует определенности в качестве ядра операционной системы, создание которого, возможно, цель правовой системы24. Этот инструментальный взгляд на право получает новую жизнь в рамках растущего движения «Правила как кодекс» (Rules as Code)25.
Статистически опосредованные источники права
Таким образом, с одной стороны, у нас есть представление о том, что машина является в некотором смысле независимым агентом, которому мы перепоручаем юридические рассуждения. С другой — возникает более сложная проблема, когда технология не заменяет юриста как такового, а вместо этого сам юрист полагается на результат использования юридической технологии, как если бы такой результат был законом или исходил непосредственно из него в случае применения систем юридического поиска и составления ходатайств, построенных на обработке естественного языка.
Соблазн эффективности
Фирмы, разрабатывающие юридические технологии вряд ли смогут убедить юристов в том, что они, используя свою профессиональную интуицию относительно пределов вычислений и понимание важности роли, которую вычисления играют в правовой системе, станут разрабатывать свои продукты с учетом критического подхода к их применению. Более вероятно, что коммерческие интересы будут преобладать в стимулировании внедрения определенных технологий, особенно в тех случаях, когда они нацелены на снижение затрат и повышение производительности. Некоторым может быть трудно сопротивляться соблазну повышения эффективности, особенно там, где сетевые эффекты приводят к использованию одних и тех же или похожих систем большинством фирм. Например, девиз американской аналитической компании Lex Machina гласит: «Ваши конкуренты используют Legal Analytics, чтобы удержать клиента и выиграть дело; можете ли вы позволить себе не использовать эту технологию?»26. Здесь мы видим потенциальную конвергенцию экономической, правовой и технологической культур, где и дизайн, и маркетинг юридических технологий отражают склонность к коммерчески привлекательному, но по существу утилитарному понятию права, понятию, основанному главным образом на результатах, которые достигаются посредством инноваций и эффективности (и это, конечно, приносит значительную прибыль сектору юридических технологий)27.
Однако помимо влияния маркетинговых усилий компаний на распространение использования юридических технологий существует проблема, заключающаяся в том, что, на первый взгляд, такие системы действительно работают — по крайней мере, в том смысле, что они генерируют понятные результаты, которые можно использовать на практике. Заявление разработчиков технологий об эффективности программ может показаться не таким уж огромным скачком в развитии технологий, когда очевидно, что система действительно предоставляет релевантные результаты поиска или генерирует формулировку обоснования или выдает рекомендации, которые в целом кажутся обоснованными. Статистические юридические поисковые системы, такие как Casetext и Westlaw Edge, вполне очевидно выдают результаты, которые можно использовать; по определенному запросу они же обычно предоставляют данные, которые практик может понять, при этом некоторые из этих результатов столь же релевантны (а некоторые даже более), как и те, что были бы обнаружены при использовании старых поисковых систем или при ручном поиске. Как ни парадоксально, но именно
23 HildebrandtM. Code-Driven Law: Freezing the Future and Scaling the Past. In S. F. Deakln and C. Markou (eds.), Is Law Computable? Critical Perspectives on Law and Artificial Intelligence. Oxford, UK; New York, NY: Hart, 2020.
24 BankowskiZ. Don't Think About It Legalism and Legality. In M. M. Karlsson, O. Pall Jonsson and E. M. Brynjarsdottir(eds.), Rechtstheorie: Zeitschrift für Logik, Methodenlehre, Kybernetik und Soziologie des Rechts. Berlin: Duncker & Humblot, 1993.
25 См. Waddington M. Research Note. Rules as Code. Law in Context, 2020. Vol. 37. No. 1 (придерживается позиции ограниченного понятия и применения «Правил как кодекса»).
26 The Future of Law. Judge Analytics: Predicting The Behavior of the Courtroom's Boss. Lex Machina (дата обращения: 31.10.2021). Та же фирма утверждает, что «более трех четвертей Am Law 100» (100 лучших фирм в Соединенных Штатах, определенных журналом American Lawyer) используют их систему. См. Lex Machina: Legal Analytics® for the Data-Driven Lawyer. Lex Machina (дата обращения: 31.10.2021).
27 См. Katz D. M. Quantitative Legal Prediction — or — How I Learned to Stop Worrying and Start Preparing for the Data Driven Future of the Legal Services Industry. Emory Law Journal, 2012. No. 62. P. 909. О слиянии «права» с «рынком юридических услуг», часто ассоциируемым с Чикагским университетом и школой права и экономики, которую он породил, см. HildebrandtM. Law as Computation in the Era of Artificial Legal Intelligence: Speaking Law to the Power of Statistics. University of Toronto Law Journal, 2018. No. 68. P. 12-35.
^ здесь и заключается проблема. Само существование работоспособного продукта привлекательно, особенно если он ^ имеет ауру «превосходства» над человеческими способностями. Очевидный успех результата статистической обработ-< ки данных, подкрепленный ее скоростью и заявлениями разработчика об использовании огромного количества данных и видах переменных, которые учитываются при разработке такой технологии, создает ощущение, что у нее есть доступ ° к лучшей версии закона — той, которая выходит за пределы аналитических возможностей человека. Учитывая профессиональную обязанность представлять интересы клиента как можно лучше, добросовестный юрист может даже прийти к выводу, что он должен использовать такую явно эффективную систему, особенно если профессиональные стандарты не содержат разъяснения о возможных последствиях использования такого программного обеспечения28.
Восхищение автоматизацией может иметь обманчивый эффект: кажется, что система работает, она использует «объективные» данные (и гораздо больше, чем человек, может понять), и поэтому на выходе она генерирует нечто ценное, выходящее за рамки сравнительно ограниченных возможностей человека29. Юрист, который идет против таких очевидных способностей технологии, должен быть очень уверен в своей позиции; и заявления юриста о такой его уверенности могут даже рассматриваться как «упрямство, высокомерие или самонадеянность»30. В долгосрочной перспективе мы можем начать олицетворять качества алгоритма, считая его возможной идеализированной версией того, какими мы могли бы быть, если бы только могли сохранять как можно больше информации, сопоставлять как можно больше функций и выполнять обработку информации с такой огромной скоростью. Эта «роботоморфность» противоположна антропоморфизму; мы начинаем видеть машину в себе, и, благодаря ее очевидному совершенству в выполнении своей задачи, мы пытаемся «оптимизировать» себя и свою деятельность, пытаясь соответствовать этому алгоритмическому идеалу31.
Эта идея отражена в бихевиористских концепциях права, которые исключают любую внутреннюю нормативную определенность человеческой деятельности. Волох (Уо1оЩ, например, предполагает, что гипотетический робот-судья, который может писать понятные и убедительные заключения, должен иметь право выносить настоящие решения в реальных судебных разбирательствах32. Тест для проверки возможности реализации такого предложения заключается в построении системы, которая успешно создает судебный симулякр, а не систему, которая может встать на место судьи в реальности, руководствуясь нормативной волей к справедливости. Любой вывод такой машины будет убедительным только потому, что мы интерпретируем его как таковой, но есть, по крайней мере, риск того, что возможность использования машины, выполняющей разумную работу, может оказаться достаточно привлекательной в перегруженной правоприменительной системе, и мы замалчиваем присущие такой машине ограничения, при этом создавая проблему рефлексивного эффекта, который мы описываем ниже. Еще один, довольно антиутопический риск, заключается в том, что такой тест замыкается сам на себе, так что судьи-люди начинают сверяться с выводами робота-судьи. В результате создается роботоморфная траектория, которая направлена на тотальное превращение права в массив данных, где заложенные в основу технологии алгоритмы сами по себе влияют на содержание правовой системы в целом33.
Нормативность юридического технического дизайна
Выше мы говорили о роли, которую в случае признания превосходства технологии может сыграть автоматизация в ускорении внедрения прогностических юридических технологий. Еще одним аспектом привлекательности таких технологий является проблема их «технологической нормативности» или способов, которыми архитектура таких технологий допускает и ограничивает действия их пользователей34.
Технологические артефакты, даже если согласиться с тем, что они являются результатом определенной политики, не обладают нормативностью или «интенциональностью», которые приводят к дискретному применению или формам взаимодействия, влияющим, в свою очередь, на более широкие практики, использующие эти технологии35.
28 Например, юридическое общество Англии и Уэльса ссылается на «верховенство закона» только с точки зрения соответствия используемой в юридической практике технической системы «всем применимым законам», без упоминания о потенциале более глубокого воздействия на практику и концепцию верховенства закона. См. Lawtech and Ethics Principles. Law Society of England and Wales, 2021. P. 13-14 (дата обращения: 30.10.2021).
29 О проблемах для права, связанных с опорой на результаты искусственного интеллекта, как с точки зрения ответственности, так и с точки зрения доказательств, см. Mason S. Artificial Intelligence: Oh Really? And Why Judges and Lawyers Are Central to the Way We Live Now But They Don't Know It. Artificial intelligence, 2017. Vol. 29.
30 Cabitza F. Breeding Electric Zebras in the Fields of Medicine. 2017. arXiv: 1701.04077 (обсуждение проблем, связанных с использованием прогнозов статистических моделей в медицинской области).
31 См. S&tra H. S. Robotomorphy. AI and Ethics, 2021.
32 Volokh E. Chief Justice Robots. Duke Law Journal, 2018. Vol. 68. P. 1135.
33 Sffitra, supra note 31, p. 7. Это явление иногда называют Законом Гудхарта, сформулированным Стратерном следующим образом: «Когда мера становится целью, она перестает быть хорошей мерой». См. Strathern M. Improving Ratings: Audit in the British University System. European Review, 1997. Vol. 5. Iss. 3. P. 305.
34 О ключевом различии между видами нормативности см. HildebrandtM. Legal and Technological Normativity: More (and Less) than Twin Sisters. Techne: Research in Philosophy and Technology, 2008. No. 12. P. 169.
35 Winner L. Do Artifacts Have Politics? Daedalus, 1980. Vol. 121; Ihde D. Technology and the Lifeworld: From Garden to Earth. Indiana University Press, 1990. P. 141-142; Kranzberg M. Technology and History: Kranzberg's Laws. Technology and Culture, 1986. Vol. 27. P. 544.
Сказанное относится как к юридическим техническим системам, так и к любым другим технологиям, и поэтому нормативы, создаваемые дизайном программы, а в некоторых случаях и политика, которую они отражают, будут так или иначе влиять на форму юридической практики. Конечно, можно говорить, как десятилетиями утверждала школа критических правовых исследований (CLS), что право в любом случае формируется политикой. Но акцент здесь иной: в какой степени лежащие в основе юридической практики технологии влияют на ее нормативное содержание? Это вопрос, который предшествует анализу структур власти, отраженных в правовой системе, когда она рассматривается исключительно как социальное явление.
Юридические технологии менялись со временем. Если в конце 1990-х гг. началась эра поисковых систем в результате появления и развития сети Интернет, то в течение последних нескольких десятилетий мы стали свидетелями революции в инструментах, используемых в юридической практике. С точки зрения юриста, получившего образование в середине XX в., введение электронных юридических баз данных в 1980-х гг., несомненно, было волшебным и, возможно, для некоторых подозрительным событием. Однако сейчас мало кто будет спорить, что такие технологии не являются усовершенствованием ручных процессов, существовавших раньше, при прочих равных условиях36. Таким образом, точно так же, как электронные базы данных стали неотъемлемой частью практики юристов к концу XX в., некоторые из программ, которые в настоящее время агрессивно продвигаются поставщиками юридических технологий, стали совершенно стандартной частью ландшафта юридической практики.
Это особенно заметно в отношении систем, которые незначительно усовершенствованы. Очевидным примером является технология юридического поиска, где модели преобразования обработки естественного языка направлены на улучшение результатов по сравнению со стандартным поиском по ключевым словам, обеспечивая чувствительность к контексту, в котором появляется поисковый запрос37. При этом результаты ничем не отличаются; юридическое техническое приложение кажется юристу более или менее идентичным тому, что было раньше, но основы или серверная часть системы стали совершенно другими, и результаты получаются совершенно иным способом. Следующим шагом в развитии юридической технологии является формирование статистического прогноза с точки зрения системы, «знающей понятия», лежащие в основе сложного поискового термина, как, например, в случае параллельного поиска Casetext38. Опять же интерфейс программы не сильно изменился, но основной механизм получения результатов, которые юрист видит и на основании которых действует, совершенно другой.
Судебная практика как основополагающий элемент правосудия
Правовые системы наделяют стороны судебного процесса определенными полномочиями, такими как право инициировать возбуждение дела в суде, подавать ходатайства и вызывать свидетелей. В то же время на них возложены этические и профессиональные обязанности перед судами, их клиентами и другими лицами39. У них есть профессиональные обязательства по поддержанию верховенства закона и обеспечению отправления правосудия40. Что это означает, если в ходе осуществления таких способностей и обязанностей нормативная приверженность справедливости, лежащая в основе юридической профессии, в той или иной степени модулируется или вытесняется выходными данными, полученными исключительно в результате статистической индукции? Смещается граница между технологической и правовой нормативностью: расширяется та часть практики, которая конституируется юри-дико-технической системой, а часть, существующая в институциональной сфере, сужается, вместе с ролью присущих ей обязательств и гарантий. Если внедрение таких инструментов, как текстовые процессоры и технологии, такие как электронная почта, оказали минимальное влияние на нормативное ядро права, теперь мы сталкиваемся с набором технологий, нормативность которых потенциально может вытеснить фундаментальные аспекты роли, которую играют стороны в судебном процессе. Центральные элементы судебной деятельности — творческая систематизация фактов и юридических источников в рамках нормативно-ориентированной практики — заменяются результатами, которые определяются не более чем статистической регулярностью.
Процедура судебного разбирательства является частью идеи о том, что правосудие должно не только вершиться, но и быть достаточно прозрачным, чтобы адресаты понимали, как оно вершится41. Хотя эта идея обычно ассоциируется с соблюдением процедурных и доказательственных правил, мы предполагаем, что ее можно расширить,
36 Хотя в некоторых частях мира проблема демократизации доступа к юридическим материалам остается нерешенной.
37 См., например, ChalkidisI. [etal.]. LEGAL-BERT: The Muppets Straight out of Law School. Findings of the Association for Computational Linguistics: EMNLP 2020 (Online: Association for Computational Linguistics, 2020). URL: https://aclanthology.org/2020.findings-emnlp.261 (дата обращения: 31.10.2021).
38 Parallel Search (Casetext). URL: https://casetext.com/parallel-search/ (дата обращения: 31.10.2021).
39 Paterson A. Supra note 7.
40 См., например: Ethics in Law (Law Society of England and Wales). URL: https://www.lawsociety.org.uk/topics/regulation/ethics-in-law (дата обращения: 1.11.2021); Regulation and Compliance. Law Society of Scotland. URL: https://www.lawscot.org.uk/members/ regulation-and-compliance/ (дата обращения: 31.10.2021).
41 Перефразируя дело Верховного суда Англии по делу R. v Sussex Justices ex parte McCarthy [1924] 1 K.B. 256 at 259, per Hewart L. C. J.: «Правосудие должно не только свершиться, но и быть очевидным и несомненным». О центральной роли процедуры в обеспечении верховенства права см. Waldron J. Supra note 13.
чтобы охватить те части процесса, которые должны быть продуктом человеческих возможностей, а не вычислений или статистических прогнозов. То, что должно быть «прозрачным», — это части процесса в той же мере, что и весь процесс в целом, поскольку каждый элемент процесса может быть понят только в свете другого (перекликаясь с понятием «герменевтического круга»42). Если такой элемент процесса, как аргументация, в том ее виде, который позволяет признавать ее соответствующей закону, передан на аутсорсинг машинам, которые не знают идеалов, существует риск того, что конечный результат в некотором смысле будет скомпрометирован, даже если на первый взгляд он будет выглядеть приемлемым. Это относится как к используемым (технологическим) инструментам, так и к процедурным этапам самого процесса. Таким образом, есть веский аргумент в пользу того, что приверженность изложенной нами концепции права требует, чтобы системы, используемые в юридической практике, были прозрачны и понятны с точки зрения способа их работы и получения результата.
С этой точки зрения творческий аспект юридической аргументации является средством как для передачи, так и для легитимации аргументов в институциональной сфере судебного разбирательства, то есть всего того, что юридические технологии никогда не могут сделать сами по себе. Формулируя правовую позицию, сторона в судебном процессе активно пытается донести свое видение справедливости в данном деле, которое может не совпадать с видением противной стороны спора43. Коммуникация в рамках процесса служит двум символическим целям в конституционной демократии. Во-первых, процесс оправдания себя по отношению к некоторым нормативным стандартам делает нас ответственными — способными к ответу; и благодаря этому признанию этой способности нас уважают как участников правового общения, даже если исход спора будет не в нашу пользу44. Во-вторых, общественность в принципе может поддерживать представленное правовое обоснование в суде, слышать, на какие юридические предпосылки опираются и какие аргументы приводят стороны в процессе, связывая их с фактами. Результат рассмотрения дела будет значим даже для тех, кто не согласен с интерпретацией выдвинутых фактов или норм в процессе, поскольку открытость для восприятия заявляемого правового аргумента узаконивает результат даже для тех, кто с ним не согласен.
Таким образом, не любой процесс является правосудным, а только тот, который позволяет реализовывать ценности верховенства права. Юристы не просто «совершают действия», а скорее применяют свои творческие способности на службе всей правовой системе. Без надлежащей возможности проявить творческие способности во имя целей права невозможно получить желаемое понимание справедливости, выраженное в результате судебного процесса. В той мере, в какой сбывается предсказание Холмса, что юрист «будущего — это человек статистики»45, — мы теряем нечто, что делает закон справедливым. Если элементы судебной практики помещены в «черный ящик» юридических технических программ, дизайн которых отражает нечто иное, чем воля к справедливости, коммуникативная и легитимирующая роль юридического процесса обязательно в какой-то степени изменяется.
Институциональность и детерминизм
В крайнем проявлении сценарий механизации правовой практики создает проблемы с точки зрения права как институционального порядка, характерного для конституционных государств46. Такие государства полагаются на существование заранее предопределенного процесса публичной аргументации, который позволяет авторитетно определить в рамках общего институционального понимания или юридического «мира»47 исход спора о правах и обязательствах48. Они не существуют в нашем сознании независимо как объекты мысли. Наоборот, они постоянно распознаются благодаря сочетанию экстернализированных текстов и человеческой способности приписывать (юридическое) значение какому-то действию или событию, каждое из которых рассматривается в свете любого будущего контекста, в котором происходит это распознавание49.
Если бы адвокат должен был бы просто технически расставить юридические символы, подобно компьютеру, переставляющему биты по заранее заданной программе, то действительно целью юридической практики было бы выявление «программы» — выведение алгоритма из всего объема потенциально применимых правовых норм. И наоборот, если юридическая программа индуцируется машиной из доступных ей данных, и юрист просто принимает
42 MacCormick N. Supra note 16. P. 48, и о понятии см. Gadamer H.-G. Truth and Method (Weinsheimer J. и Marshall D. G. (trs)). London: Bloomsbury, 2013. Ch. 4.
43 См. EspositoE. Transparency vs. Explanation: The Role of Ambiguity in Legal AI. Journal of Cross-disciplinary Research in Computational Law, 2021. Vol. 1. No. 1.
44 Gardner J. The Mark of Responsibility. Oxford Journal of Legal Studies, 2003. Vol. 23. См. также приведенное выше обсуждение изложения Уолдроном концепции права.
45 Holmes O. W. Supra note. 21.
46 MacCormick N. Institutions of Law: An Essay in Legal Theory. New York: Oxford University Press, 2007. Chs. 1-3.
47 Hildebrandt M. Smart Technologies. Supra note 11. P. 53-54.
48 Керр предупреждает о «потенциально глубоких системных проблемах, которые обязательно возникнут, если мы откажемся от системы правосудия в пользу эффективных актуарных моделей». Керр говорит здесь о прогнозировании поведения граждан, а не о поведении судов, но в более общем плане он предупреждает о последствиях применения технологий прогнозирования. Керр утверждает, что использование прогнозных технологий ведет к созданию общества, организованного вокруг риска. См. Kerr I. Supra note 6. P. 26.
49 Hildebrandt M. Smart Technologies. Supra note 11. P. 53-54.
вывод, предлагаемый машиной, в качестве центрального постулата своей аргументации, то он также принимает такой вывод или вычислительное «показание» в качестве исходного, определяющего развитие права, которое поручено строить юристам.
Вопрос в том, к чему это приведет, если юрист будет считаться простым пользователем таких систем, который берет результат, выдаваемый программой, как есть и импортирует его в юридический процесс, полагаясь на него как на требование права или как наилучшее отражение права. Может ли такой «перевод» статистического прогноза в институциональный мир права, выполненный юристом и возможный благодаря его статусу юриста, сделать этот результат институционально обоснованным, даже если юрист в этом случае не полностью понимает статистические механизмы, лежащие в основе создания этого результата?
Необходимость «безубыточного» права
Результаты применения юридических технологий могут получить своего рода легитимность благодаря тому, что юридическое сообщество считает их действительными. Таким образом, выводы, сделанные машиной, попадут в корпус юридического текста либо напрямую (как в случае с автоматически сгенерированными ходатайствами, аргументами или процессуальными документами), либо косвенно, предлагая источники или аргументы, на которые участники процесса будут полагаться в отдельных судебных разбирательствах. Этот процесс будет постепенно меняться, поскольку все больше юристов полагаются на эти системы, и поэтому выводы, сделанные такими технологиями, начинают отражаться в своде юридических текстов посредством их использования в судебных процессах50. Это может привести к возникновению петли обратной связи, в которой результаты, продвигаемые статистикой, могут получить дополнительное признание независимо от их юридической значимости, причем эффект увеличивается в течение нескольких циклов. Такое признание будет определяться исключительно на основе статистических показателей релевантности, сходства или эффективности51. Последнее обстоятельство относится и к юридическому поиску, где конкретным делам может отдаваться приоритет из-за их соответствия статистической модели52, и к системам, генерирующим предлагаемые тексты, которые в конечном итоге закрепляются в виде документов, связанных с делом (например, в судебных дайджестах, публикуемых в США)53.
В этом процессе можно представить условную точку бифуркации, в которой юристы начинают подгонять свою реальную практику под выводы, предлагаемые машиной54 (вспомните вышеприведенное обсуждение роботомор-физма), при этом интерпретационные возможности человека начинают сужаться55. В этот момент практика и машинные рекомендации начинают сближаться, причем последние искажают первое в соответствии с тем, что является статистически оптимальным56, а не в соответствии с каким-либо другим определяющим нормативным показателем57.
Результаты основанного на статистике юридического поиска или системы написания ходатайств обязательно будут заключать в себе применение определенной технологической абстракции, отбора или опоры на лингвистические «данные» до того, как право посредством юристов сможет позволить создать институты, не обремененные такими технологическими ограничениями. Результаты поиска или предлагаемый машиной текст ранжируются в соответствии с метрикой эффективности, заложенной в систему, а не в соответствии с каким-либо нормативным понятием юридической значимости. Право, таким образом, в некоторой степени уходит в сторону, если технический посредник уже сфор-
50 Данные эмпирического исследования, демонстрирующего различия в результатах поисковых систем между разными поставщиками юридических услуг (Casetext, Fastcase, Google Scholar, Lexis Advance, Ravel и Westlaw). См. Mart S. N. The Algorithm as a Human Artifact: Implications for Legal {Re}Search. Law Library Journal, 2017. No. 109. P. 387.
51 О фундаментальном различии человеческой и статистической «истины» см. McQuillanD. Data Science as Machinic Neoplatonism. Philosophy & Technology, 2018. No. 31. P. 253.
52 Обсуждение аналогичного эффекта в результатах, предоставленных Google Scholar, см. Rovira C., Codina L., Lopezosa C. Language Bias in the Google Scholar Ranking Algorithm. Future Internet, 2021. Vol. 13. No. 2. P. 31.
53 Верховный суд Соединенных Штатов составил руководство, как получить доступ к дайджестам Верховного суда. См. Where to Find Briefs. Supreme Court of the United States. URL: https://www.supremecourt.gov/meritsbriefs/briefsource.aspx (дата обращения: 1.11.2021). Функция системы Casetext «составить» (compose) позволяет автоматически сформировать дайджесты. См. Cheek E. Which Types of Briefs Can You Draft Using Compose? URL: https://help.casetext.com/en/articles/4044930-which-types-of-briefs-can-you-draft-using-compose (дата обращения: 1.11.2021).
54 Как отмечают Ровира и др., ученые могут быть вынуждены выполнять «академическую оптимизацию в поисковых системах», чтобы их работа была видна в поисковых рейтингах Google Scholar. См. Rovira C., Codina L., Lopezosa C., supra note 52.
55 Diver L. Normative Shortcuts and the Hermeneutic Singularity. URL: https://www.cohubicol.com/blog/normative-shortcuts-and-the-hermeneutic-singularity (дата обращения: 1.11.2021). См. также Cobbe J. Legal Singularity and the Reflexivity of Law. In S. Deakin and Ch. Markou (eds). Is Law Computable? Critical Perspectives on Law and Artificial Intelligence, 2020. P. 107.
56 Здесь полезно напомнить каноническое определение машинного обучения Митчелла: «Говорят, что компьютерная программа учится на опыте E в отношении некоторого класса задач T и измеряет производительность P, если ее производительность при выполнении задач в T, измеряемая P, улучшается с опытом E». См. Mitchell T. M. Machine Learning. New York: McGraw-Hill, 1997. P. 2.
57 Обсуждение силы манипулятивного воздействия оптимизации в контексте приложений для здоровья см. Sax M. Optimization of What? For-Profit Health Apps as Manipulative Digital Environments. Ethics and Information Technology, 2021. Vol. 23. No. 3. («Можно было бы ожидать, что приложения для здоровья нацелены на улучшение здоровья своих пользователей, но на самом деле необходимость монетизации пользовательской базы приводит к тому, что коммерческие приложения для здоровья в первую очередь нацелены на повышение эффективности взаимодействия с пользователями и, по сути, на изменение убеждений пользователей» (стр. 2, выделено авторами, ссылки опущены)).
мировал материалы практики еще до того, как у юриста появилась возможность сделать первый шаг по приведению текста или других доказательств в форму, поддающуюся юридической аргументации58. Выводы, полученные из данных, и даже оформление юридического текста как «данных» в первую очередь означают, что вместо «сырых текстов» закона, являющихся основой юридической практики, используется технологически и статистически их опосредованное представление, то есть потенциальный эффект опосредования юридического текста как данных юридическими технологиями. Вместо того чтобы иметь дело непосредственно с законом «без потерь», то есть с не обработанными машиной текстами, мы вместо этого работаем с законом «с потерями», его «сжатой» версией, полученной из оригинала, которая может выглядеть и восприниматься так же, но через интерполяцию формы управления данными, что неизбежно преломляет первоначальное значение закона, и это происходит таким образом, что юрист может и не подозревать об этих искажениях59. В других контекстах это может не иметь значения (мы склонны не слишком беспокоиться о несовершенных результатах поиска в Интернете, например60), но в отношении права эти статистически опосредованные представления могут фактически стать содержанием закона, если этим результатам безусловно доверять61.
Детерминизм дизайна алгоритма и интерфейса программы
Существует два взгляда на проблему сверхдетерминированности юридической практики62. Во-первых, это проблема своего рода технологического детерминизма: юрист фактически становится оператором или «пользователем» машины, создавая мост между ее выводами (как в техническом смысле результатов машинного обучения, так и в смысле предсказания юридических результатов) и конкретным юридическим процессом, внедряя эти выводы в непосредственные процессуальные действия. Результаты применения юридических технологий становятся частью права, будь то результаты поиска, которые отдают предпочтение решению А перед решением Б63, или платформа аналитики прецедентного права, которая предсказывает успех конкретной словесной конструкции в ходатайстве, оба из которых работают только на основе статистических закономерностей, выявляемых из данных ранее рассмотренных дел. В крайнем случае мы можем изменить первоначальный прогноз Холмса: право становится «тем, что будут фактически делать юридические технологии, и ничем более»64.
Эта проблема может показаться надуманной, и мы на это надеемся. Но второй вопрос сверхдетерминированности юридической практики более тонкий и проблематичный, с точки зрения демократии. В ракурсе этой проблемы результаты вычислений не определяют напрямую то, что адвокат утверждает в суде, а слегка сдвигают фокус внимания в ту или иную сторону, используя рефлексивные эффекты, которые поначалу может быть трудно обнаружить. Рассматриваемые последствия не являются случаями «технологического управления»65, когда очевидная ограниченность широты действий привлекает более пристальное внимание из-за явной возможности злоупотребления их нормативной силой. Общество справедливо обеспокоено автоматизированными системами принятия решений, которые навязывают определенные нежелательные или неприемлемые предубеждения, особенно в отношении расы, пола, сексуальной ориентации и социально-экономического статуса, и тщательное изучение таких систем приветствуется для выявления неравенства, которому они способствуют. Но виды предубеждений, которые нас здесь интересуют, не столь очевидны, учитывая, что они не обязательно отражают существующее общественное предубеждение, которое можно выявить. Именно из-за отсутствия немедленных сигналов последствия применения таких технологий потенциально более проблематичны с точки зрения правовой теории, поскольку никакого инстинктивного отвращения к нелегитимности технологического управления в этом случае не возникает. Рефлексивные эффекты определенных категорий юридических технологий достаточно тонкие, чтобы они, вероятно, медленно накапливались с течением времени, сдвигая фокус юридической практики способами, которые могут быть незаметны в текущий момент времени.
58 См. DijkN. van. Supra note 17. P. 162. Обсуждение того, как юристы переводят «целый ряд разнородных явлений» в мир права, наделяя их способностью «говорить на юридическом языке».
59 Здесь уместна аналогия с форматами изображений и аудио без потерь и с потерями, такими как PNG и JPEG, а также FLAC и MP3 соответственно, где данные могут исключаться и/или сжимаются для получения версии, которая «достаточно хороша» для своей целевой аудитории, с точки зрения компромисса — разницы между качеством и размером файла.
60 Но посмотрите обсуждение результатов исследования Google Scholar в работе Rovira C., Codina L., Lopezosa C., supra note 52.
61 Кабитца называет искажающий эффект вычислительного фрейминга в медицинской области «эмпирической анопсией», которая «возникает, когда отсутствует осознание существенной произвольности аспектов, которые любая структура данных отображает в реальном и непрерывном объекте, а также тех элементов этого объекта, которые она усиливает, скрывает или, что еще хуже (обязательно), искажает». См. Cabitza F. Supra note 30, p. 6.
62 См. HildebrandtM. Privacy as Protection of the Incomputable Self: From Agnostic to Agonistic Machine Learning. Theoretical Inquiries In Law, 2019. No. 20. Обсуждение роли законодательства о защите данных в области защиты от архитектур выбора, которые уменьшают свободу действий субъектов данных.
63 Исследование С. Н. Март показывает, что разные алгоритмы поиска дают очень разные результаты. См. Mart S. N., supra note 51 (сравнение десяти результатов поиска с самым высоким рейтингом, полученных Casetext, Fastcase, Google Scholar, Lexis Advance, Ravel и Westlaw по одному и тому же поисковому запросу).
64 См. Holmes O. W, supra note 21, p. 461.
65 Brownsword R. Technological Management and the Rule of Law. Law, Innovation and Technology, 2016. Vol. 8. P. 100. См. также DiverL. Digisprudence: Code as Law Rebooted. Edinburgh: Edinburgh University Press, 2022.
В статистических юридических технических системах рассматриваемые эффекты работают на более низком уровне, затрагивая только условия возможности построения аргументации и принятия решений. Технологическая нормативность статистических результатов и того, как интерфейс программы представляет их юристу, выражается в определенном взгляде на закон, который определяется структурой этой системы. В той мере, в какой результат считается «лучшим», требование правовой аргументации позиции посредством интерпретации юридических текстов юристом смягчается, а вместе с этим и теряется значение конкуренции видений сторон, которая реализуется через возможность институционального спора в ходе судебного процесса66. В самом крайнем случае машинный вывод, основанный на шаблонах, становится аргументом без дальнейших церемоний — юрист просто представляет аргумент, который, по мнению машины, будет наиболее эффективным. Интерфейс системы — ее особая структура и способы представления статистического результата — становится, благодаря внедрению юристом его в юридический процесс, по сути, представлением содержания закона, особенно если оно в таком виде принимается судом.
Применение юридических технологий, которые позиционируются как особенно эффективные или точные, с большей вероятностью будет иметь такой эффект. В данном случае мы сталкиваемся не с технологическим детерминизмом, а с направляющими эффектами технологической нормативности, когда особенности дизайна системы, допускающие и ограничивающие какие-либо действия, оказывают направляющее воздействие на развитие права посредством последовательно предлагаемой выборки данных, которые сами в то же время становятся строительным материалом основного корпуса юридических текстов.
Естественный язык всегда и обязательно требовал интерпретационной работы67, заставляя юриста строить обоснованную аргументацию при разработке той интерпретации, которая защищает интересы клиента и поддерживает справедливость. Нормативный эффект применения юридического технического интерфейса, который дает быстрые ответы без изучения текста, необходимого для формирования истинного правового обоснования, потенциально сглаживает эту конститутивную практику интерпретации. Статистическое предсказание упрощает то, что естественный язык раньше считал (продуктивно) трудным.
Достаточно ли мы бдительны?
Выше мы отмечали, что юристы несут профессиональные обязанности перед своими клиентами и судами. Уважение к суду требует, чтобы адвокаты были знакомы с фактами дела и соответствующим законом68. Если бы юрист полагался исключительно на результаты применения юридических технологий, он мог бы нарушить свои профессиональные обязательства и обязанности перед судом. Коммерческие соображения также могут иметь значение в этом вопросе. Юристы при оказании услуг, как правило, стараются включать в заключаемые с клиентами договоры соответствующие заявления об отказе от ответственности. Условия использования Jus Mundi, например, демонстрируют пристальное внимание как к ограничениям предлагаемых услуг юристами, так и к обязанностям юристов69. Установление таких ограничений может препятствовать возникновению полной зависимости от результатов применения юридических технологий. Однако, как отмечалось выше, по всей вероятности, реальный риск заключается не столько в абсолютном принятии человеком эффективности предлагаемых машиной решений, сколько в тонкой перестройке при использовании технологий процесса правовой аргументации и выработке стратегии адвоката. Можно ли предотвратить или противодействовать этому эффекту? Можем ли мы положиться на бдительность юристов, чтобы предотвратить риски?
Неочевидно, что можем. Правда, юрист может долго и упорно сопротивляться воздействию маркетинговых стратегий производителей юридических технологий70. В то же время лучшие поставщики юридических услуг демонстрируют открытость в отношении критериев отбора, встроенного в архитектуру их систем71, — в этих случаях юрист может узнать о том, какой выбор был сделан системой, даже если он не полностью понимает последствия
66 Esposito E., supra note 43.
67 См. GadamerH.-G., supra note 42.
68 См., например, BellR., Abela C. A Lawyer's Duty to the Court. Proceedings of a Symposium on Professionalism, 2012. URL: http:// advokat-id.ru/wp-content/uploads/2018/06/11024_10167_CEA-A-Lawyers-Duty-to-the-Court.pdf (дата обращения: 1.11.2021).
69 «Вы несете единоличную ответственность за консультации, выбор, использование и интерпретацию документации, предоставленной Jus Mundi через веб-сайт, а также за ваши действия и советы, предоставленные в контексте вашей профессиональной практики. Вы признаете, что услуги предлагают вам дополнительное решение, но не альтернативу средствам, которые вы уже используете, и что услуги не заменяют их». См. General Terms of Use. Jus Mundi. URL: https://jusmundi.com/en/terms-of-use (дата обращения: 1.11.2021).
70 О'Грейди с удивлением отмечает, что читатели ее блога, похоже, не были особенно «поражены» функциями поиска на базе искусственного интеллекта Westlaw Edge. См. O'Grady J. Hits and Misses Part 4: Westlaw Edge — Hit, Miss or Hold Off? Customers Respond — Show Me the ROI! URL: https://www.deweybstrategic.com/2019/05/hits-and-misses-part-4-westlaw-edge-hit-miss-or-hold-off-customers-respond-show-me-the-roi.html (дата обращения: 1.11.2021).
71 Например, Casetext предоставляет доступный отчет о том, как они пытаются улучшить свои критерии поиска в части релевантности. См. Search Results Evaluation Efforts at Casetext. URL: https://casetext.com/blog/search-results-evaluation-efforts-at-casetext/ (дата обращения: 1.11.2021).
этого выбора. Возможно, стоит дополнить программы юридического образования таким образом, чтобы информировать будущих юристов о вариантах дизайна, а также о возможностях и ограничениях юридических технологий. Однако остается неясным, достаточны ли будут эти меры для того, чтобы применяемые юридические технологии с присущими им возможностями и ограничениями не влияли на формирование как содержания, так и структуры права. Теоретически снизить этот риск можно, используя юридические технологии только параллельно с традиционными методами. Например, юристы могут дополнять свою работу использованием поисковых систем на таких платформах, как Westlaw или Lexis Nexis, исследованиями с использованием других ресурсов: коммерческих поисковых систем, специализированных публикаций или блогов и, конечно же, собственных знаний в предметной области. Но это именно то, в чем, как утверждают разработчики юридических технологий, больше нет необходимости.
На практике трудно понять, в какой степени результаты применения юридической технологии формируют оценку юристом закона и стратегию, которая будет принята в конкретном случае. В момент взаимодействия можно утверждать, что неотъемлемого присутствия «человека в технологической среде» достаточно, чтобы смягчить эффект применения любых, особенно нестандартных, выходных данных, полученных с использованием технологии. Такой способ снижения риска применения юридических технологий обычно используется в отношении автоматизированных систем принятия решений, которые имеют юридические последствия72. Но наличие «юриста в технологической среде» не очень помогает при применении многих юридических технических приложений, таких как системы юридического поиска и обеспечения разработки стратегии, которые мы обсуждали, в тех случаях, когда эффект от применения прогноза, выдаваемого программой, в момент его составления не влечет за собой каких-либо прямых изменений в правоприменении. Кроме того, в принципе у юриста есть возможность игнорировать предлагаемый машиной результат. При этом возлагать на него ответственность за неприменение системы значило бы игнорировать проблемы технологической нормативности, описанные выше. Условно контроль за «человеком в технологической среде» в таком случае будет выполнять как раз тот человек, который подвергается обсуждаемым нами нормативным воздействиям в результате применения технологий.
Заключение
Результат, основанный на технологических данных, привлекателен по многим причинам: снижение затрат, большая скорость обработки и большая пропускная способность в системе правосудия. Но это обманчивая привлекательность, которая легко может отвлечь нас от необходимости защищать сохранение процесса лингвистического творчества, составляющего основу юридической аргументации и облегчающего коммуникацию, которая является предварительным условием приемлемости закона в обществе.
Наша интуиция подсказывает, что что-то в процессе аргументации изменяется или теряется из-за интерполяции машинного вывода в объяснение клиентом своей позиции и выражение этой позиции адвокатом в суде. В конце концов юридическая технология, формирующая проекты документов, действует либо на основе закодированных правил, либо на основе статистического анализа. Она не слушает клиента и не имеет никакого (семантического/ нормативного) понимания закона73. Точно так же, хотя и менее непосредственно, лучшие на сегодня системы юридического поиска также влияют на представление правовой позиции стороной в судебном процессе, предоставляя материалы для подготовки аргументации в соответствии с исключительно статистическим понятием релевантности информации. В случаях применения обоих этих подходов к организации работы технологии возникает проблема соответствия результатов более широкому нормативному и историческому контексту правопорядка.
Можно возразить, что это не имеет значения, поскольку юридическая технология — это всего лишь подспорье, инструмент, который помогает, но не заменяет юриста. Мы не думаем, что этот аргумент выдерживает критику. Часто говорят: «Мы формируем наши инструменты, а затем наши инструменты формируют нас»74. Мы полагаем, что использование этих систем заставляет нас думать, что они работают лучше людей. Тем не менее без возможности выслушать клиента или усвоить смысл правовых норм и принципов способности «интеллекта», который такая система использует для решения поставленных задач, ограничены. Его оценка того, похож ли один случай на другой, может быть основана только на заданных правилах или на более или менее сложном процессе сопоставления с образцом. Технология не может оценить, схожи ли дела по аналогии, поставлен ли на карту общий (а не специфичный для предметной области) принцип или можно ли достигнуть справедливого решения в конкретном деле на основе аргумента, который с точки зрения существующего прецедентного права может быть нетипичным или безнадежным.
72 См.: ст. 22 Регламента ЕС о защите данных (GDPR).
73 Результаты работы технологии нельзя сравнить с результатами работы неопытного или младшего юриста. Младший юрист может совершать ошибки, но он обладает как способностью слушать, так и чувством справедливости или беспристрастности, которых не хватает машине.
74 Этот афоризм очень часто приписывают Маршаллу Маклюэну (Marshall McLuhan), см. также Kuskis A. We Shape Our Tools and Thereafter Our Tools Shape Us. URL: https://mcluhangalaxy.wordpress.com/2013/04/01/we-shape-our-tools-and-thereafter-our-tools-shape-us/ (дата обращения: 31.10.2021) (предположение, что цитата принадлежит Джону Калкину (John Culkin), другу Маклюэна).
Сочетание перспективности использования этих систем (которые, в конце концов, продаются на том основании, что они обеспечивают «лучшее качество») и существующих ограничений в части результатов, которые они предоставляют, может фактически означать, что «третий голос» — не клиента и не закона — вводится в процесс аргументации. Мы считаем, что это приводит к возникновению проблем и может иметь далеко идущие последствия не только для определенного судебного спора, но и, что более важно, для нормативной структуры права в целом. Обязанность доказать обратное лежит на юристах и производителях юридических технологий. Закон — это не только правила и статистика. Юристов не следует убеждать в том, что стоит по-другому воспринимать закон и право. Люди должны быть способны отстаивать свое мнение и иметь возможность добиваться изменения закона. «Сущностные» аспекты юридической аргументации требуют, чтобы юристы обладали свободой применения таких возможностей.
Литература / References
1. Bankowski, Z. Don't Think About It Legalism and Legality. In M. M. Karlsson, O. Pall Jonsson and E. M. Brynjarsdottir (eds), Rechtstheorie: Zeitschrift für Logik, Methodenlehre, Kybernetik und Soziologie des Rechts. Berlin: Duncker & Humblot, 1993.
2. Bell, R., Abela, C. A Lawyer's Duty to the Court. Proceedings of a Symposium on Professionalism, 2012. URL: http:// advokat-id.ru/wp-content/uploads/2018/06/11024_10167_CEA-A-Lawyers-Duty-to-the-Court.pdf (дата обращения: 1.11.2021).
3. Brownsword, R. Technological Management and the Rule of Law. Law, Innovation and Technology, 2016. Vol. 8. P. 100.
4. Cabitza, F. Breeding Electric Zebras in the Fields of Medicine [Electronic resource]. URL: https://arxiv.org/ abs/1701.04077 (дата обращения: 22.08.2022).
5. Chalkidis, I. [et al.]. LEGAL-BERT: The Muppets Straight out of Law School. Findings of the Association for Computational Linguistics: EMNLP 2020 (Online: Association for Computational Linguistics, 2020). URL: https://aclanthology. org/2020.findings-emnlp.261 (дата обращения: 31.10.2021).
6. Cheek, E. Which Types of Briefs Can You Draft Using Compose? URL: https://help.casetext.com/en/articles/4044930-which-types-of-briefs-can-you-draft-using-compose (дата обращения: 1.11.2021).
7. Cobbe, J. Legal Singularity and the Reflexivity of Law. In S. Deakin and Ch. Markou (eds). Is Law Computable? Critical Perspectives on Law and Artificial Intelligence, 2020.
8. Diver, L. Normative Shortcuts and the Hermeneutic Singularity. URL: https://www.cohubicol.com/blog/normative-shortcuts-and-the-hermeneutic-singularity (дата обращения: 1.11.2021).
9. Diver, L. Digisprudence: Code as Law Rebooted. Edinburgh: Edinburgh University Press, 2022.
10. Dijk, N. van The Life and Deaths of a Dispute: An Inquiry into Matters of Law. In K. McGee (ed.). Latour and the Passage of Law. Edinburgh University Press, 2015.
11. Esposito, E. Transparency vs. Explanation: The Role of Ambiguity in Legal AI. Journal of Cross-disciplinary Research in Computational Law, 2021. Vol. 1. No. 1. P. 1-13.
12. Ethics in Law. Law Society of England and Wales [Electronic resource]. URL: https://www.lawsociety.org.uk/topics/ regulation/ethics-in-law (дата обращения: 1.1 1.2021).
13. Fish, S. Doing What Comes Naturally: Change, Rhetoric, and the Practice of Theory in Literary and Legal Studies. Durham: Duke University Press, 1989.
14. Gaakeer, J. Judging from Experience: Law, Praxis, Humanities. Edinburgh University Press, 2019.
15. Gadamer, H.-G. Truth and Method. Translation by J. Weinsheimer, D. G. Marshall. London: Bloomsbury, 2013.
16. Gardner, J. The Mark of Responsibility. Oxford Journal of Legal Studies, 2003. Vol. 23.
17. General Terms of Use. Jus Mundi. [Electronic resource]. URL: https://jusmundi.com/en/terms-of-use (дата обращения: 1.11.2021).
18. G'sell, F. Predicting Courts. Decisions Is Lawful in France and Will Remain So. URL: https://gsell.tech/en/predicting-courts-decisions-is-lawful-in-france-and-will-remain-so/ (дата обращения: 30.09.2021).
19. Harvey, D. J. Collisions in the Digital Paradigm: Law and Rule Making in the Digital Age. Bloomsbury, 2017.
20. Hildebrandt, M. Code-Driven Law: Freezing the Future and Scaling the Past. In S. F. Deakin, C. Markou (eds). Is Law Computable? Critical Perspectives on Law and Artificial Intelligence. Oxford, UK; New York, NY: Hart, 2020.
21. Hildebrandt, M. Law as Computation in the Era of Artificial Legal Intelligence: Speaking Law to the Power of Statistics. University of Toronto Law Journal, 2018. No. 68.
22. Hildebrandt, M. Legal and Technological Normativity: More (and Less) than Twin Sisters. Techne: Research in Philosophy and Technology, 2008. No. 12.
23. Hildebrandt, M. Privacy as Protection of the Incomputable Self: From Agnostic to Agonistic Machine Learning. Theoretical Inquiries in Law, 2019. No. 20.
24. Hildebrandt, M. Smart Technologies and the End(s) of Law: Novel Entanglements of Law and Technology. London: Edward Elgar Publishing, 2015.
25. Holmes, O. W. The Path of the Law. Harvard Law Review, 1897. No. 10.
26,
27,
28,
29,
30,
31
32,
33,
34,
35,
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
Ihde, D. Technology and the Lifeworld: From Garden to Earth. Indiana University Press, 1990.
Katz, D. M. Quantitative Legal Prediction — or — How I Learned to Stop Worrying and Start Preparing for the Data Driven
Future of the Legal Services Industry. Emory Law Journal. 2012. No. 62.
Kerr, I. Prediction, Pre-Emption, Presumption: The Path of Law After the Computational Turn. In M. Hildebrandt and K. De Vries (eds.), Privacy and Due Process After The Computational Turn: The Philosophy of Law Meets The Philosophy of Technology. London: Routledge, 2013.
Kranzberg, M. Technology and History: Kranzberg's Laws. Technology and Culture, 1986. No. 27.
Kuskis, A. We Shape Our Tools and Thereafter Our Tools Shape Us [Electronic resource]. URL: https://mcluhangalaxy.
wordpress.com/2013/04/01/we-shape-our-tools-and-thereafter-our-tools-shape-us/ (дата обращения:
31.10.2021).
Latour, B. Biography of an Inquiry: On a Book about Modes of Existence. Social Studies of Science, 2013. No. 43. Lawtech and Ethics Principles. Law Society of England and Wales, 2021 [Electronic resource]. URL: https://www. lawsociety.org.uk/topics/research/lawtech-and-ethics-principles-report-2021 (дата обращения: 31.10.2021). Lex Machina: Legal Analytics® for the Data-Driven Lawyer. Lex Machina [Electronic resource]. URL: https://lexmachina. com/wp-content/uploads/Legal-Analytics-for-Data-Driven-Lawyer.pdf (дата обращения: 31.10.2021). Livermore, M. A., Rockmore, D. N. (eds). Law as Data: Computation, Text, and the Future of Legal Analysis. Santa Fe: SFI Press, 2019.
MacCormick, N. Institutions of Law: An Essay in Legal Theory. New York: Oxford University Press, 2007. MacCormick, N. Rhetoric and the Rule of Law: A Theory of Legal Reasoning. Oxford; New York: Oxford University Press, 2005.
Mart, S. N. The Algorithm as a Human Artifact: Implications for Legal {Re}Search. Law Library Journal, 2017. No. 109.
Mason, S. Artificial Intelligence: Oh Really? And Why Judges and Lawyers Are Central to the Way We Live Now — but
They Don't Know It'. Computer and Telecommunications Law Review. Vol. 23. Issue 8. 2017. Р. 213-225.
McQuillan, D. Data Science as Machinic Neoplatonism. Philosophy & Technology, 2018. No. 31.
Meneceur, Y., Barbaro, C. Artificial Intelligence and the Judicial Memory: The Great Misunderstanding. Les Cahiers de
la Justice. No. 2019/2. Dalloz. June 2019. P. 277-289.
Mitchell, T. M. Machine Learning. New York: McGraw-Hill, 1997.
O'Grady, J. Hits and Misses Part 4: Westlaw Edge — Hit, Miss or Hold Off? Customers Respond — Show Me the ROI!
[Electronic resource]. URL: https://www.deweybstrategic.com/2019/05/hits-and-misses-part-4-westlaw-edge-hit-
miss-or-hold-off-customers-respond-show-me-the-roi.html (дата обращения: 1.11.2021).
Parallel Search (Casetext) [Electronic resource]. URL: https://casetext.com/parallel-search/ (дата обращения:
31.10.2021).
Paterson, A. Duties to the Court. Law, Practice & Conduct for Solicitors. 2nd edn., W Green/Thomson Reuters, 2014. Regulation and Compliance. Law Society of Scotland [Electronic resource]. URL: https://www.lawscot.org.uk/ members/regulation-and-compliance/ (дата обращения: 1.1 1.2021).
Rouvroy, A., Stiegler, B. The Digital Regime of Truth: From the Algorithmic Governmentality to a New Rule of Law. La Deleuziana: Online Journal of Philosophy, 2016. No. 3.
Rovira, C., Codina, L., Lopezosa, C. Language Bias in the Google Scholar Ranking Algorithm. Future Internet, 2021. No. 13.
Sax, M. Optimization of What? For-Profit Health Apps as Manipulative Digital Environments. Ethics and Information Technology. Available at SSRN: https://ssrn.com/abstract=3752597
Search Results Evaluation Efforts at Casetext [Electronic resource]. URL: https://casetext.com/blog/search-results-evaluation-efforts-at-casetext/ (дата обращения: 1.1 1.2021).
Smith, B. C. The Promise of Artificial Intelligence: Reckoning and Judgment. Cambridge, MA: The MIT Press, 2019. Strathern, M. Improving Ratings: Audit in the British University System. European review. 1997. No. 5. Sffitra, H. S. Robotomorphy. AI Ethics, 2022. No. 2. P. 5-13. https://doi.org/10.1007/s43681-021-00092-x. THE FUTURE OF LAW Judge Analytics: Predicting The Behavior of the Courtroom's Boss. Lex Machina [Electronic resource]. URL: https://pages.lexmachina.com/Website_-Future-of-Law-Webcast_The-Future-of-Law-3.html (дата обращения: 31.10.2021).
Volokh, E. Chief Justice Robots. Duke Law Journal, 2018. No. 68.
Waddington, M. Research Note. Rules as Code. Law in Context. A Socio-legal Journal, 2020. No. 37. Waldron, J. The Rule of Law and the Importance of Procedure. Nomos, 2011. No. 50.
Where to Find Briefs. Supreme Court of the United States. [Electronic resource]. URL: https://www.supremecourt.gov/ meritsbriefs/briefsource.aspx (дата обращения: 1.1 1.2021). Winner, L. Do Artifacts Have Politics? Daedalus, 1980.
