АЛГОРИТМИЗИРОВАННОЕ ПРИНЯТИЕ РЕШЕНИЯ И ПРАВО НА ЕГО ИНТЕРПРЕТАЦИЮ Текст научной статьи по специальности «Право»

УДК 340

DOI: 10.31249/rgpravo/2021.01.05

АЛФЕРОВА Е В.1 АЛГОРИТМИЗИРОВАННОЕ ПРИНЯТИЕ РЕШЕНИЯ И ПРАВО НА ЕГО ИНТЕРПРЕТАЦИЮ. (Обзор).

Аннотация. Рассматриваются проблемы законности и прозрачности принятия решений с использованием искусственного интеллекта, реализации права на их интерпретацию и оспаривание в судах. Анализируется законодательство Евросоюза и ряда развитых стран, допускающее принятие алгоритмизированных решений и предусматривающее надлежащие меры по защите прав, свобод и законных интересов субъекта данных.

Ключевые слова: правовое регулирование; искусственный интеллект; государственные функции; алгоритмизация принятия решения; интерпретация решений.

ALFEROVA E.V. Algorithmized decision-making and the right to interpret it. (Review).

Abstract. The problems of legality and transparency of decisions made using artificial intelligence, the implementation of the right to interpret them and challenge them in courts are considered. The article analyzes the legislation of the European Union and a number of developed countries that allows for the adoption of algorithmic decisions and provides for appropriate measures to protect the rights, freedoms and legitimate interests of the data subject.

Keywords: legal regulation; artificial intelligence; state functions; algorithmization of decision-making; interpretation of decisions.

1 Е.В. Алферова, ведущий научный сотрудник, заведующая Отделом правоведения ИНИОН РАН, канд. юрид. наук.

49

Сложные алгоритмы и инструменты ИИ используются сегодня для автоматизации процесса принятия решений и оказывают значительное влияние на права и обязанности отдельных лиц. В связи с этим возникают вопросы, связанные с непрозрачным характером таких решений, возможностью появления непрогнозируемых правовых, социальных и этических последствий: бесконтрольная передача принятия этих решений машинам может подорвать права человека и верховенство закона.

Исследователи пытаются найти ответы на вопросы: как разрабатываются алгоритмы и на каких данных они основаны? Какова их роль в различных механизмах принятия решений государственными и частными субъектами для осуществления определенных экономических и политических полномочий, а также для формирования и изменения индивидуальных прав и обязанностей? Как обеспечить подотчетность инструментов ИИ в государственных (а в некоторых случаях и частных) процессах принятия решений? Какие изменения надо внести в правовую систему, какие нормативные правовые акты принять в целях функционирования безопасного и действенного ИИ? Многие из этих вопросов требуют продолжения дискуссий, основанных на технологическом опыте, политических, экономических, правовых и этических соображениях.

Автоматизированное принятие решения может быть определено как принятие решения без вмешательства человека. Согласно Общему регламенту Европейского союза по защите данных 2018 г. (General Data Protection Regulation) (далее - GDPR), «автоматизированное индивидуальное решение - это решение, основанное исключительно на автоматизированной обработке» (цит. по: 1, р. 9293; 2, р. 194). Однако на практике степень автоматизации варьируется от полностью автоматизированных решений до полуавтоматических решений, которые предполагают различную степень и формы человеческого вмешательства и надзора.

Органы государственной власти и предприятия во всем мире полагаются на алгоритмизированные решения, способные сделать этот процесс более эффективным и последовательным, по масштабам и затратам несравнимым с процессом принятия решений человеком. Решения, которые исторически принимались людьми, такие как право на получение социальной выплаты, право на получение банковского кредита или оценка кредита по подоходному налогу,

в настоящее время все более автоматизируются. Однако, поскольку внутренняя логика и техническая сложность автоматизированных систем принятия решений часто непрозрачна и недоступна общественности, заинтересованным лицам обычно не предоставляется объяснения обоснования принятия решения. В связи с этим возникла проблема закрепления в законодательстве права на интерпретацию алгоритмизированных решений и их оспаривание в случае, если они нарушают неприкосновенность частной жизни и достоинство человека.

Как показывает анализ, автоматизированные системы принятия решений вызывают озабоченность общественности по поводу отсутствия прозрачности и потери индивидуального контроля, а также угрозы достоинству личности, поскольку эти системы оценивают отдельных людей, не раскрывая обоснования таких решений. Принцип достоинства личности требует, чтобы люди понимали и знали, что лежит в основе принятия конкретных решений, принятых с использованием ИИ. «Если им отказывают в понимании того, как принимаются решения о них, они теряют это чувство собственного достоинства, и со временем легитимность автоматизированной системы принятия решений будет поставлена под сомнение», - считают Дж. Гакутан и Н. Сельвадурай [2, р. 194-195].

Законность решений, принимаемых с использованием искусственного интеллекта, является сегодня предметом рассмотрения дел в судах. Например, школьный округ Хьюстона (США) использовал программное обеспечение искусственного интеллекта для оценки эффективности работы и влияния учителей на своих учеников. Результаты работы программного обеспечения ИИ были затем использованы для обоснования увольнения учителей, признанных программным обеспечением «плохими исполнителями». Суд постановил, что процессуальные права учителей были нарушены, поскольку алгоритмические решения не могли быть эффективно изучены и оспорены учителями [Ibid.].

Предоставление права на прозрачность решений ИИ, в том числе права на их разъяснение, связано с принципом эффективного контроля над процессом автоматизированного принятия решений. Этот вопрос широко рассматривается и в юридической, и в кибернетической научной литературе. Доминирующее положение в юридической литературе занимает требование прозрачности че-

рез объяснения того, что индивид, подвергшийся негативному воздействию автоматизированного решения, имеет право понять, почему такое решение принято. В научных кругах зарождается дискуссия о том, как должна работать на практике интерпретация алгоритмических решений. Консенсус в юридической литературе относительно того, какой уровень прозрачности необходим, до сих пор не достигнут.

Как же определить соответствующий требуемый уровень прозрачности принятия решения и контроля? С точки зрения исследователей, если будет признано, что право на разъяснение необходимо для решения проблем отсутствия прозрачности и должного контроля, возникающих в связи с автоматизированными системами принятия решений, то следующим шагом будет рассмотрение характера и сферы действия такого права. Должно ли такое право быть сформулировано таким образом, чтобы обеспечить полную прозрачность автоматизированных систем принятия решений, или же оно должно быть каким-то образом ограничено? В какой степени контрфактические объяснения могут решить проблемы, поднятые коммерческими организациями в связи с раскрытием их собственных алгоритмов? Дж. Гакутан и Н. Сельвадурай критически оценивают положение о том, что полная прозрачность является необходимым условием эффективного регулирования автоматизированных систем принятия решений. По их мнению, полная прозрачность принятия таких решений не нужна из-за присущих человеку ограничений истинного понимания работы алгоритмов машинного обучения, используемых системами принятия решений. Если право на разъяснение требует полной прозрачности, то это накладывает на субъекты обременительные и непрактичные обязательства интерпретировать и объяснять автоматизированные решения, включающие сложные алгоритмы машинного обучения для каждого отдельного случая. Люди, не обладающие необходимыми техническими знаниями, не смогут извлечь из такого раскрытия содержательное и понятное им объяснение, им потребуется технический эксперт или программист. В отличие от разъяснения решений, принятых с использованием ИИ, предполагающего попытку изложить логику алгоритмов, контрфактические объяснения решений, по мнению указанных авторов, позволяют понять, какие обстоятельства необходимо изменить для достиже-

ния более желательного решения. Если, например, заявка какого-либо лица на получение кредита была отклонена автоматизированной системой, то контрфактическое объяснение предложило бы этому лицу оценку минимального изменения, необходимого для того, чтобы заявка была успешной [2, р. 197-201].

В этом контексте Дж. Гакутан и Н. Сельвадурай предлагают следующий трехэтапный порядок, полезный для принятия правовых мер реагирования на технологические изменения. Первый этап основан на междисциплинарном подходе и обычно включает в себя поиск и понимание различных взаимосвязанных законодательных правил, интегрирующих технические знания, полученные за пределами области права. Второй - изучение вопроса о том, могут ли и в какой степени эти выявленные существующие законы и нормы права применяться к технологическому нарушению. Речь идет о толковании законов, учитывающем природу и цель законов, их предполагаемую сферу действия. Если существующие законы не могут быть эффективно применены для регулирования новой технологии, то третий этап заключается в создании новой правовой базы. При разработке таких законов важно принять нейтральные с точки зрения юридической техники принципы регулирования технологических новаций, чтобы поддержать долговечность новых законов. Такой подход обеспечит гибкость закона и его адаптацию к будущей технологической эволюции.

Применяя вышеприведенный подход к случаю автоматизированного принятия решений, Дж. Гакутан и Н. Сельвадурай рассматривают существующие австралийские законы о конфиденциальности и административные законы, чтобы определить, предоставляют ли эти законы право на разъяснение автоматизированных решений. Анализ этого законодательства показал, что, хотя целый ряд австралийских законов допускает принятие решений с помощью компьютера, но ни один из них не дает права на интерпретацию автоматизированных или полуавтоматических решений. В связи с этим авторы попытались изучить дискурс о правовой реформе в этой стране для защиты законных интересов лиц, затронутых автоматизированными решениями, а также функционирование Общего регламента Европейского союза по защите данных 2018 г. (GDPR), чтобы определить, требуется ли дальнейшая реформа в этой области в Австралии.

Право на разъяснение, предусмотренное GDPR (право физического лица искать «значимую информацию» о «логике» принятия решения и обстоятельствах, в которых оно было принято), возникает при следующих условиях: 1) решение было принято исключительно на основе автоматизированной обработки данных; 2) оно имело юридические последствия в отношении данного лица; 3) эти последствия были значительными. Если эти три критерия установлены, организация обязана предоставить «содержательную информацию о логике, задействованной» в принятии решения. Таким образом, формулировка права на разъяснение в GDPR может стать полезным образцом для реформы в области автоматизированных решений.

В случае недостатка прозрачности в автоматизированных решениях право на объяснение имеет решающее значение для реализации права индивида оспаривать затрагивающие его решения. Следствием этого является то, что отсутствие такого права в эпоху ИИ существенно подрывает эффективность права на пересмотр или оспаривание решений [2, р. 215-216].

Следует заметить, что правовые акты Евросоюза являются «пионерами» в создании четких правовых и этических руководящих принципов для искусственного интеллекта. Положения GDPR и Директивы 2016/680 Европейского парламента и Совета ЕС «О защите физических лиц в отношении обработки персональных данных компетентными органами в целях предотвращения, расследования уголовных преступлений, ведения розыскных или судебных действий, или исполнения уголовных наказаний, а также за свободное перемещение таких данных и отменяя Рамочное решение Совета 2008/977/ JHA» (далее - Директива о защите данных в уголовных делах) изучаются и упоминаются учеными-юристами во многих публикациях, касающихся искусственного интеллекта. Однако остается еще много вопросов в этой области и на них пока нет ответа. Например, европейские компании экспоненциально используют большие данные и ИИ в своих бизнес-моделях, однако этот подход не только должен быть встроен в четкую и лаконичную правовую базу ЕС, обеспечивающую конфиденциальность, прозрачность и подотчетность, но и должен соответствовать этическим нормам. Широкое использование интеллектуального анализа больших данных и агентов ИИ возможно только в том случае,

если пользователи доверяют этим агентам. Это, в свою очередь, связано с юридическими, технологическими, экономическими и этическими требованиями [1, p. 110].

Общий регламент Европейского союза по защите данных (GDPR) в ст. 22 (2) и Директива о защите данных в уголовных делах в ст. 11 разрешают только определенные виды алгоритмизированных решений. Первая категория таких решений, санкционированных GDPR, - те, которые «необходимы» для заключения или выполнения контракта между субъектом данных и контролером данных. В зависимости от того, к чему относится критерий необходимости, это положение может иметь различные толкования. Если смысл этого положения будет построен на основе очень строгой текстуальной интерпретации, то сомнительно, что оно когда-либо откроет дверь для алгоритмизированных решений. Например, можно утверждать, что заключение договора страхования или кредитного договора, безусловно, требует оценки риска, но обязательно ли этот риск должен оцениваться автоматизированными средствами? Поэтому представляется, что требование «необходимости» следует понимать, скорее, как «разрешительное» требование для заключения договора. Например, если алгоритмизированные оценка кредитного риска позволяет заключить договор, на основании которого субъект данных получает кредитную карту, то такая ситуация подпадает под исключение из п. 2 а ст. 22 [Ibid.].

Вторая категория - алгоритмизированные решения и профилирование допускаются, если они разрешены законодательством ЕС или государства-члена, обеспечивающим достаточные гарантии защиты прав, свобод и законных интересов субъекта данных. Однако исследования показали, что в действующем законодательстве ЕС нет ни одного положения, которое прямо допускало бы полностью алгоритмизированное принятие решений по смыслу ст. 22(2)(b) GDPR или ст. 1 1 Директивы о защите данных в уголовных делах. Допускают алгоритмизированное решения только в качестве поддержки принятия решений. Директива в принципе запрещает алгоритмизированное принятие решений, «которые оказывают неблагоприятное правовое воздействие на лицо или существенно затрагивают его интересы (права)». Например, она предусматривает возможность автоматизированного сопоставле-

ния или идентификации лиц, которые должны быть дополнительно проверены компетентными органами в связи с потенциальной причастностью к терроризму, но только в том случае, если такое сопоставление рассматривается индивидуально неавтоматизированными средствами. По крайней мере теоретически юридическая возможность полностью алгоритмизированных решений все еще остается вопросом будущего.

Примером закона государства - члена ЕС, регулирующего алгоритмизированное принятие решений, является немецкий закон, реализующий GDPR, что прямо позволяет принимать такие решения в области, например, страхования. Немецкое административное законодательство также допускает алгоритмизированное принятие административных актов в рамках полностью алгоритмизированной административной процедуры. Для сравнения, голландское законодательство содержит более общую имплементационную оговорку в ст. 22(1) GDPR, разрешающую алгоритмизированное принятие решений, если это необходимо для выполнения законодательно установленного обязательства, возложенного на контролера, или необходимо для выполнения задачи, представляющей общий интерес. Несмотря на свою общую формулировку, это положение голландского законодательства выходит за рамки исключений, предусмотренных в ст. 22(2) GDPR, и создает дополнительную правовую основу для законных алгоритмизированных решений.

Третья категория - GDPR также допускает алгоритмизированное принятие решений, если такое решение основано на явном согласии субъекта данных. Однако в GDPR предусматриваются только условия согласия, но не определяется понятие «явного» согласия.

Надо заметить, что ст. 22 GDPR предусматривает именно запрет алгоритмизированного принятия решений, а не право, которое может быть использовано против такого решения. В связи с этим, считает М. Бркан, необходимо проанализировать природу «права» субъекта данных не подвергаться алгоритмизированному принятию решений в соответствии с указанной статьей GDPR. Это право может быть понято либо как право, которое субъект данных должен активно осуществлять, либо как «пассивное» право контролеров, обеспечивающих принятие решения с использованием

ИИ, соблюдать его самим без активного требования со стороны субъекта данных.

Формулирование «права» субъектов данных как общего запрета на определенные виды алгоритмизированных решений позволяет по-иному взглянуть на условия, предусмотренные и ст. 22 (1) ОБРИ, и ст. 11 Директивы. Первое условие понимается как запрещение индивидуальных алгоритмизированных решений, относящихся только к конкретному физическому лицу, единственному субъекту данных. Индивидуальные решения могут быть обязательными для физического лица (например, решение о выдаче кредита, заявление на кредитную карту, социальные и финансовые решения, предоставление визы, выбор налогоплательщика для аудита) или необязательными (например, профилирование, отправка целевой рекламы авиапутешественнику на основе его профиля). Второе условие - решение не должно приниматься «исключительно» на основе автоматизированной обработки. Третье -запрещается принимать решения, влекущие юридические или существенные последствия для субъектов данных (директива содержит дополнительное требование о «неблагоприятных» правовых последствиях).

Несмотря на то что ни один из рассмотренных двух правовых документов ЕС не определяет понятие правовых последствий, можно предположить, что разъяснение решения, имеющего правовые последствия, является обязательным, ибо затрагивает правовую позицию или законные интересы субъекта данных. Кроме того, как ст. 22 GDPR, так и ст. 11 Директивы требуют, чтобы решение существенно затрагивало конкретного субъекта данных, а не среднестатистического. В любом случае, даже если ни одно из этих положений прямо не требует наличия причинно-следственной связи, все равно необходимо будет доказать, существенно ли то или иное решение повлияло на субъекта данных, что на практике может оказаться столь же громоздким, как и установление причинно-следственной связи.

Согласно GDPR, всякий раз, когда алгоритмизированное решение санкционируется на основе законодательства Союза или государства-члена, этот закон должен предусматривать «надлежащие меры по защите прав, свобод и законных интересов субъекта данных» (ст. 22(2)(Ь)). Среди гарантий в автоматизированном про-

цессе принятия решений предусмотрено право субъекта данных в любой момент потребовать вмешательства человека, означающее, что он может потребовать, чтобы полностью алгоритмизированное решение стало неавтоматизированным с помощью вмешательства человека. Например, если страховой риск оценивается алгоритмизированными средствами, субъект данных может запросить человеческую оценку результатов такого решения. Аналогично, в случае директивы, если путешественник арестован на границе из-за того, что алгоритм, анализирующий различные полицейские базы данных, помечает его как подозреваемого в недавнем террористическом нападении, подозреваемый имеет право потребовать, чтобы решение было пересмотрено человеком.

Хотя такой подход является юридически целесообразным и социально желательным, на практике он может представлять огромные трудности. В частности, остается неясным, как человек с ограниченными возможностями анализа данных сможет обосновать, что окончательное решение должно отличаться от алгоритмического, учитывая, что алгоритмизированная система могла бы учитывать не только данные, относящиеся к субъекту данных, затронутому решением, но и множество других сложных наборов данных.

Однако это право не должно открывать субъекту данных возможности бесконечно затягивать принятие решения. Следовательно, необходимо установить правильный баланс между этим правом и необходимостью принятия решения.

Наконец, субъект данных имеет право оспорить это решение, и это право идет рука об руку с его правом выражать свою точку зрения. На практике это означает, что процедура принятия решений становится состязательной, что ставит вопрос о том, кто должен принимать решение о таком оспаривании алгоритмизированного решения. Любопытно, что Директива о защите данных в уголовных делах не дает субъекту данных прямого права оспаривать алгоритмизированное решение, хотя и оставляет эту возможность открытой для государств-членов. Например, Великобритания обязывает контролера за принятием алгоритмизированного решения в правоохранительных целях сначала уведомить субъекта данных о том, что решение было принято исключительно алгоритмизированными средствами, в ответ на что субъект данных

имеет право потребовать от контролера «пересмотреть решение» или «принять новое решение, которое не основано исключительно на алгоритмизированной обработке».

На пути предоставления субъекту данных содержательного объяснения логики алгоритмических решений стоят три основных препятствия: технические, а также препятствия интеллектуальной собственности и государственная тайна или другая конфиденциальная информация государственных органов. Ученые полагают, что необходимы дальнейшие исследования как в сфере ИИ, так и в области права для достижения оптимального решения и понимания алгоритмизированных решений, исследователи права должны попытаться найти правильный баланс между различными интересами, участвующими в алгоритмизированном принятии решений (1, p. 120-121).

Как и ЕС, применение алгоритмизированных систем в принятии решений, в том числе в судах, находится в центре внимания в США. В американской системе уголовного правосудия на различных его этапах внедрено более 60 автоматизированных систем, среди которых специальный компьютерный алгоритм COMPAS, на основе решения которого выносятся приговоры. Какие риски таит в себе уголовное правосудие, использующее ИИ в принятии решений судами и как это отражается на правах отдельных лиц, показано на основе анализа дела State vs Loomis в статье Хань-Вэй Лю, Чин-Фу Линь, Юй-Цзе Чэнь [3]. Суть дела: заключенный Эрик Лумис подал иск в Верховный суд штата Висконсин с требованием пересмотреть использование этого алгоритма для вынесения решения. Программа анализирует отдельные факты и обстоятельства дела и дает обвиняемому определенную оценку, с учетом которой судьи могут смягчить или ужесточить приговор. Сами обвиняемые не имеют доступа к этой программе и не могут получить объяснения, почему им присвоен статус «представляет опасность для общества». Лумису отказали в разъяснении решения под предлогом, что права на алгоритм принадлежит частной компании и технология не может быть разглашена. Так или иначе, обвиняемые не могут узнать, что предопределило вердикт судьи: последний просто принимает к сведению результаты оценки риска программой COMPAS и выносит приговор, базируясь на этих результатах. Представители Лумаса в суде утверждали, что

COMPAS несовершенен и делает слишком обобщенные выводы. Например, прогнозирует поведение преступника на основании таких данных, как его пол и возраст. Также алгоритм применяет критерии оценки личности подсудимого, суть которых не разглашается. По мнению исследователей, использование судами подобных алгоритмизированных инструментов оценки рисов подрывает фундаментальные ценности надлежащей правовой процедуры, равную защиту и прозрачность. В более широком смысле глобальная тенденция использования инструментов анализа данных и искусственного интеллекта не только в судах, но и на всех уровнях управления требует более активного и информированного подхода к решению проблемы отсутствия подотчетности в использовании таких технологий государственными органами.

Как показывает анализ практики применения алгоритмизированного принятия решений в ЕС, США и Австралии, существуют различные подходы - такие как соблюдение принципа свободы информации, обязательное раскрытие информации, право на разъяснение решения, механизмы отказа от автоматизированного его принятия и другие процедурные гарантии, которые могут быть полезны при решении проблем, стоящих перед расширенной алгоритмизацией государственных функций. Поиск технологически обоснованной и социально приемлемой модели управления в эпоху больших данных может быть плодотворным только при вовлечении многих заинтересованных сторон в конструктивные дебаты и диалоги [3, p. 141].

Таким образом, какими бы многообещающими ни были алгоритмизированные системы, потенциальная предвзятость и дискриминация, заложенные в их источниках данных, проблема алгоритмического непрозрачного «черного ящика», который возникает, когда задействованы методы ИИ, ошибочные интерпретации и выводы, вытекающие из анализа данных, вызывают сегодня серьезные споры среди политиков, практиков и ученых-юристов.

Список литературы

1. Brkan M. Do algorithms rule the world? Algorithmic decision-making and data protection in the framework of the GDPR and beyond accountability // International

journal of law and information technology. - Oxford, 2019. - Vol. 27, N 2. - P. 91121.

2. Gacuta J., Selvadurai N. A statutory right to explanation for decisions generated using artificial intelligence // International journal of law and information technology. - Oxford, 2019. - Vol. 28, N 3. - P. 193-216.

3. Han-Wei Liu, Ching-Fu Lin, Yu-Jie Chen. Beyond State v Loomis: artificial intelligence, government algorithmization and accountability // International journal of law and information technology. - Oxford, 2019. - Vol. 27, N 2. - P. 122-141.