ПРИНЦИПЫ ИСПОЛЬЗОВАНИЯ ТЕХНОЛОГИЙ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА В ПРАВОСУДИИ: ЕВРОПЕЙСКИЙ ПОДХОД Текст научной статьи по специальности «Право»

НЕЗНАМОВ Андрей Владимирович,

кандидат юридических наук, руководитель Исследовательского центра проблем регулирования

робототехники и ИИ (АНО «Робоправо»), старший научный сотрудник Института государства и права РАН, заместитель руководителя Рабочей группы Госдумы РФ по нормативному регулированию робототехники, технологий ИИ

и кибер-физических систем e-mail: mail@law-books.ru

ПРИНЦИПЫ ИСПОЛЬЗОВАНИЯ ТЕХНОЛОГИЙ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА В ПРАВОСУДИИ: ЕВРОПЕЙСКИЙ ПОДХОД

Написание и публикация статьи стали возможными благодаря гранту РФФИ № 18-29-16070 «Цифровые технологии и юрисдикционная деятельность: образ будущего правосудия по гражданским делам»

Аннотация. Статья посвящена анализу проблематики применения искусственного интеллекта в правосудии. Исследуются принципы внедрения технологий ИИ в контексте Европейской этической хартии использования технологий ИИ в судебных системах и смежных сферах.

Ключевые слова: искусственный интеллект, правосудие, терминология, роботизация, Европейская этическая хартия.

NEZNAMOVAndrei Vladimirovich,

PhD in Law,

Head of the Research Center for Problems of Regulation of Robotics and AI (ANO "Robolaw"), Senior Researcher of the Institute of State and Law, Russian Academy of Sciences, Deputy Head of the Working Group of the State Duma of the Russian Federation on Regulatory Regulation of Robotics, AI Technologies and Cyber-Physical Systems

THE PRINCIPLES OF THE USE OF TECHNOLOGIES OF ARTIFICIAL INTELLIGENCE IN JUSTICE: EUROPEAN APPROACH

Annotation. The article is devoted to the analysis of the problems of the application of artificial intelligence in justice. The principles of introducing AI technologies in the context of the European Ethical Charter on the use of AI technologies in judicial systems and their environment are analyzed.

Key words: artificial intelligence, justice, terminology, robotization, European Ethical Charter.

***

В декабре 2018 г. Европейская комиссия по эффективности правосудия Совета Европы (The European Commission for the Efficiency of Justice, или сокращенно - CEPEJ) приняла первую Хартию об этических принципах применения искусственного интеллекта в судебных системах. Она называется «Европейская этиче-

ская хартия использования технологий ИИ в судебных системах и смежных сферах» (the European Ethical Charter on the use of AI technologies in judicial systems and their environment - далее Хартия) [1] и представляет собой одну их первых попыток унификации этических принципов применения технологий ИИ в судебной системе.

ОБРАЗОВАНИЕ И ПРАВО № 5 • 2019

Согласно официальной позиции CEPEJ, применение ИИ в области правосудия может способствовать повышению эффективности и качества работы судов, но оно должно осуществляться в соответствии с основными правами, гарантированными, в частности, Конвенцией о защите прав человека и основных свобод. Для CEPEJ важно обеспечить, чтобы ИИ оставался инструментом на службе общего интереса, а его использование уважало индивидуальные права личности [2].

Данная Хартия поднимает важный пласт проблем, связанных со своеобразной «роботизацией» правосудия. Действительно, несмотря на то что темпы проникновения технологий ИИ в отечественную судебную систему на данный момент нельзя назвать быстрыми [3], данные вопросы являются предметом дискуссий в правовой науке уже сейчас [4; 5; 6; 7; 8; 9].

Далее рассмотрим предложенные в Хартии идеи принципов использования технологий ИИ в правосудии. К сожалению, на момент подготовки данной статьи текст Хартии не имел официального перевода на русский язык. Поэтому приведенный ниже анализ содержит переводы отдельных положений Хартии, однако такие переводы не являются дословными - наша задача состояла в том, чтобы обозначить ключевые идеи Хартии через призму ее принципов.

В Хартии предлагается выделить пять принципов использования технологий искусственного интеллекта в судебной системе, а также во взаимосвязанной с ней сферах, которые дословно звучат так:

Принцип уважения основных прав.

Принцип недискриминации.

Принцип качества и безопасности.

Принцип прозрачности, беспристрастности и справедливости.

Принцип «под контролем пользователя».

При этом, на наш взгляд, в Хартии содержится больше принципов, чем пять официально закрепленных, так как их описание не всегда однозначно соотносится с названием.

Принцип соблюдения фундаментальных прав человека и гражданина

Данный принцип призван гарантировать, что разработка и применение устройств с искусственным интеллектом не будут нарушать фундаментальные права человека.

Следует отметить, что этот вектор является, пожалуй, общим для всех идей правового или этического регулирования разработок в сфере ИИ. Так, схожий подход предлагается в Азиломарских принципах ИИ: «системы ИИ

ОБРАЗОВАНИЕ И ПРАВО № 5 • 2019

должны разрабатываться и работать таким образом, чтобы быть совместимыми с идеалами человеческого достоинства, его прав и свобод, многообразия культур» [10].

Согласно Хартии, процесс обработки судебных решений и данных должен служить конкретным целям и не нарушать фундаментальных прав, установленных Европейской конвенцией о защите прав человека и Конвенцией о защите персональных данных (вместе с Поправками к Конвенции о защите физических лиц при автоматизированной обработке персональных данных, СЕД № 108 и Поправками, внесенными протоколом СДСЕ № 223). Это значит, что уже на этапе разработки и обучения должны быть учтены законы, запрещающие прямое или косвенное нарушение фундаментальных прав, изложенных в конвенциях.

В случае использования системы ИИ, например, для принятии судебного решения, не должно нарушаться гарантированное право судьи на доступ к информации и право на справедливое судебное разбирательство любого участвующего в деле лица. Использование устройств с искусственным интеллектом должно происходить в соответствии с принципом верховенства закона и объективности судей в процессе принятия решений.

Задача обеспечения защиты всех фундаментальных прав человека не является новаторской; однако обращает на себя внимание акцент на защите персональных данных при использовании систем ИИ. По существу, Хартия представляет собой еще одну попытку установить эффективный баланс между регулированием оборота данных и использованием данных системой ИИ. Попытка скорректировать баланс между задачами защиты данных и их использования для машинного обучения является, на наш взгляд, одним из первых, не обозначенных явно, но четко прослеживаемых скрытых принципов Хартии.

Принцип недопущения дискриминации

Данный принцип призван предотвратить любые проявления дискриминации частных лиц или целых групп. Эта проблема представляется достаточно реальной. Так, власти Сан-Франциско запретили использование технологий распознавания лиц, так как программы распознавания лиц имеют более высокий процент ошибок, когда речь идет об афроамериканках или представительницах других этнических групп [11]. Проведенное в 2018 г. лабораторией междисциплинарных исследований Массачусетского тех-

нологического института M.I.T. Media Lab, показало, что программы распознавания лиц имеют более высокий процент ошибок, когда речь идет об афроамериканцах или представителях других этнических групп [12].

В этом отношении в Хартии справедливо подчеркивается, что использование определенных методов обработки данных может служить причиной для возникновения дискриминации. Поэтому при применении систем ИИ необходимо гарантировать, что выбранные методы обработки не порождают и не усиливают дискриминацию. Особое внимание следует уделить этим методам на этапе как разработки, так и применения систем ИИ, особенно когда в процессе обработки может затрагиваться конфиденциальная информация. К такой информации относятся данные о расовой или этнической принадлежности, социально-экономическом положении, политических, религиозных и философских убеждениях, принадлежности к профсоюзу, генетические и биометрические данные, данные о состоянии здоровья и информация о сексуальной ориентации или личной жизни. В случае возникновения и обнаружения дискриминации необходимо предпринять соответствующие меры с целью избавиться от нее и, если это возможно, исключить риск возникновения дискриминации в будущем.

Принцип обеспечения информационной безопасности

Данный принцип выделен нами из оригинального принципа, обозначенного как «принцип качества и безопасности» (principle of quality and security). Однако анализ содержания «принципа качества и безопасности» свидетельствует о том, что, по существу, он направлен на обеспечение информационной безопасности [13].

Так, принцип нацелен на то, чтобы при обработке судебных решений и иных данных гарантировать использование только официальных источников, проверенных данных и моделей, разработанных благодаря сотрудничеству специалистов из различных областей, в условиях полной безопасности. Прежде всего это касается данных о судебных решениях, которые используются для машинного обучения - они должны поступать из официальных источников, и не подлежат изменению до тех пор, пока не будут использованы для создания механизма обучения. Словом, весь процесс создания механизма обучения должен быть максимально прозрачным. Это необходимо для того, чтобы гарантировать, что смысл или содержание обрабатываемого судебного решения не были изменены. Предполагается, что созданные модели и алго-

ритмы должны храниться и применяться в рамках защищенных систем. Это необходимо для того, чтобы гарантировать целостность и неуязвимость всей системы в целом.

Принцип прозрачности системы ИИ

В оригинале данный принцип назван как «принцип прозрачности, беспристрастности и честности» (principle of transparency, impartiality and fairness). Однако все его описание явно свидетельствует о попытке закрепить возможность контроля действий ИИ через обеспечение необходимой для этого прозрачности принимаемых системой ИИ решений. Данный принцип призван обеспечить прозрачность и подконтрольность системы ИИ - в частности, сделать методы обработки данных доступными и понятными, согласовать методы контроля системы ИИ.

В Хартии подчеркивается, что в случае, когда используются средства, работа которых может в значительной степени повлиять на жизнь человека или привести к возникновению правовых последствий, необходимо установить верный баланс между объектами интеллектуальной собственности (конкретные методы обработки) и требованием прозрачности (возможность отследить все этапы разработки методов), беспристрастности (отсутствие дискриминации), честности и интеллектуальной целостности (в приоритете должны быть интересы правосудия).

В отношении баланса авторы ссылаются на доклад Совета Европы «Алгоритмы и права человека» [14], в котором аргументируется, что нежелательно предоставлять открытый доступ ко всем алгоритмам полностью или предоставлять исходный код программного обеспечения, поскольку, по мнению частных компаний, программное обеспечение есть часть интеллектуальной собственности, неприкосновенность которой защищена законом. В то же время вполне возможно предоставить обществу доступ к самой важной информации относительно алгоритмов (к примеру, информацию о том, какие показатели используются, с какими целями проводится оптимизация алгоритмов, данные режима обучения, средние показатели, допустимые отклонения от полученных результатов или информацию об объеме и типе данных, обработанных посредством алгоритма).

В Хартии предлагается несколько возможных решений такого баланса.

■ Обеспечить полную прозрачность системы ИИ с технической точки зрения, включая ее открытый исходный код. Авторы, однако, при-

ОБРАЗОВАНИЕ И ПРАВО № 5 • 2019

знают, что такой подход не всегда возможно полностью реализовать в силу существования коммерческой тайны.

■ Другой вариант - описать саму систему и процесс создания данных возможно доступным для понимания языком. Например, можно рассказать о сути предлагаемых услуг, о разрабатываемых устройствах, о процессе работы и возможных рисках ошибки. По видимости, авторы в таком подходе видят альтернативу первой опции, предполагающей полное раскрытие системы ИИ.

■ Еще один вариант предполагает, что доступ к методам обработки информации будет доверен ограниченному кругу лиц - независимым экспертам или агентствам либо органами местной власти.

Характерно, что п. 8 Азиломарских принципов ИИ закрепляется схожий подход: «Прозрачность правосудия: любое участие автономной системы в процессе принятия судебных решений должно сопровождаться предоставлением убедительных объяснений, которые могут быть перепроверены людьми из компетентных органов власти».

Принцип «пользовательского контроля»

Данный принцип призван подчеркнуть, что во главе угла всегда будет оставаться человек, пользователи будут в достаточной степени информированы, чтобы самостоятельно принимать решения. Использование устройств с искусственным интеллектом должно способствовать росту автономности пользователя, а не ограничивать ее.

Авторами Хартии предполагается, что представители судебной системы должны в любой момент иметь доступ к исходным данным, использованным системой ИИ для получения конечного результата.

В этой связи пользователям нужно в доступной форме разъяснять, влекут ли за собой юридически значимые последствия решения, предложенные устройствами с искусственным интеллектом, и обозначить имеющиеся у него варианты действий в отношении предложенного системой ИИ решения.

В описании данного принципа характерно проявление своеобразной идеи возможности неприятия системы ИИ, который, будучи не подчеркнут явно, по сути, является одним из ключевых принципов Хартии.

Так, предполагается, что пользователи должны быть уведомлены об обработке данных, содержащихся в деле, средствами с искусствен-

ОБРАЗОВАНИЕ И ПРАВО № 5 • 2019

ным интеллектом; при этом подчеркивается, что пользователям должно быть доведено право возражать против этой обработки. В случае, если обработка данных осуществляется на предварительной стадии, пользователь вправе настаивать на том, чтобы его дело было сразу направлено в суд в соответствии со ст. 6 Европейской конвенции о защите прав человека.

Аналогичный подход прослеживается и в других принципах. Например, применительно к принципам недопущения дискриминации авторы подчеркивают идею о том, что владельцы персональных данных должны владеть информацией о порядке их обработки системой ИИ -и, очевидно, должны иметь возможность повлиять на это.

По существу, реализации любого рода системы с искусственным интеллектом для обработки информации противопоставляется создание аналогичных программ, направленных на сохранение роли человека в процессе отправления правосудия.

Принцип междисциплинарного подхода к разработкам

Данный принцип не входит в перечень пяти прямо обозначенных принципов внедрения ИИ в правосудие, но эта идея представляется имплицитной и, по существу, красной линией проходит через текст Хартии.

Авторы Хартии прямо предполагают, что разработчики моделей машинного обучения должны опираться на опыт и знания специалистов соответствующей системы правосудия (судьи, прокуроры, адвокаты и проч.), а также на опыт и знания исследователей и преподавателей в сфере закона и социальных наук (например, экономисты, социологи и философы). Создание на этапе разработки смешанных групп профессионалов из разных областей - один из способов организации работы, который позволит по максимуму воспользоваться преимуществами междисциплинарного подхода.

Группы специалистов, работающие над проектами, должны постоянно делиться друг с другом информацией, содержащейся в существующих этических кодексах и нормах. На основе их мнения в существующие этические кодексы и нормы должны вноситься соответствующие поправки с целью сделать их лучше.

Вывод. Анализ показал, что Хартия, закрепляя пять принципов внедрения технологий ИИ в правосудии, помимо прямо заявленных принципов, содержит в себе целый ряд имплицитных идей, которые обозначают существующие опасе-

ния относительно роботизации правосудия и, по существу, являются проявлением более фундаментальной проблемы адаптации новых технологий в социуме. При этом сами по себе идеи Хартии не свидетельствуют о некоем революционном подходе к регулированию порядка внедрения системы ИИ в правосудие.

Представляется, что на данном этапе изложенные в Хартии принципы могут дать некоторые основания для скептического отношения к ним. Так, бросается в глаза, что, по существу, все обозначенные принципы можно было бы отнести к любой правоприменительной деятельности. Кроме того, следует отметить некоторую непоследовательность и даже сумбурность в изложении руководящих идей Хартии.

В то же время все ее возможные недостатки имеют достаточно простое, по нашему мнению, объяснение. В настоящий момент в обществе только формируется консенсус относительно подхода к правовым и этическим принципам регулирования технологий ИИ. Любой принцип кажется очевидным либо, наоборот, слишком революционным, и его описание часто является результатом острых дискуссий; в некоторых случаях он не вполне соответствует реальному процессу создания системы ИИ или уровню разработок.

Человечеству предстоит пройти еще довольно большой путь, чтобы выработать единые подходы к использованию систем ИИ в процессе отправления правосудия.

Список литературы:

[1] URL: https://rm.coe.int/ethical-charter-en-for-publication-4-december-2018/16808f699c

[2] Официальный пресс-релиз. URL: https://search.coe.int/directorate_of_ communications/Pages/result_details. aspx?0bjectld=09000016808fed10

[3] Доклад председателя Совета судей России Виктора Момотова «Судебная власть в условиях современных цифровых технологий». URL: http://www.ssrf.ru/page/32548/detail/

[4] Брановицский Л.К., Ренц И.Г., Незна-мов Ал. В, Незнамов А.В., Ярков В.В. Цифровые технологии и цивилистический процесс: проблемы взаимовлияния // Журнал «Herald of The Euro-Asian Law Congress» (Вестник Европей-ско-Азиатского правового конгресса). - 2018. - № 2.

[5] Незнамов А.В., Наумов В.Б. Стратегия регулирования робототехники и киберфизиче-ских систем // Закон. - 2018. - № 2. - С. 69 - 90.

[6] Булгакова Е.В., Денисов И.С., Булгаков В.Г. Киберправосудие // Администратор суда. -2018. - № 4. - С. 13-16.

[7] Жарова А.К. Право и информационные конфликты в информационно-телекоммуникационной сфере: монография. - М.: Янус-К, 2016. - 248 с.

[8] Морхат П.М. Возможности, особенности и условия применения искусственного интеллекта в юридической практике / / Администратор суда. - 2018. - № 2. - С. 8-12.

[9] Регулирование робототехники: введение в «робоправо». Правовые аспекты развития робототехники и технологий искусственного интеллекта / под ред. А.В. Незнамова. - М.: Инфотропик-Медиа, 2018.

[10] Азиломарские принципы ИИ, 2017 год. Перевод на рус. яз. доступен по адресу: URL: http ://robopravo. ru/uploads/s/z/6/g/ z6gj0wkwhv1o/file/uFMMP93G.pdf

[11] URL: https://www.forbes.ru/ tehnologii/376099-vlasti-san-francisko-zapretili-ispolzovanie-tehnologiy-raspoznavaniya-lic

[12] URL: http://news.mit.edu/2018/study-finds-gender-skin-type-bias-artificial-intelligence-systems-0212

[13] Полякова Т.А. Базовые принципы как основные начала правового обеспечения информационной безопасности // Труды ИГП РАН. -2016. - № 3. - С. 17-40.

[14] URL: https://rm.coe.int/algorithms-and-human-rights-en-rev/16807956b5

Spisok literatury:

[1] URL: https://rm.coe.int/ethical-charter-en-for-publication-4-december-2018/16808f699c

[2] Oficial'nyj press-reliz. URL: https:// search.coe.int/directorate_of_communications/ Pages/result_details. aspx?0bjectId=09000016808fed10

[3] Doklad predsedatelya Soveta sudej Rossii Viktora Momotova «Sudebnaya vlast' v usloviyah sovremennyh cifrovyh tekhnologij». URL: http:// www.ssrf.ru/page/32548/detail/

[4] Branovicskij L.K., Renc I.G., Neznamov Al. V, Neznamov A.V., Yarkov V.V. Cifrovye tekhnologii i civilisticheskij process: problemy vzaimovliyaniya // Zhurnal «Herald of The Euro-Asian Law Congress» (Vestnik Evropejsko-Aziatskogo pravovogo kongressa). - 2018. - № 2.

[5] Neznamov A.V., Naumov V.B. Strategiya regulirovaniya robototekhniki i kiberfizicheskih sistem // Zakon. - 2018. - № 2. - S. 69 - 90.

ОБРАЗОВАНИЕ И ПРАВО № 5 • 2019

[6] Bulgakova E.V., Denisov I.S., Bulgakov V.G. Kiberpravosudie // Administrator suda. -2018. - № 4.-S.13-16.

[7] Zharova A.K. Pravo i informacionnye konflikty v informacionno-telekommunikacionnoj sfere: monografiya. - M.: Yanus-K, 2016. - 248 s.

[8] Morhat P.M. Vozmozhnosti, osobennosti i usloviya primeneniya iskusstvennogo intellekta v yuridicheskoj praktike // Administrator suda. -2018. - № 2. - S. 8-12.

[9] Regulirovanie robototekhniki: vvedenie v «robopravo». Pravovye aspekty razvitiya robototekhniki i tekhnologij iskusstvennogo intellekta / pod red. A.V. Neznamova. - M.: Infotropik-Media, 2018.

[10] Azilomarskie principy II, 2017 god. Perevod na rus. yaz. dostupen po adresu: URL: http ://robopravo. ru/uploads/s/z/6/g/ z6gj0wkwhv1o/file/uFMMP93G.pdf

[11] URL: https://www.forbes.ru/ tehnologii/376099-vlasti-san-francisko-zapretili-ispolzovanie-tehnologiy-raspoznavaniya-lic

[12] URL: http://news.mit.edu/2018/study-finds-gender-skin-type-bias-artificial-intelligence-systems-0212

[13] Polyakova T.A. Bazovye principy kak osnovnye nachala pravovogo obespecheniya informacionnoj bezopasnosti // Trudy IGP RAN. - 2016. - № 3. - S. 17-40.

[14] URL: https://rm.coe.int/algorithms-and-human-rights-en-rev/16807956b5

ОБРАЗОВАНИЕ И ПРАВО № 5 • 2019