CC BY
14DOI 10.47643/1815-1337_2023_9_215 УДК 349
ПРАВОВОЕ РЕГУЛИРОВАНИЕ СИСТЕМ АВТОМАТИЗИРОВАННОГО ПРИНЯТИЯ РЕШЕНИЙ LEGAL REGULATION AUTOMATED DECISION-MAKING SYSTEMS
БОЛОТАЕВА Ольга Сергеевна,
кандидат юридических наук,
доцент кафедры конституционного и муниципального права юридического факультета Северо-Восточного федерального университета им. М.К. Аммосова. 677007, Республика Саха (Якутия), г. Якутск, ул. Кулаковского, 42. E-mail: hlolita@mail.ru;
Bolotaeva Olga Sergeevna,
Candidate of Juridical Sciences, Associate Professor of the Department of Constitutional and Municipal Law of the Law Faculty of the North-Eastern Federal University named after M.K. Ammosova. 677007, Republic of Sakha (Yakutia), Yakutsk, Kulakovsky str., 42. E-mail: hlolita@mail.ru
Краткая аннотация: Развитие технологий больших данных и искусственного интеллекта привело к появлению таких автоматизированных систем, которые могут на основе обработки информации принимать решения в автономном режиме без какого-либо участия человека. В связи с этим возникают угрозы нарушения прав субъектов данных, которые зачастую не имеют возможности надлежащим образом контролировать процессы обработки личной информации и приятия решений на основе такой обработки. В статье рассмотрены основные подходы к правовому регулированию систем автоматизированного принятия решений, уточнены некоторые аспекты концепции риск-ориентированного подхода к регулированию искусственного интеллекта, представленной в документах Европейского союза.
Abstract: The development of big data technologies and artificial intelligence has led to the emergence of such automated systems that can, based on information processing, make decisions offline without any human participation. In this regard, there are threats of violation of the rights of data subjects, who often do not have the opportunity to properly control the processes of processing personal information and making decisions based on such processing. The article considers the main approaches to the legal regulation of automated decision-making systems, clarifies some aspects of the concept of a risk-based approach to the regulation of artificial intelligence, presented in the documents of the European Union.
Ключевые слова: системы автоматизированного принятия решений, профилирование, права субъекта данных, риск-ориентированный подход, правовое регулирование искусственного интеллекта, прозрачность алгоритмов.
Keywords: automated decision-making systems, profiling, rights of the data subject, risk-based approach, legal regulation of artificial intelligence, transparency of algorithms.
Для цитирования: Болотаева О.С. Правовое регулирование систем автоматизированного принятия решений // Право и государство: теория и практика. 2023. № 9(225). С. 215-218. http://doi.org/10.47643/1815-1337_2023_9_215.
For citation: Bolotaeva O.S. Legal regulation automated decision-making systems // Law and state: theory and practice. 2023. No. 9(225). pp. 215-218. http://doi.org/10.47643/1815-1337_2023_9_215.
Статья поступила в редакцию: 24.07.2023
В результате развития систем искусственного интеллекта появились возможности полностью автоматизировать те процессы, которые прежде выполнялись только человеком либо под его непосредственным контролем. Наряду с автоматизированными системами поддержки принятия решений, используемыми человеком в качестве вспомогательного инструмента для принятия решений, сегодня применяются системы автоматизированного принятия решений (далее - АПР), способные действовать автономно, без непосредственного вовлечения человека в процесс принятия и, в некоторых случаях, последующего исполнения решения (в зарубежных публикациях - Automated Decision-Making Systems). Если в первом случае система лишь помогает пользователю принимать решения, то есть является частично автоматизированной, то полностью автоматизированная система принятия решений исключает какое-либо субъективное влияние на непосредственный результат работы системы. Это касается, в том числе, и тех решений, которые являются юридически значимыми или могут иметь определенные правовые последствия.
Существуют разные формы реализации АПР, в том числе выделяют АПР на основе профилирования или без такового. В соответствии с Общим регламентом по защите данных Европейского союза (General Data Protection Regulation, далее - GDPR) профилирование представляет собой любую форму автоматической обработки персональных данных, заключающуюся в использовании персональных данных для оценки определенных личных аспектов физического лица, в частности, для анализа или предугадывания аспектов его результативности в работе, его экономического положения, здоровья, личных предпочтений, интересов, надежности, поведения и перемещений [1].
На сегодняшний день существует множество сфер, в которых автоматизированное принятие решений является неотъемлемой частью экономической, управленческой или организационной деятельности. Так, кредитные организации используют АПР на основе профилирования для целей кредитного скоринга - оценки кредитоспособности потенциальных заемщиков на основе использования различных данных о человеке, его поведении, предпочтениях, фактах и обстоятельствах жизни и т.д. Аналогичным образом АПР на основе профилирования применяется в деятельности страховых организаций для оценки рисков, в сфере торговли и сервиса - для продвижения товаров и услуг, при организации кадровой работы на предприятиях - для подбора персонала и др. Возможность использования искусственного интеллекта для автоматизированного принятия решений в правоохранительной сфере, в том числе в судопроизводстве, является предметом дискуссий. Большинство юристов склонны полагать, что искусственный интеллект не способен обеспечить надлежащее объективное правосудие с со-
блюдением всех правовых принципов, однако возможно, например, использование технологии для рассмотрения гражданских и административных дел по бесспорным требованиям, то есть там, где принятие решения не связано с анализом правоотношений сторон и в большей степени имеет технический характер [2, с. 190].
Очевидно, что в деятельности правоохранительных органов предпочтительна частичная автоматизация некоторых рутинных про-цес-сов, не связанных с автоматизированным принятием юридически значимых решений. Так, Европейская этическая хартия об использовании искусственного интеллекта в судебных системах и окружающих их реалиях (далее - Европейская хартия), признавая значимость систем искусственного интеллекта для развития и совершенствования правосудия, вместе с тем содержит ряд предостерегающих положений, смысл которых сводится к тому, что полная автоматизация процессов и принятия решений в судебной сфере может привести к негативным последствиям для человека, в том числе нарушению его прав. В частности, к возможным вариантам использования искусственного интеллекта, требующим значительных методологических мер предосторожности, отнесена полностью автоматизированная обработка данных для вынесения решения о размере компенсаций, присуждаемых в гражданских спорах, а применение алгоритмических систем в уголовных делах с целью характеристики личности определяется как использование, которое следует рассматривать с особыми оговорками [3].
Еще одной серьезной проблемой является возможность автоматизации принятия решений в военной сфере, в частности, интеллектуальными системами вооружения, способными распознавать цели и применять в отношении них боевое оружие. Камнем преткновения в вопросе о допустимости применения таких систем в автономном режиме является проблема корректной идентификации законной военной цели, а также немаловажной является проблема нравственно-этического выбора, который при уничтожении цели автономная система вооружения делает исключительно на основе программного алгоритма, без какого-либо руководства социальными нормами и человеческими ценностями.
Независимо от того, в какой сфере задействованы системы АПР, главные риски, которые влечет их применение, связаны с нарушением прав человека и его законных интересов. Использование такими системами метода профилирования часто связывают с проявлениями дискриминации в отношении субъекта данных в силу, как правило, несовершенства алгоритмов и невозможности учесть всю совокупность факторов, способных дать истинное представление об исследуемом объекте. Так, на сайте некоммерческой исследовательской и правозащитной организации AlgorithmWatch (Германия), изучающей системы автоматизированного принятия решений и их влияние на общество, опубликовано руководство по антидискриминационному консультированию, в котором приводятся практические примеры разных форм ди с-криминации людей, выявленных в результате применения технологий распознавания лиц, а также автоматизированного принятия решения на основе профилирования. В качестве проявлений дискриминации названы расовая дискриминация при распознавании лиц, дискриминация по возрасту и полу при оценке кредитоспособности заемщика, гендерная дискриминация при предложении вакансий, дискриминация по национальной принадлежности при определении стоимости автострахования. Разработчики документа отмечают, что подобные проявлен ия неравенства и дискриминации при работе систем автоматизированного принятия решений являются отражением этих же проявлений в общественной жизни и в сознании людей, в том числе разработчиков алгоритмов, которые также не лишены социальных предубеждений и стереотипов [4]. Очевидно, что недискриминационный характер подобных программных продуктов должен обеспечиваться требованиями нормативно-правовых актов.
Положения ЭйРК в отношении принятия решений в результате исключительно автоматизированной обработки данных, в том числе посредством профилирования, устанавливают право субъекта данных не подвергаться решению, вызывающему для него юридические последствия. Данное правило не применяется, если такое решение необходимо для заключения или исполнения договора между субъектом и контролером данных, если оно разрешено законодательством Союза или государства-члена, применимого к контролеру данных, или основывается на отчетливом согласии субъекта данных [1]
Более полно содержание прав субъекта автоматизированной обработки данных раскрывается в положениях Европейской хартии, согласно которым каждый человек должен иметь контроль над своей личной информацией, подразумевающий возможность реализации следующих прав: право не становиться объектом автоматически выведенного решения, оказывающего существенное влияние на лицо, в отношении которого оно вынесено, без учета его точки зрения, без права получения информации о логике, примененной алгоритмами при обработке данных, право на возражение против такой обработки и право на обжалование в суде [3].
Особого внимания в контексте правового регулирования требуют отношения, в которых автоматизированное принятие решения сочетается с его автоматизированным исполнением без какого-либо участия человека. Такие ситуации всегда несут в себе определенные риски, которые могут напрямую касаться жизни и здоровья людей. Это относится, например, к эксплуатации беспилотных автомобилей на дорогах общего пользования. Несмотря на то, что на сегодняшний день в большинстве стран законодательство не позволяет движение таких автомобилей в полностью автономном режиме (без присутствия человека в салоне), вся индустрия беспилотного автотранспорта работает на то, чтобы прийти к полной передаче функции управления автомобилем программному обеспечению. В случае полной автоматизации управления автомобилем принятие и исполнение решения не зависят от воли человека, при этом по внешним признакам действия беспилотного транспортного средства идентичны правовому поведению человека-водителя. Высокая степень риска и проблема определения субъекта ответственности являются ключевыми ориентирами в правовом регулировании данных общественных отношений.
Новые реалии являются также серьезным вызовом и для теории права, поскольку в юридической науке и практике прежде не было
места ситуациям, в которых объект права (например, транспортное средство) демонстрирует субъектное поведение, способен принимать решения, по внешним признакам аналогичные волеизъявлению человека, а также совершать действия, влекущие правовые последствия. Вопрос возможной правосубъектности искусственного интеллекта, несмотря на резкую критику многих ученых, продолжает обсуждаться в юридическом сообществе. С учетом рискового характера общественных отношений, в которых применяются системы автоматизированного принятия решений, наиболее правильным представляется подход, принятый в США и в Европейском союзе в отношении правового регулирования искусственного интеллекта. Руководство по регулированию применения искусственного интеллекта, разработанное администрацией президента США в ноябре 2020 г. на основе Указа президента США №13859 от 11.02.2019 «Об обеспечении американского лидерства в искусственном интеллекте» [5], определяет применение риск-ориентированного подхода в качестве одного из базовых принципов, применяемых в регулировании использования систем искусственного интеллекта [6].
В Европейском союзе разработан и опубликован в апреле 2021 года проект Регламента Европейского Парламента и Совета «Установление согласованных правил об искусственном интеллекте (Закон об искусственном интеллекте) и внесение поправок в некоторые законодательные акты Союза», в котором отражена концепция правового регулирования отношений с использованием систем искусственного интеллекта на основе риск-ориентированного подхода. Документ устанавливает три уровня риска, в соответствии с которыми определяется содержание правового регулирования отношений с использованием технологий искусственного интеллекта. К первому уровню относится неприемлемый риск, при котором системы искусственного интеллекта способны создавать угрозу жизни, безопасности и правам людей. Они относятся к запрещенным для использования.
Примечательно, что к их числу отнесены системы, используемые для составления социального рейтинга физических лиц, что связывают с их потенциально дискриминационным характером, а также для удаленной биометрической идентификации в режиме реального времени в общественных местах в целях правоприменения (за некоторыми исключениями). Второй уровень - это высокий риск, при котором системы искусственного интеллекта являются предметом строгих ограничений и контроля, они допускаются на европейский рынок при условии соблюдения определенных обязательных требований и предварительной оценки соответствия. К третьему уровню относится низкий или минимальный риск; в отношении систем искусственного интеллекта, отнесенных к этому уровню, должны устанавливаться определенные требования, касающиеся прозрачности алгоритмов и надлежащего информирования пользователей [7].
Как отмечают авторы монографии «Искусственный интеллект и право: от фундаментальных проблем к прикладным задачам», риск-ориентированный подход фактически построен вокруг человека, то есть основным критерием в регулировании является степень потенциальной угрозы, которую несёт система искусственного интеллекта правам личности [8, с. 39]. Действительно, человек, будучи высшей ценностью в соответствии с конституционный положением, является мерилом любых принимаемых государством решений и предпринимаемых действий. Однако потенциальные риски могут не напрямую создавать угрозы правам человека, а иметь, в первую очередь, непосредственное отношение к государственным интересам или, например, экономическим интересам хозяйствующих субъектов. То есть объектом риска может быть частный либо публичный интерес, а с учётом угроз, которые могут появиться в будущем в результате совершенствования технологий искусственного интеллекта, можно говорить и о потенциальных рисках для человечества в целом.
Что касается риск-ориентированного подхода применительно к системам автоматизированного принятия решений, целесообразно разграничить потенциальные риски не только в зависимости от их уровня, но и учесть характер, масштаб риска, а также определить содержание интересов, являющихся объектами риска. Представляется, что в качестве основных групп рисков можно выделить следующие: 1. Риск причинения вреда жизни и здоровью граждан. 2. Риск нарушения прав, свобод и законных интересов граждан, не связанного с причинением вреда их жизни и здоровью. 3. Риск причинения вреда интересам общества и (или) государства. 4. Риск причинения вреда мировому сообществу или человечеству в целом. В свою очередь в каждой группе может быть предусмотрена дифференциация в зависимости от степени риска (высокий, умеренный, минимальный) и (или) его приемлемости (неприемлемый, допустимый). Так, при использовании систем АПР для оценки кредитоспособности заемщиков может иметь место риск нарушения прав, свобод и законных интересов граждан, не связанного с причинением вреда их жизни и здоровью, при этом риск является минимальным и допустимым. А в случае с автономной работой беспилотного транспортного средства существует риск причинения вреда жизни и здоровью граждан, и он может расцениваться как высокий и, в зависимости от условий использования транспортного средства, как допустимый или неприемлемый.
Несмотря на то, что технологии искусственного интеллекта и основанные на них системы автоматического принятия решений все больше входят в нашу повседневную жизнь, правовое регулирование отношений, связанных с их использованием, пока находится лишь в начальной стадии своего развития. Это обусловлено не только новизной объектов регулирования, но и осознанием на уровне высшего руководства государств, стремящихся к лидерству в сфере цифровых технологий, что любое регулирующее воздействие может оказать негативное влияние на дальнейшие перспективы их развития. Однако концептуальные основы правового регулирования новейших цифровых технологий, с учетом прогнозируемых достижений и результатов их внедрения, должны формироваться на основе существующих правовых принципов, общечеловеческих ценностей, а также интересов и приоритетов, являющихся главными как для отдельных государств, так и для всего мирового сообщества.
Библиография:
1. General Data Protection Regulation (GDPR). - [Электронный ресурс]: https://gdpr-text.com/ru/ (дата обращения: 14.07.2023).
2. Момотов В. В. Искусственный интеллект в судопроизводстве: состояние, перспективы использования // Вестник Университета имени О.Е. Кутафина (МГЮА). - 2021. - № 5(81). - C. 188-191.
3. Европейская этическая хартия об использовании искусственного интеллекта в судебных системах и окружающих их реалиях. Принята на 31-м пленарном заседании Европейской комиссии по эффективности правосудия (Страсбург, 3-4 декабря 2018 года). - [Электронный ресурс]. - URL: https://rm.coe.int/ru-ethical-charter-en-version-17-12-2018-mdl-06092019-2-/16809860f4 (дата обращения: 14.07.2023).
4. Automated Decision-Making Systems and Discrimination Understanding causes, recognizing cases, supporting those affected. A guidebook for anti-discrimination counseling. - [Электронный ресурс]. - URL: https://algorithmwatch.org/en/wp-content/uploads/2022/06/AutoCheck-Guidebook_ADM_Discrimination_EN-AlgorithmWatch_June_2022.pdf (дата обращения: 14.07.2023).
5. Maintaining American Leadership in Artificial Intelligence. Executive Order 13859 of February 11, 2019 // Federal Register. - [Электронный ресурс]. - URL: https://www.federalregister.gov/documents/2019/02/14/2019-02544/maintaining-american-leadership-in-artificial-intelligence (дата обращения: 14.07.2023).
6. Guidance for Regulation of Artificial Intelligence Applications. - [Электронный ресурс]. - URL: https://www.whitehouse.gov/wp-content/uploads/2020/11/M-21-06.pdf (дата обращения: 14.07.2023).
7. Proposal for a REGULATION OF THE EUROPEAN PARLIAMENT AND OF THE COUNCIL LAYING DOWN HARMONISED RULES ON ARTIFICIAL INTELLIGENCE (ARTIFICIAL INTELLIGENCE ACT) AND AMENDING CERTAIN UNION LEGISLATIVE ACTS. - [Электронный ресурс]. - URL: https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=celex%3A52021 PC0206 (дата обращения: 14.07.2023).
8. Искусственный интеллект и право: от фундаментальных проблем к прикладным задачам: монография. - Москва: Проспект, 2022. - 104 с.
References:
1. General Data Protection Regulation (GDPR). - [Electronic resource]: https://gdpr-text.com/ru/ (date of access: 15.07.2023).
2. Momotov V. V. Artificial intelligence in legal proceedings: state, prospects for use // Bulletin of the O.E. Kutafin (MSUA). - 2021. - No. 5 (81). - pp. 188-191.
3. European Ethical Charter on the use of artificial intelligence in judicial systems and their surrounding realities. Adopted at the 31 st Plenary Meeting of the European Commission for the Efficiency of Justice (Strasbourg, 3-4 December 2018). - [Electronic resource]. - URL: https://rm.coe.int/ru-ethical-charter-en-version-17-12-2018-mdl-06092019-2-/16809860f4 (date of access: 15.07.2023).
4. Automated Decision-Making Systems and Discrimination Understanding causes, recognizing cases, supporting those affected. A guidebook for anti-discrimination counseling. - [Electronic resource]. - URL: https://algorithmwatch.org/en/wp-content/uploads/2022/06/AutoCheck-Guidebook_ADM_Discrimination_EN-AlgorithmWatch_June_2022.pdf (date of access: 15.07.2023).
5. Maintaining American Leadership in Artificial Intelligence. Executive Order 13859 of February 11, 2019 // Federal Register. - [Electronic resource]. - URL: https://www.federalregister.gov/documents/2019/02/14/2019-02544/maintaining-american-leadership-in-artificial-intelligence (date of access: 15.07.2023).
6. Guidance for Regulation of Artificial Intelligence Applications. - [Electronic resource]. - URL: https://www.whitehouse.gov/wp-content/uploads/2020/11/M-21-06.pdf (date of access: 15.07.2023).
7. Proposal for a REGULATION OF THE EUROPEAN PARLIAMENT AND OF THE COUNCIL LAYING DOWN HARMONISED RULES ON ARTIFICIAL INTELLIGENCE (ARTIFICIAL INTELLIGENCE ACT) AND AMENDING CERTAIN UNION LEGISLATIVE ACTS. - [Electronic resource]. - URL: https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=celex%3A52021 PC0206 (date of access: 15.07.2023).
8. Artificial intelligence and law: from fundamental problems to applied problems: monograph. - Moscow: Prospekt, 2022. - 104 p.
