Искусственный интеллект, робототехника и защита прав человека в Европейском Союзе Текст научной статьи по специальности «Право»

в М УНИВЕРСИТЕТА

4-—^ и мени О. Е. Кугафи на (МПОА)

ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ, РОБОТОТЕХНИКА И ЗАЩИТА ПРАВ ЧЕЛОВЕКА В ЕВРОПЕЙСКОМ СОЮЗЕ1

Аннотация. Целью статьи является анализ правовых проблем, связанных с защитой прав и свобод человека при разработке и применении систем искусственного интеллекта в Европейском Союзе. Предметом статьи выступают нормы международного права и права Европейского Союза, направленные на решение указанных проблем. Статья написана с использованием общенаучных, философских и специальных юридических методов познания, в частности формально-юридического, сравнительно-правового, аналитического методов и системного подхода. Приведенный в статье анализ системы гарантий защиты прав и свобод человека в Европейском Союзе при внедрении и использовании систем искусственного интеллекта осуществляется в российской юридической науке впервые. На основе анализа действующих правовых норм исследованы возможные угрозы нарушения прав и свобод человека в Европейском Союзе при применении систем искусственного интеллекта. Рассмотрены подход к обеспечению системы гарантий прав и свобод человека в ЕС; роль институтов, органов и учреждений Европейского Союза в данном процессе, в частности роль Европейского омбудсмена. Гарантии прав и свобод человека рассмотрены через призму концепции «хорошего управления». Предлагаются пути обеспечения гарантий прав человека при введении в оборот технологий искусственного интеллекта и раскрываются области в указанной сфере, требующие изменений в правовом регулировании. Положения, сформулированные в настоящей статье, могут быть использованы для осуществления дальнейших исследований по вопросам, связанным с развитием и использованием искусственного интеллекта, а также для совершенствования правовой базы в данной области.

Ключевые слова: Европейский Союз, искусственный интеллект, робототехника, Европейский омбудсмен, права человека, защита прав, нарушение порядка управления.

Университета имени DOI: 10.17803/2311-5998.2019.56.4.064-090

О.Е. Кутафина (МГЮА) [email protected]

125993, Россия, г. Москва, ул. Садовая-Кудринская, д. 9

© С. Ю. Кашкин, _

А. В. Покровский, 2019 1 Исследование выполнено при финансовой поддержке РФФИ, грант № 18-29-16150/18.

Сергей Юрьевич КАШКИН,

заведующий кафедрой интеграционного и европейского права Университета имени О.Е. Кутафина (МГЮА), доктор юридических наук, профессор, заслуженный юрист РФ [email protected] 125993, Россия, г. Москва, ул. Садовая-Кудринская, д. 9

Александр Владимирович ПОКРОВСКИЙ,

аспирант кафедры интеграционного и европейского права

)УНИВЕРСИТЕТА

имени О.Е. Кутафина (МГЮА)

Кашким С. Ю., Покровский А. В.

Искусственный интеллект, робототехника и защита прав человека в Европейском Союзе

S. Y. KASHKIN,

Chief of the Chair of Integration and European Law of the Kutafin Moscow State Law University (MSAL), doctor of law, professor,

Honored lawyer of the RF [email protected] 125993, Russia, Moscow, ul. Sadovaya Kudrinskaya, 9

A. V. POKROVSKY,

postgraduate, Integration and European Law Department, Kutafin Moscow State

Law University (MSAL) [email protected] 125993, Russia, Moscow, ul. Sadovaya-Kudrinskaya, 9

ARTIFICIAL INTELLIGENCE, ROBOTICS AND THE PROTECTION OF HUMAN RIGHTS IN THE EUROPEAN UNION

Abstract. The aim of the article is to analyse the legal problems associated with the protection of human rights and freedoms in the development and use of artificial intelligence systems in the European Union. Scope of the study are the norms of international law and European Union law, aimed at solving these problems. The article is written using general scientific, philosophical and special legal methods of cognition, in particular, formal-legal comparative-legal, analytical methods and systematic approach. The analysis of the system of guarantees of the protection of human rights and freedoms in the European Union related to the development and use of artificial intelligence systems, given in the article, is carried out for the first time in Russian legal science. Based on the analysis of the existing legal norms, the article examines possible threats of the violation of human rights and freedoms in the European Union when using artificial intelligence systems. The article gives the approach to ensuring the system of guarantees of human rights and freedoms in the EU. The role of the institutions, bodies and offices of the European Union in this process, in particular, the role of the European Ombudsman, is considered. The guarantees of human rights and freedoms are given through the prism of the concept of «good governance». Based on the results, the article gives possible ways of ensuring human rights guarantees in connection with the circulation of artificial intelligence technologies and reveals the areas which require changes in legal regulation. The provisions formulated in this article can be used to carry out further research on issues related to the development and use of artificial intelligence, as well as to improve the legal framework in this area.

Keywords: European Union, artificial intelligence, robotics, European ombudsman, human rights, protection of rights, maladministration.

>

Ш

Т □

Р И

Т m Т

I

□

m

МНЕНИЕ

>

в М УНИВЕРСИТЕТА

4-—^ и мени О. Е. Кутафи на (МПОА)

Введение

С появлением государства и права права человека всегда были самым эффективным мотиватором поведения людей и способом управления ими, средством государственного управления обществом. Это осталось удобным инструментом и для интеграционных организаций, в частности в их признанной модели — Европейском Союзе.

И если весь набор прав и свобод человека и не был обозначен в момент создания ЕС, точнее ЕОУС, то он имманентно присутствовал еще в коммунитарной идее Монне-Шумана 1950 г., в том, что государства объединяются на основе неотъемлемых интересов составляющих союз государств и народов, которые состоят из граждан, а следовательно, из интересов людей тоже. В свою очередь, интеграцию следует осуществлять поэтапно — и на каждом этапе должно происходить улучшение положения граждан.

Это два главных условия интеграции, позволяющие соединить интересы государства с интересами каждой отдельной личности. Опора на интересы граждан и способность соединить их с интересами государства усиливают внутригосударственную интегрированность, что дает в результате и усиление межгосударственной интеграции. Такая взаимосвязь внутригосударственной интеграции и интеграции международной имеет чрезвычайно большое значение, особенно для федеративных государств, к которым относится Российская Федерация.

При этом само предоставление прав гражданам началось не с законодательного закрепления их в учредительных договорах, а с практической деятельности Суда Европейских сообществ. Сначала это были типичные для философии государства всеобщего благоденствия права, а потом они стали расширяться и получили в Хартии Европейского Союза об основных правах 2000 г. самый современный и привлекательный перечень. Его можно рассматривать как своеобразную правовую идеологическую витрину европейской демократии.

С развалом СССР многие социальные права и социалистические достижения были успешно заимствованы европейским правом и практикой, а идеологическая борьба по вопросам прав и свобод человека и гражданина была формально завершена в пользу западной демократии.

Сегодня, в условиях шестого научно-технологического уклада, происходит всеобъемлющая кардинальная смена миропорядка, в котором меняются экономика, политика, право, идеология, ценности и даже сама человеческая личность, не говоря уж о правах человека.

Возможности эффективного применения искусственного интеллекта (далее — ИИ) и робототехники делают количество человеческого материала, необходимого для обеспечения потребностей новой роботизированной экономики, основанной на искусственном интеллекте, избыточным. Поэтому неудивительно, что профессор Фукуяма недавно отметил в качестве общей тенденции развития современного общества падение интереса к демократии и бюрократизацию внутренней жизни2.

2 Данилов И. Фукуяма раскрыл секрет Путина и Трампа // РИА новости 17.09.2018. 11Р1_: 1п1^://па/ги/апа1у1:^/2018 09 18//15 286 75757.html.

УНИВЕРСИТЕТА Искусственный интеллект, робототехника имени o.e. кугафина(мгюА) и защита прав человека в Европейском Союзе

Борьба за права многочисленных сексуальных и других меньшинств подменяет сегодня заботу о правах человека, демократии, одновременно способствуя и сокращению «ненужного» населения. «Уже более 20 лет Запад вмешивается в дела многих стран под предлогом прав человека. Усиление авторитаризма в многополярном мире, а также недовольство и агрессия по отношению к Западу ставят под сомнение модель глобализации прав человека, о которой мечтали на рубеже веков»3.

На пути в будущее, как на картине Васнецова «Три богатыря», мир стоит перед выбором: чьи интересы должны быть основополагающими? Государства, общества или человека?

Традиционные «государственники», естественно, считают главным актором будущего государство и его интересы.

Коммунисты (например, проект С. Глазьева)4 в качестве основной цели России в ближайшем будущем видят направленность новой «управляемой рыночной экономики» на рост общественного благополучия, т.е. общество и его интересы как главную ценность.

Исследователи искусственного интеллекта и законодательства в этой сфере уверенно ставят на первое место человека, личность, его сознание, индивидуальность и защищенность, в том числе и от искусственного интеллекта и робототехники. Мы — сторонники учета примата интересов человеческой личности в развитии прав человека, ибо, только сохранив личность человека, можно создать для людей достойное общество. Интегрировать и соединять интересы человека и общества в будущем призвано справедливое государство с «человеческим лицом».

1. Правовые проблемы искусственного интеллекта и права граждан ЕС

В Европейском Союзе проект в области искусственного интеллекта, ставший реальным шагом к созданию общей платформы ИИ для всей Европы, стартовал с 1 января 2019 г5 Объединение достижений и инвестиций в сфере искусственного интеллекта является продолжением и развитием более общей Стратегии единого цифрового рынка для Европы. Она одобрена Европейским Советом в 2015 г.6

3 Александр дель Валль. Почему либеральная демократия сдает позиции // URL: https:inosmi.ru/politic/20160328/235889927.html.

4 Глазьев С. Стратегия опережающего развития России в условиях глобального кризиса. М. : Экономика. 2010.

5 Проект AI4EU, лидером которого стала французская компания «Thales», объединил ^ 79 ведущих исследовательских институтов, предприятий малого, среднего и крупного

бизнеса из 21 страны и получил финансирование в сумме 20 млн евро на следующие три года. На проекты в сфере робототехники, призванные помочь малым и средним предприятиям в применении новых цифровых технологий и ИИ, Европейская комиссия m

в декабре 2018 г приняла решение направить 66 млн евро. j

6 Communication from the Commission COM(2015) 192 «A Digital Single Market Strategy for

Europe». По ожиданиям Европейской комиссии, создание единого цифрового рынка мо- МНЕНИЕ

>

в М УНИВЕРСИТЕТА

L-—и мени О. Е. Кутафи на (МПОА)

и включена в перечень десяти приоритетных направлений деятельности Европейской комиссии7.

Европейский Союз высоко оценивает степень важности как возможностей, открывающихся в связи с появлением искусственного интеллекта в человеческой жизни, так и вызовов, которые несет его использование8. Развитие и внедрение на государственном и тем более наднациональном и международном уровнях такого общественно значимого феномена, как искусственный интеллект, предполагает проведение тщательного и всестороннего анализа тех изменений, необходимость в которых возникает в связи с включением ИИ в различные сферы жизни общества, в том числе новелл в сфере нормативно-правового регулирования прав и свобод человека и гражданина.

Как искусственный интеллект и робототехника влияют на права и свободы граждан Европейского Союза?

Прежде всего — это несомненный положительный эффект этих нововведений, который логичен, предсказуем и понятен. Если говорить в общем, то робототехника и связанные с ней технологии искусственного интеллекта могут помочь усовершенствовать возможности человека, что принесет пользу как человеку, так и обществу в целом.

Вот лишь небольшой перечень тех областей жизни, которые могут получить значимые качественные улучшения в результате разработки и освоения технологий ИИ:

— охрана здоровья людей, профилактика и диагностирование заболеваний, выбор оптимальных форм и методов лечения, проведение хирургических операций;

— обеспечение законности и общественного порядка, профилактика правонарушений (включая защиту границ, предотвращение террористических атак, розыск людей и транспортных средств);

— охрана окружающей среды и рациональное природопользование, энергосбережение, прогнозирование природных процессов и явлений и воздействие на них (в том числе в сельскохозяйственных целях), действия в чрезвычайных ситуациях;

— улучшение условий труда, снижение их опасности, вероятности появления профессиональных заболеваний и в целом облегчение труда в определенных

жет привнести в экономику ЕС 415 млрд евро в год и создать сотни тысяч новых рабочих мест (URL: https://ec.europa.eu).

7 Jean-Claude Juncker. A New Start for Europe: My Agenda for Jobs, Growth, Fairness and Democratic Change. Political Guidelines for the next European Commission.

Основные приоритеты устанавливаются Президентом Европейской комиссии в рамках его мандата каждые пять лет. Продолжение работы по вопросу искусственного интеллекта посредством совместных действий на территории всего Европейского Союза предусмотрено также Рабочей программой Европейской комиссии на 2019 год // URL: https://ec.europa.eu.

8 В частности, Европейская комиссия в своем сообщении «Искусственный интеллект для Европы» констатирует: «Как паровой двигатель или электричество в прошлом, ИИ преобразует наш мир, наше общество и нашу промышленность» (Communication COM(2018) 237 «Artificial Intelligence for Europe». P. 2).

УНИВЕРСИТЕТА Искусственный интеллект, робототехника имени o.e. кугафина(мгюА) и защита прав человека в Европейском Союзе

областях, создание новых рабочих мест, сохранение или повышение трудоспособности людей с ограниченными возможностями;

— транспортная безопасность, снижение смертности на дорогах, развитие возможностей для мобильности людей и грузов;

— совершенствование механизмов государственного управления, взаимодействия государства и общества;

— освоение новых рынков, совершенствование реализуемых товаров, работ и услуг.

Технологии ИИ также помогают человеку обучаться, расширять границы собственных знаний и навыков.

Внедрение цифровых технологий в человеческую жизнь, как отмечает Европейский Совет, «предлагает огромные возможности для инноваций, роста и создания рабочих мест, будет способствовать нашей глобальной конкурентоспособности и расширению творческого и культурного разнообразия»9.

Не будем в этой статье подробно останавливаться на раскрытии возможностей и выгод искусственного интеллекта, которые уже были описаны достаточно подробно, в том числе европейскими разработчиками Стратегии единого цифрового рынка.

А вот опасности и правовые проблемы, которые таит в себе их применение на практике, заслуживают более подробного анализа.

Так, военное применение искусственного интеллекта нарушает самое основное естественное и неотъемлемое право человека — право на жизнь.

Право на жизнь закреплено в ст. 2 Хартии Европейского Союза об основных правах: «Каждый человек имеет право на жизнь». Реализация этого права предполагает активные действия Европейского Союза, государств-членов, их институтов, органов, учреждений и должностных лиц по созданию и поддержанию безопасных условий жизни на территории Союза.

В настоящее время искусственный интеллект развивается практически во всех сферах деятельности вооруженных сил многих государств. Это неудивительно, поскольку в истории известно много случаев, когда новейшие достижения науки брались в разработку и на вооружение (в прямом смысле) в первую очередь военными ведомствами.

Однако как будет сочетаться с правом человека на жизнь, закрепленным в Хартии Европейского Союза об основных правах, а также во Всеобщей декларации прав человека 1948 г., в Европейской конвенции о защите прав человека и основных свобод и практически во всех конституциях мира, право (возможность) юнита с искусственным интеллектом принимать решение о том, должно ли производиться уничтожение людей или объектов, в которых могут находиться люди (даже во время ведения боевых действий)? А если будут начаты боевые действия против людей, которые согласно нормам международного права являются мирным населением или не сражающимися участниками конфликта (некомбатантами)?

Кого нужно будет признавать субъектом ответственности в случае ошибки при принятии такого решения? Кто должен быть привлечен к ответственности, если

9

>

European Council conclusions of 19.10.2017 EUCO 14/17. P. 5 // URL: https://www.consilium. europa.eu. МНЕНИЕ

m Т

I

□

m

>

4/2Ü19

в Я УНИВЕРСИТЕТА

L-—и мени О. Е. Кутафи на (МПОА)

юнит с искусственным интеллектом действовал без «опознавательных знаков» (например, не был зарегистрирован, не содержит информации о его владельце) или в результате утраты владельцем контроля над ним перешел под контроль злоумышленников (в том числе и посредством удаленного доступа)?

Уже сегодня становится реальностью имплантация киберфизических систем в тело человека. Европейский парламент в своем отчете от 27.01.2017 с рекомендациями для Европейской комиссии по гражданско-правовому регулированию робототехники обращает внимание на риск, связанный с возможностью взлома или отключения оперативных систем программирования, встроенных в организм человека, либо стирания их памяти, что может поставить под угрозу здоровье человека, а в особых случаях даже его жизнь10.

С целью исключения вышеназванных негативных ситуаций возможно ли разработать и применять при производстве и эксплуатации технических устройств, оснащенных ИИ, определенные стандарты безопасности и обеспечить должный уровень контроля за действием этих устройств?

На все эти вопросы, в контексте развития технологий обретающие непосредственную связь с гарантиями права человека на жизнь, в законодательстве пока нет ответа, при этом разработка систем искусственного интеллекта в военных целях не только уже ведется, но и имеет результаты11.

Последствия использования юнитов искусственного интеллекта в государственном управлении изначально подрывают идею управления людей людьми на основе демократических процедур и принципов.

Применение основанных на искусственном интеллекте и робототехнике социальных рейтингов, уже используемых на практике в КНР, полностью отвергает принцип равенства граждан. Оно практически создает условия для возвращения общества в кастовое прошлое и управление на основе страха и насилия государства над бесправной оцифрованной личностью.

Демократические традиции государств — членов ЕС имеют глубокие исторические корни. Главенствующее место в системе принципов права Европейского Союза занимают его ценности, содействие которым является одной из основополагающих целей ЕС. Статья 2 Договора о Европейском Союзе (далее ДЕС) гласит: «Союз основан на ценностях уважения человеческого достоинства, свободы, демократии, равенства, правового государства и соблюдения прав человека».

Упомянутые ценности отражают фундаментальные основы создания и функционирования ЕС. Именно они были положены в основу Хартии Европейского Союза об основных правах, входящей в состав учредительных договоров ЕС и являющейся источником права ЕС высшей юридической силы. Эти ценности, как указывается далее в ст. 2 ДЕС, «являются общими для государств-членов в рамках общества, характеризующегося плюрализмом, недискриминацией, терпимостью, справедливостью, солидарностью и равенством женщин и мужчин».

10 European Parliament. Report A8-0005/2017 of 27.01.2017 with recommendations to the Commission on Civil Law Rules on Robotics (2015/2103(INL)). P. 15.

11 О применении таких систем в России см., например, интервью с первым заместителем министра обороны РФ Р. Х. Цаликовым на конференции «Искусственный интеллект: проблемы и пути решения» (URL: https://ria.ru/20180315/1516469827.html).

УНИВЕРСИТЕТА Искусственный интеллект, робототехника 7\

имени o.e. кугафина(мгюА) и защита прав человека в Европейском Союзе

Отношение именно к этим ценностям Европейский Союз оценивает, рассматривая вопрос о возможности приема того или иного государства в члены ЕС.

Подход Европейского Союза к новым технологиям и к изменениям, которые они влекут, также базируется на его ценностях. Это провозглашает Европейская комиссия в своем сообщении «Искусственный интеллект для Европы»12. Но если не предпринять своевременно комплекс технических, организационных и правовых мер, направленных на обеспечение верховенства общечеловеческих ценностей и фундаментальных прав при происходящих в сфере ИИ и робототехники изменениях, то существующая на сегодняшний день реальная угроза их умаления может обрести системный характер.

В результате внедрения искусственного интеллекта в сферу социального управления возникают не только проблемы морально-этического характера, связанные с подменой «человеческого» управления управлением, основанным на принятии решений машиной. Применение юнитов искусственного интеллекта в управлении людьми в силу отсутствия у роботов духовного, нравственного начала с закономерностью приводит к утрате справедливости, нравственности при осуществлении управления, и в конечном счете — к утрате человечности. Конечно, значима для проявления указанного риска масштабность применения систем ИИ в управлении обществом, например, предоставление им права определения социально-экономических моделей, принятия решений в сфере государственного управления, вынесения судебных постановлений.

Утрата ориентиров подлинно человеческой справедливости и нравственных начал в управлении закладывает основы для проявлений дискриминации, нарушения принципов равенства и демократии, причем не только в «традиционных», известных сегодня обществу аспектах (мужчины — женщины, богатые — бедные, европеоиды — негроиды, представители разных религий, идеологий и т.д.). Безусловно, робототехнические устройства с искусственным интеллектом создаются для служения человеку и воспримут то, что заложил в них сам человек.

Но эти системы — самообучающиеся, при этом логику их решений человек не всегда может проследить полностью. Поэтому системы ИИ могут как способствовать дискриминации какой-либо одной группы людей в пользу другой в результате заданных алгоритмов программирования, так и прийти к необходимости (целесообразности с точки зрения заложенного в них алгоритма, развитого посредством самообучения) такой дискриминации на основе собственного решения (например, при предоставлении приоритета коллективным целям и развитию общества, как оно «видится» машине в данный момент, в противовес правам индивида). Особенно опасно, если при выборе между интересами человека и думающей машины, юнит ИИ может отдать предпочтение роботу с искусственным интеллектом...

В проекте руководящих этических принципов для надежного искусственного интеллекта, разработанном экспертной группой Европейской комиссии по искусственному интеллекту, указывается: «Прямая или косвенная дискриминация посредством использования ИИ может служить для создания предвзятости и изолирования определенных групп. Те, кто контролирует алгоритмы,

>

I

□

m

Communication COM(2018)237 «Artificial Intelligence for Europe». P. 3—4, 14. МНЕНИЕ

>

12

Я Я УНИВЕРСИТЕТА

L-—и мени О. Е. Кутафи на (МПОА)

могут намеренно пытаться достичь несправедливых, дискриминационных или предвзятых результатов, чтобы исключить определенные группы лиц. Например, преднамеренный вред может быть достигнут путем явного манипулирования данными для исключения определенных групп. Вред также может быть вызван использованием предубеждений потребителей или недобросовестной конкуренцией, такой как установление единых цен посредством сговора или непрозрачного рынка»13.

Как показывают приведенные примеры, отсутствие необходимой правовой среды при введении систем искусственного интеллекта в общественные отношения может явиться причиной подрыва демократических основ государственного строя.

Юниты искусственного интеллекта могут быть успешно использованы в процессе судебной деятельности, в том числе для анализа судебной практики и обоснования судебных решений. Это одновременно может привести к нарушению права граждан на справедливое судебное разбирательство. Ускорение рассмотрения судебных дел в таком случае не всегда приводит к гуманизации судебной деятельности и соблюдению принципа справедливости. А ведь это одна из основ современного представления о правовом государстве, закрепленного в большинстве современных конституций стран мира и следует из сути первичных документов Европейского Союза, возводящих эти принципы уже на наднациональный уровень!

Право на эффективные средства правовой защиты и доступ к беспристрастному суду предусматривается учредительными документами Европейского Союза: «Каждый, чьи права и свободы, гарантированные правом Союза, были нарушены, имеет право на эффективные средства правовой защиты в суде... Каждый имеет право на справедливое, публичное рассмотрение его дела в разумный срок независимым и беспристрастным судом, который предварительно учрежден законом»; «Каждый обвиняемый считается невиновным до тех пор, пока его виновность не будет установлена в законном порядке» (ст. 47, § 1 ст. 48 Хартии Европейского Союза об основных правах).

Европейский Союз располагает собственным наднациональным органом судебной власти — это Суд Европейского Союза, включающий в себя Суд (высшее звено), Трибунал (второе звено) и специализированные трибуналы (судебные органы, наделенные полномочиями по рассмотрению и разрешению строго определенных категорий правовых споров). Государства-члены устанавливают способы обжалования, необходимые для обеспечения эффективной судебной защиты в сферах, регулируемых правом Союза14.

В Суд Европейского Союза за рассмотрением и разрешением им дел в пределах его компетенции могут обращаться как граждане и юридические лица (при этом не только граждане и юридические лица ЕС), так и государства-члены и их органы, а также институты ЕС.

13 The European Commission's High-level expert group on artificial intelligence. Draft Ethics Guidelines for Trustworthy AI. Working Document for stakeholders' consultation. Brussels, 18.12.2018 // URL: https://ec.europa.eu. P. 23.

14 Договор о Европейском Союзе. Ст. 19.

в

L-i

УНИВЕРСИТЕТА Искусственный интеллект, робототехника имени o.e. кугафина(мгюА) и защита прав человека в Европейском Союзе

Решения Суда Европейского Союза по своей юридической природе выступают не только правоприменительными, но и де-факто в определенной степени правотворческими актами, образуя самостоятельную группу источников права Европейского Союза15.

Посредством выносимых им решений Суд ЕС вносит значительный вклад в решение проблемы защиты основополагающих прав и свобод человека и в целом в формирование и развитие принципов права Европейского Союза, основываясь на «общих для государств-членов конституционных традициях»16, нормах международных договоров и общепризнанных принципах международного права.

Учитывая специфику деятельности по отправлению правосудия, в частности деятельности Суда Европейского Союза, возможно ли делегирование системе искусственного интеллекта полномочий по рассмотрению и разрешению судебных дел? Несмотря на сверхвозможности таких систем по обработке массивов информации, сопоставлению правовых норм и актов правоприменения, потенциально высокую степень формализации и непредвзятость выносимых решений, возможна ли в их работе оценка доказательств «по внутреннему убеждению» — принцип, воспринятый большинством стран системы континентального права17?

Устранение оценки факторов, не имеющих явных логических взаимосвязей, и так называемого «человеческого фактора» из процесса принятия судебных решений может негативно сказаться на обоснованности и справедливости таких решений и в целом на состоянии защищенности фундаментальных прав личности.

Возможности всеобъемлющего применения роботизации и искусственного интеллекта в производстве ставит под вопрос само право человека на труд и использование его результатов. Здесь под вопросом оказывается существование всего комплекса трудового права, сначала в области физического труда, а потом и умственного.

Право на труд и свобода профессиональной деятельности входят в число фундаментальных прав и свобод граждан Европейского Союза: «Каждый имеет право на труд и право заниматься профессией, которую он свободно выбрал для себя или по которой добровольно согласился работать» (ст. 15 Хартии Европейского Союза об основных правах). Хартией предусматриваются право на защиту в случае неосновательного увольнения, право на надлежащие и справедливые условия труда, право на защиту молодых людей на рабочем месте (ст. 30—32 Хартии) и ряд других прав в сфере труда и занятости.

15 Например, в преамбуле Хартии Европейского Союза об основных правах (2007/С 303/01) говорится: «Настоящая Хартия подтверждает права, которые вытекают, в частности из общих для государств-членов конституционных традиций и международных ^ обязательств, из Европейской конвенции о защите прав человека и основных свобод,

Упомянем этот принцип в настоящей статье в силу факта его существования, не углубля-

00

из Социальных хартий, принятых Союзом и Советом Европы, а также из судебной практики Суда Европейского Союза и Европейского Суда по правам человека».

16 Принцип, выработанный Судом Европейского Союза, позднее получил закрепление Е

в Договоре о Европейском Союзе (§ 3 ст. 6). Н

□ m

ясь в вопросы рассмотрения положительных и отрицательных сторон его применения. МНЕНИЕ

>

Я Я УНИВЕРСИТЕТА

L-—и мени О. Е. Кутафи на (МПОА)

При внедрении систем искусственного интеллекта возникает вопрос о будущем трудовых отношений, изменяемых вследствие влияния искусственного интеллекта на предложение и спрос на человеческий труд, так как системы ИИ позволяют роботизированным юнитам выполнять многие задачи, заменив людей на занимаемых ими ныне рабочих местах.

Европейский экономический и социальный комитет в своем заключении от 31.08.2017 «Искусственный интеллект — последствия искусственного интеллекта на (цифровом) едином рынке, в производстве, потреблении, занятости и обществе» отметил: «.ясно, что ИИ будет оказывать влияние на уровень занятости, а также на существо и характер многих профессий и, следовательно, также на социальную систему»18.

«ИИ меняет характер работы: одни рабочие места будут создаваться, другие исчезнут, большинство из них будут преобразованы. Модернизация образования на всех уровнях должна быть приоритетом для правительств. Все европейцы должны иметь все возможности приобрести необходимые навыки. Необходимо развивать таланты, поощрять гендерный баланс и разнообразие» — отмечается в опубликованном в 2018 г. сообщении Европейской комиссии «Искусственный интеллект для Европы»19: «ЕС должен сосредоточить усилия, чтобы помочь работникам тех профессий, которые, вероятно, претерпят наибольшие трансформации или исчезнут вследствие автоматизации, робототехники и искусственного интеллекта. Это является мерой по обеспечению права всех граждан, включая работников по найму и самозанятых, на социальную защиту»20. Вопросам изменений в сфере труда уделяется внимание и в других, принятых в 2015—2019 гг. документах Европейского Союза21.

Как вышеперечисленные гарантии трудовых прав будут сочетаться с новшествами, объективно привносимыми в общественные отношения искусственным интеллектом? Очевидно, что ЕС признает существование этого «большого вызова». Трансформации рынка труда, связанные с внедрением в жизнь человека искусственного интеллекта, без сомнения, потребуют внесения изменений в законодательство, при этом такие изменения желательно вводить заблаговременно, чтобы избежать отставания нормативного регулирования от фактически складывающихся в обществе отношений и предотвратить возможные отрицательные социальные последствия от введения ИИ или компенсировать их эффект (на-

18 Opinion of the European Economic and Social Committee on 'Artificial intelligence — The consequences of artificial intelligence on the (digital) single market, production, consumption, employment and society' (own-initiative opinion) (2017/C 288/01). OJ C288. P. 9.

19 Communication from the European Commission COM(2018)237 «Artificial Intelligence for Europe». P. 3.

20 Communication from the European Commission COM(2018)237 «Artificial Intelligence for Europe». P. 12.

21 Communications from the European Commission of 06.05.2015 COM(2015)192 «A Digital Single Market Strategy for Europe», of 19.04.2016 COM(2016)180 «Digitising European Industry Reaping the full Benefits of a Digital Single Market», of 07.12.2018 COM(2018)795 «Coordinated Plan on Artificial Intelligence», of 23.10.2018 COM(2018)800 Commission Work Programme 2019.

УНИВЕРСИТЕТА Искусственный интеллект, робототехника 7^5

имени o.e. кугафина(мгюА) и защита прав человека в Европейском Союзе

пример, в вопросах возможных массовых увольнений или установления сфер, в которых допустимо использование искусственного интеллекта).

Кроме того, представляется вполне обоснованным, что «трудовым правом должны быть урегулированы вопросы, касающиеся недопустимости дискриминации при использовании Big Data и ограничения для работодателей возможностей по применению различных гаджетов с целью отслеживания деятельности работников»22.

Упоминание права работников на приватность подводит нас к еще одной области, «вторжение» искусственного интеллекта в которую вызывает обоснованное беспокойство, — конфиденциальности персональных данных и сохранению неприкосновенности частной жизни граждан. Применение технологий искусственного интеллекта позволяет открыто вмешиваться в частную жизнь, сводя на нет это недавно завоеванное людьми право.

Право человека на неприкосновенность частной жизни и защиту данных личного характера закреплено в гл. II «Свободы» Хартии Европейского Союза об основных правах.

«Каждый человек имеет право на уважение своей частной и семейной жизни, своего жилища и своих коммуникаций». «Каждый человек имеет право на защиту относящихся к нему данных личного характера. Обработка подобных данных должна производиться добросовестно, в четко определенных целях, с согласия заинтересованного лица, либо при наличии других правомерных оснований, предусмотренных законом. Каждый человек имеет право на получение доступа к собранным в отношении него данным и право на устранение в них ошибок» (ст. 7, § 1, 2 ст. 8 Хартии).

Указанные положения основаны на ст. 8 Конвенции о защите прав человека и основных свобод от 04.11.1950 и Конвенции Совета Европы о защите частных лиц в отношении автоматизированной обработки персональных данных от 28.01.1981. Соответствующие положения содержатся также в ст. 16 Договора о функционировании Европейского Союза. «Данные нормы направлены на защиту права индивида самостоятельно принимать решение об использовании его персональных данных, что чрезвычайно важно в свете огромных объемов собранных, использованных и передаваемых персональных данных»23.

Необходимость сбора огромного объема данных и оперирования ими предопределяется самим существом систем искусственного интеллекта —такого рода данные необходимы этим системам для целей обучения. Кроме того, областью работы юнитов искусственного интеллекта как раз и являются сбор и анализ данных для принятия на их основе нужных человеку решений. «Осмысливая огромные объемы данных для предложения эффективных решений, ИИ совершенствует продукты, процессы и бизнес-модели во всех секторах экономики», говорится в сообщении Европейской комиссии «Согласованный план в отноше-

□

22 Филипова И. А. Правовое регулирование труда — 2020: смена парадигмы как следствие цифровизации экономики // Юрист. 2018. № 11. С. 31—35. m

23 Постникова Е. В. Некоторые аспекты правового регулирования защиты персональных j данных в рамках внутреннего рынка Европейского Союза // Право. Журнал Высшей

>

школы экономики. 2018. № 1. С. 234—254. МНЕНИЕ

>

Я Я УНИВЕРСИТЕТА

L-—и мени О. Е. Кутафи на (МПОА)

нии искусственного интеллекта»24. Именно доступность обработки большого объема данных сделала искусственный интеллект одной из важнейших технологий современности. «В нашем гипотетическом роботе будущего ИИ и суперкомпьютеры, очевидно, являются мозгами, питаемыми данными, проходящими через них; ЕС играет роль сердца, обеспечивая, чтобы «тело» получало необходимые ресурсы»25.

Большой объем и глобальный оборот данных являются важнейшими факторами и необходимым условием развития технологии искусственного интеллекта. Однако эти существенные изменения в сфере информации затрагивают отношения обмена персональными данными и охраны частной жизни таким образом, что последние требуют принятия дополнительных мер по их защите.

Вступивший в силу с 25.05.2018 Общий регламент о защите данных (General Data Protection Regulation (GDPR))26 назван Европейской комиссией «якорем доверия к единому рынку данных», который «установил новый глобальный стандарт с упором на права человека, отражающий европейские ценности, и является важным элементом обеспечения доверия к ИИ»27. Однако в Регламенте отмечается, что «право на защиту персональных данных не является абсолютным правом; его необходимо рассматривать относительно его функции в обществе, оно должно быть уравнено с другими основными правами в соответствии с принципом пропорциональности».

При этом в сообщении Европейской комиссии «Искусственный интеллект для Европы» уже обозначена позиция властей ЕС, обозначающая тенденцию к сужению права человека по своему усмотрению владеть и распоряжаться информацией о себе, пока, по крайней мере, на уровне призыва: «Государственная политика должна также поощрять более широкую доступность частных данных, обеспечивая при этом полное соблюдение законодательства о защите персональных данных»28.

Сужение сферы неприкосновенности частной жизни вследствие сбора, объединения и анализа огромного массива данных об индивидах тем опаснее, что сбор информации сейчас может осуществляться в том числе в таких сферах и такими способами, которых рядовой человек даже не предполагает. Многие потребительские товары уже имеют встроенный ИИ: бытовая техника, детские игрушки, автомобили, приборы для отслеживания данных о здоровье, телефо-

24 Communication from the European Commission of 07.12.2018 C0M(2018)795 «Coordinated Plan on Artificial Intelligence». P. 2.

25 Viola R. Artificial Intelligence, Real Benefits. 18.12.2018 // URL: https://ec.europa.eu/digital-single-market/en/news/artificial-intelligence-real-benefits.

26 Регламент № 2016/679 Европейского Парламента и Совета Европейского Союза «О защите физических лиц при обработке персональных данных и о свободном обращении таких данных, а также об отмене Директивы 95/46/ЕС (Общий Регламент о защите персональных данных)».

27 Communication from the European Commission of 07.12.2018 C0M(2018)795 «Coordinated Plan on Artificial Intelligence». P. 7.

28 Communication from the European Commission C0M(2018)237 «Artificial Intelligence for Europe». P. 11.

в

L-i

УНИВЕРСИТЕТА Искусственный интеллект, робототехника 7 7

имени o.e. кугафина(мгюА) и защита прав человека в Европейском Союзе

ны («смартфоны»). Все эти продукты передают данные, в том числе личные, на хранилища удаленного доступа (так называемые «облачные» платформы) своих производителей, разработчиков программного обеспечения и (или) компаний, оказывающих услуги.

На вопрос о том, является ли при этом конфиденциальность переданной информации в достаточной мере гарантированной, нельзя всегда с уверенностью дать утвердительный ответ, особенно учитывая, что торговля данными в настоящее время процветает. Это означает, что полученные данные могут не оставаться у получившего их лица, а быть переданы третьим лицам. Является потенциально отслеживаемой почти любая информация о пользовании современными электронными устройствами, об осуществлении платежей, зачастую — о передвижениях (причем не обязательно осуществленных с использованием электронных систем навигации).

Как результат, сбор и соответствующая обработка данных об индивидах уже сейчас могут приводить к дискриминации, к нарушению принципов равенства и справедливости, позволяют осуществлять манипулирование правами человека (об этих аспектах уже было сказано выше).

При этом нельзя не согласиться с П. М. Морхатом в том, что «нарушение права человека на приватность (в частности — на конфиденциальность личной информации) при применении искусственного интеллекта может быть не всегда сопряжено с очевидно ненадлежащими действиями его оператора или с достижением неправомерных целей, оно может быть побочным эффектом при достижении важных целей, отвечающих в целом общественным интересам»29. Как обеспечить в данном случае баланс частного, общественного и контроль за следованием критериям разграничения при установлении этого баланса?

Кроме того, как и в отношении других прав человека, возникает вопрос соблюдения права людей на приватность самой системой ИИ при исполнении заложенного в нее алгоритма и выборе соответствующего формата поведения на основе выводов, явившихся результатом ее самообучения.

Очевидно, что новые отношения, порождаемые вхождением в нашу жизнь искусственного интеллекта, несут в себе не только новые возможности, но и порождают существенные риски, в частности в области дискриминации и вторжения в сферу прав человека во многих областях30. Эти вопросы, являющиеся действительно глобальными вызовами человечеству, требуют адекватных и своевременных ответов.

Использование искусственного интеллекта создает существенные проблемы в правовом регулировании вопросов принадлежности интеллектуальной собственности. И это в условиях, когда услуги становятся дороже, чем товары, а материальная ценность результатов интеллектуальной деятельности превосходят стоимость услуг, не говоря уже о том, что они предопределяют перспективы развития человечества. Именно они становятся главными ценностями мира будущего! Они становятся основным источником современного синергетического

>

"О И

Т

--т

Морхат П. В. Искусственный интеллект: правовой взгляд : монография. М., 2017. С. 178. н

См., например: сообщение Европейской комиссии «Искусственный интеллект для Ев- Е

ропы» С0М(2018)237. С. 23. МНЕНИЕ

>

в Я УНИВЕРСИТЕТА

L-—и мени О. Е. Кугафи на (МПОА)

и мультипликационного эффекта интеллектуального и материального производства нашей цивилизации.

Европейский парламент в отчете от 27.01.2017 с рекомендациями для Европейской комиссии по гражданско-правовому регулированию робототехники отмечает, что «не существует правовых положений, которые конкретно применяются к робототехнике, но существующие правовые режимы и доктрины могут быть легко применены к робототехнике, хотя некоторые аспекты, по-видимому, требуют особого рассмотрения»31.

Европейская комиссия в сообщении «Искусственный интеллект для Европы» отмечает: «Потребуется размышление о взаимодействии между ИИ и правами интеллектуальной собственности, с точки зрения как ведомств интеллектуальной собственности, так и пользователей, с целью содействия инновациям и правовой определенности на сбалансированной основе»32.

Использование искусственного интеллекта для создания произведений может иметь последствия для интеллектуальной собственности, при этом возникают вопросы, например, о патентоспособности, авторском праве и праве собственности на созданный «трудом» юнита искусственного интеллекта результат. Возможно ли будет утверждать, что такие объекты авторского права созданы творческим трудом человека? Как расценить вклад юнита в его создание? Кто должен обладать авторскими правами на произведение (например, владелец юнита, заказчик, поставивший ему задачу, его производитель, лицо, осуществлявшее его обучение, или правообладатели информации, на основании которой юнит обучался)? Возможно ли рассматривать юнита ИИ в качестве автора и есть ли вообще правовые основания для постановки подобного вопроса?

Кроме того, поскольку доступ к как можно большему объему данных является необходимым условием обучения систем ИИ (о чем говорилось выше), то представляется, что возникнет вопрос об изменении законодательства об интеллектуальной собственности с целью обеспечения «свободного потока данных» (англ. free flow of data), необходимого для дальнейшего развития и использования робототехники.

В свете развития искусственного интеллекта и робототехники, ввиду необходимости определения правового статуса юнитов с ИИ и результатов их функционирования, обоснованно возникла проблема признания «электронного лица». Отсюда вопрос правосубъектности юнитов искусственного интеллекта, как и в человеческом обществе, делится на две группы:

— правосубъектность юнитов искусственного интеллекта, сопоставимая с правосубъектностью физического лица;

— правосубъектность юнитов искусственного интеллекта, сопоставимая с правосубъектностью юридического лица.

Необходимо найти такие формы электронного лица, юнита искусственного интеллекта, которая смогла бы на правовом уровне и в правовых формах со-

31 European Parliament. Report A8-0005/2017 of 27.01.2017 with recommendations to the Commission on Civil Law Rules on Robotics (2015/2103 (INL)). P. 11.

32 Communication from the European Commission C0M(2018)237 «Artificial Intelligence for Europe». P. 15.

УНИВЕРСИТЕТА Искусственный интеллект, робототехника 7^9

имени o.e. кугафина(мгюА) и защита прав человека в Европейском Союзе

вместить в себе и мирно сбалансировать подлинно человеческие характеристики и права человека-создателя и то, что привносится искусственным интеллектом.

Как определить на законодательном уровне тонкую грань между допустимым «очеловечиванием» искусственного интеллекта и «омашиниванием» человеческой личности?

Как сопоставить искусственный интеллект и его сегодня еще трудно предсказуемую способность к саморазвитию (при этом сделав ее управляемой и регулируемой, с учетом безопасности человека) и естественный интеллект человеческой личности и как рассматривать вероятное соревнование между ними? Возможно ли в этой сфере правовое регулирование и каким оно должно быть?

Громадное значение имеют хрупкая человеческая личность, ее сознание, эмоциональное и чувственное восприятие, которые пока еще недоступны машинам. Но и этим основополагающим качествам человека также угрожает искусственный интеллект. Так, вживление в человека чипов, позволяющих контролировать и регулировать его поведение, практически может превратить его в робота и обеспечить управление его поведением. Поэтому важнейшим становится вопрос о сохранении человеческой личности, ее суверенитета, подлинно человеческих качеств и уважении ее достоинства.

Создание человекоподобных роботов с искусственным интеллектом для обслуживания дома и оказания различных интимных услуг для мужчин и женщин может подорвать основы семейных уз и традиционных отношений между мужчиной и женщиной. Это, в свою очередь, влияет на становление и развитие человеческой личности, ее самоидентификации.

Личность человека формируется в процессе воспитания и образования, во что также усиленно вторгается искусственный интеллект в виде робота-учителя. Но не в меньшей мере личность может быть деформирована и в процессе «человеческого» обучения, направленного на подготовку недумающего обслуживающего персонала (с различным по объему и функционалу набором компетенций).

Это как раз «компетентностный» подход к образованию, который превращает человека в механического исполнителя конкретных функций, ограничивая творческий, нестандартный, критический, конструктивный и неординарный подход, чего требуют постоянно меняющиеся условия жизни. Это как раз противоречит потребностям современного мира, которые состоят не столько в конкретных, легко формируемых и оцениваемых «hard skills» («жестких навыков»), сколько в «soft skills» («мягких навыках») — таланте, творческом, неординарном труде, оригинальных решениях. Именно этому компетентностный подход как раз и не учит.

Подготовка «послушного», но неэффективного персонала и избирателя, в том числе и с высшим образованием, осуществляется и путем обучения выбору готовых решений в процессе тестов, вместо обучения анализу, синтезу и прогнозированию постоянно меняющейся обстановки, способности адекватно на эти изменения реагировать. □

Такого рода обучение формирует стандартизированное, «клиповое» мышление, не отвечающее потребностям нашего времени. Но оно также создает условия разрушения творческой личности, ее деформации при столкновении с быстро самообучающимся искусственным интеллектом... И в этом вопросе не столько чисто правовая, сколько образовательная составляющая имеет большое значение.

>

I

□

m

МНЕНИЕ

>

Я Я УНИВЕРСИТЕТА

L-—и мени О. Е. Кутафи на (МПОА)

В свою очередь, вторжение искусственного интеллекта в избирательный процесс и влияние его на конкретных избирателей в массовых масштабах — прямой путь к разрушению основ сути избирательного права и демократии, основанной на выборах. Это путь к формированию еще не понятой, но уже обсуждаемой концепции «новой власти»33, а также возможность создания невиданных в истории тоталитарных (при внешних элементах демократии) режимов как на уровне стран, так и в масштабах региональных и межрегиональных интеграционных организаций, вплоть до глобализации такого явления! И эта проблема требует незамедлительного серьезного исследования.

Анализ новейших европейских правовых инициатив и решений показывает, что для того, чтобы оградить человека от негативного влияния искусственного интеллекта, необходимы правовой контроль и ответственность за создателями, производителями, владельцами, пользователями, арендаторами юнитов искусственного интеллекта, наносящих ущерб людям и имуществу, а также за теми лицами и организациями, которые наносят противозаконный ущерб юнитам искусственного интеллекта.

Итак, очевидно, что «большие вызовы», порождаемые развитием искусственного интеллекта, изменениями в области обработки информации и внедрением цифровых технологий, требуют скоординированных действий органов ЕС, государств-членов и всего европейского общества во многих направлениях социальной жизни, в том числе и в сфере права. Как указывает Европейская комиссия в Стратегии «Единый цифровой рынок для Европы», «все государства-члены борются со схожими проблемами, но на национальной основе, которая слишком ограничена, чтобы позволить им использовать все возможности и решать все проблемы, связанные с этими трансформационными изменениями. Для многих вопросов европейский уровень предлагает правильную основу»34.

Общество как саморазвивающаяся система и право как ее часть, без сомнения, смогут выработать адекватный ответ «большим вызовам» и обеспечить надлежащее правовое регулирование новых отношений на основе уважения человеческого достоинства, справедливости и гуманизма.

2. Система гарантий защиты прав и свобод человека от вторжения искусственного интеллекта в Европейском Союзе

На этом пути особую роль обретают действующие механизмы правовых гарантий прав человека, которые обеспечивают их защиту уже сейчас, когда системы ИИ входят в нашу жизнь. Насколько они эффективны сейчас и будут ли отвечать необходимым требованиям в будущем?

Если рассмотреть систему гарантий прав и свобод человека и гражданина с точки зрения составляющих ее элементов, то в этой системе, которая харак-

33 Heimans J., Timms H. New Power: What Forces Rule the World — and How to Make Them Work for You. Alpina Publisher, 2018.

34 Communications from the European Commission of 06.05.2015 COM(2015)192 «A Digital Single Market Strategy for Europe». P. 3.

УНИВЕРСИТЕТА Искусственный интеллект, робототехника Ц|

имени o.e. кугафина(мгюА) и защита прав человека в Европейском Союзе

терна как для Европейского Союза, так и для его государств-членов, можно выделить три основных элемента:

— материальные гарантии (право лица на компенсацию ущерба и других убытков, причиненных в случае нарушения его прав);

— процессуальные гарантии (реализуемые при осуществлении правосудия, прежде всего в рамках уголовного процесса);

— институциональные гарантии (положения нормативных актов, регулирующие функционирование институтов, органов и учреждений, деятельность которых направлена на охрану и защиту нарушенных прав).

Возмещение убытков, причиненных лицу другими лицами, включая государство, является одним из основных и одним из самых древних средств защиты нарушенных прав. Проработке этого подинститута гражданского права много веков уделяли внимание и теоретики, и законодатели, и правоприменители. Однако в условиях введения в гражданский оборот систем искусственного интеллекта гарантия в форме права лица на возмещение убытков (вреда) может стать не вполне действенной, пока не будут разработаны концептуальные подходы и внесены законодательные изменения, разрешающие вопросы, поставленные перед юриспруденцией появлением последнего поколения систем ИИ:

— кто относится к числу лиц, ответственных за причинение убытков (вреда) юни-том искусственного интеллекта, а также при совершении с «участием» юнита правонарушений (в совокупности с вопросом о праводееспособности самого юнита);

— каковы виды ущерба, подлежащего возмещению;

— каковы способы возмещения ущерба, формы компенсации. Значимость этих вопросов наглядно иллюстрирует утверждение Европейского парламента, содержащееся в его отчете от 27.01.2017 с рекомендациями для Европейской комиссии по гражданско-правовому регулированию робототехники: «...чем более автономны роботы, тем меньше их можно считать простым инструментом в руках других лиц (таких как производитель, оператор, собственник, пользователь и т.д.); это, в свою очередь, ставит вопрос о том, достаточно ли обычных правил об ответственности и требуется ли, чтобы новые принципы и правила обеспечили ясность в отношении юридической ответственности различных субъектов за действия и бездействие роботов в тех случаях, когда причина их не может быть соотнесена с конкретным человеком и когда можно было избежать действий или бездействия роботов, причинивших вред»35.

Говоря о материальных гарантиях прав человека, следует обратить внимание на то, что непосредственно в учредительных документах ЕС предусмотрена имущественная ответственность Европейского Союза. В соответствии со ст. 340 Договора о функционировании Европейского Союза (ДФЕС) и § 3 ст. 41 Хартии Европейского Союза об основных правах ЕС обязан возместить любой ущерб, «причиненный его институтами или сотрудниками при осуществлении своих функций». Соответствующие иски подведомственны Суду ЕС, который назначает размер компенсации исходя из общих принципов возмещения убытков, сложив-

35

>

European Parliament. Report A8-0005/2017 of 27.01.2017 with recommendations to the Commission on Civil Law Rules on Robotics (2015/2103 (INL)). P. 6—7. МНЕНИЕ

m Т

I

□

m

>

4/2Ü19

в М УНИВЕРСИТЕТА

L-—и мени О. Е. Кугафи на (МПОА)

шихся в правовых системах государств-членов. Таким образом, вопрос об ответственности Европейского Союза за ущерб, причиненный при использовании ЕС интеллектуальных систем, также может быть обоснованно поставлен.

Еще одна из материальных гарантий прав человека в Европейском Союзе — имущественная ответственность государств-членов за нарушение субъективных прав, установленных ЕС. Судом ЕС выработано правило, согласно которому государства-члены обязаны компенсировать физическим и юридическим лицам любой ущерб, если он причинен нарушением права ЕС, ответственным за которое может быть признано соответствующее государство36.

Однако следует отметить, что в сфере научных исследований, технологического развития и космоса Европейский Союз выполняет лишь поддерживающую и координирующую функцию и обладает правом проводить соответствующие мероприятия «при условии, что осуществление данной компетенции не будет препятствовать государствам-членам осуществлять свою собственную компетенцию»37, в связи с чем общеобязательных актов в указанной сфере он не издает Поэтому в сфере регулирования отношений, связанных с использованием искусственного интеллекта, реализация данной гарантии потенциально возможна только в тех случаях, когда будут нарушены относящиеся к сфере ИИ нормы правовых актов ЕС, принятых в рамках других направлений его компетенции.

И еще одна материальная гарантия, которая носит в настоящее время ограниченный характер: в случае нарушения государством прав и свобод, закрепленных в Конвенции о защите прав человека и основных свобод, Европейским Судом по правам человека на это государство может быть возложена обязанность выплаты «справедливой компенсации» потерпевшей стороне (ст. 41 указанной Конвенции). До присоединения ЕС к Конвенции, что предполагалось в Лиссабонском договоре, такие меры могут быть применены только к государству-члену (Конвенцию подписали все государства, входящие в Европейский Союз), но не к ЕС в целом.

Процессуальные гарантии в праве Европейского Союза реализуются прежде всего при рассмотрении дел в судах. В Хартии Европейского Союза об основных правах система процессуальных гарантий закреплена в отдельном разделе (разд. VI «Правосудие»). В качестве общей гарантии, закрепленной в первой статье этого раздела (абз. 1 ст. 47 Хартии), служит право на обращение в беспристрастный суд за защитой любых прав и свобод, установленных в юридических нормах ЕС. С учетом подсудности дела это может быть национальный суд, Суд ЕС и Европейский Суд по правам человека.

В Хартии содержится также ряд других процессуальных гарантий, закрепленных в виде специальных прав и относящихся преимущественно к сфере уголовного судопроизводства (в частности, презумпция невиновности, право на справедливое и публичное рассмотрение дела, право на юридическую помощь).

Представляется, что указанные гарантии в отношениях, связанных с использованием искусственного интеллекта, должны применяться и действовать в полной мере. Однако детального урегулирования требуют при этом вопросы участия юни-

36 Andrea Francovich and Danila Bonifaci and others v Italian Republic. Joined cases C-6/90 and C-9/90 // URL: http://eur-lex.europa.eu.

37 Договор о функционировании Европейского Союза от 25.03.1957. § 5 ст. 2; §3 ст. 4.

в

L-i

УНИВЕРСИТЕТА Искусственный интеллект, робототехника имени o.e. кугафина(мгюА) и защита прав человека в Европейском Союзе

тов ИИ в той или иной форме при отправлении правосудия, включая гражданское, арбитражное, административное, уголовное судопроизводство, а также третейское разбирательство. Не менее проблемным является также связанный с общим вопросом о правосубъектности юнитов ИИ вопрос о том, есть ли основания говорить о допуске таких юнитов к судебным процессам в качестве лиц, участвующих в деле. Решение этих вопросов тесно связано с вопросом защиты фундаментальных прав человека, таких как право на недискриминацию, на справедливое судебное разбирательство и других, о чем подробнее уже говорилось выше.

Третьим видом гарантий прав и свобод человека являются институциональные гарантии, обеспечивающие функционирование институтов, органов и учреждений ЕС, деятельность которых направлена на охрану и защиту нарушенных прав.

Институтами и органами, обеспечивающими институциональные гарантии прав и свобод человека в Европейском Союзе, являются Суд Европейского Союза, Европейская комиссия, Европейский омбудсмен, Европейский Совет по защите данных и ряд других органов и учреждений, обладающих полномочиями в более узких аспектах.

Каков же подход Европейского Союза к обеспечению прав и свобод человека в институциональной сфере на этапе развития искусственного интеллекта и массового внедрения цифровых технологий?

Важное значение в условиях недостаточности правового регулирования сферы использования ИИ может иметь судебная практика. Обращение в суд — гарантия и одновременно субъективное право каждого человека. Суд ЕС обеспечивает защиту прав и свобод, нарушенных институтами и учреждениями ЕС.

Суд ЕС рассматривает, в частности, иски:

— об аннулировании актов институтов, органов и учреждений ЕС;

— из бездействия институтов, органов, учреждений ЕС;

— о компенсации убытков, причиненных институтами, органами, учреждениями

ЕС или их сотрудниками;

— об обжаловании штрафов, наложенных на предприятия институтами ЕС.

Правом подавать такие иски обладают юридические и физические лица (последние — лишь в некоторых случаях).

Несмотря на то, что Суд Европейского Союза официально не уполномочен заниматься нормотворчеством, в силу особенностей правовой системы и практики ЕС его решения могут иметь подлинно нормотворческий характер, что может способствовать не только восполнению пробелов в нормативных актах, но также закреплению и развитию основополагающих принципов, регулирующих соответствующие отношения, и даже созданию новых.

В качестве одной из институциональных гарантий выступает также Европейская комиссия. Комиссия является институтом, осуществляющим надзор за соблюдением права ЕС государствами-членами. Кроме того, Комиссия обладает важным набором исполнительно-распорядительных полномочий и полномочий в области законодательной инициативы.

Осознавая «большие вызовы», связанные с современным научно-технологическим развитием, Европейская комиссия в документах, явившихся одними из первых в области разработки и использования ИИ и фактически открывших путь к объединению усилий стран в этом направлении в масштабах Европы, уже

>

I

□

m

МНЕНИЕ

>

Я Я УНИВЕРСИТЕТА

L-—и мени О. Е. Кутафи на (МПОА)

предусмотрела основные направления, призванные обеспечить защищенность от рисков в этой сфере, в числе которых:

— соблюдение ценностей Европейского Союза и основополагающих прав. Человек рассматривается в качестве центра при проведении любых исследований ИИ;

— эффективность гарантий защиты прав и свобод человека;

— подотчетность и прозрачность;

— безопасность сетевых информационных систем;

— защита персональных данных;

— предсказуемость, подотчетность, проверяемость технологий ИИ, право субъектов данных получать поддающуюся интерпретации информацию о логике принятия юнитом решений;

— обеспечение соблюдения этических принципов;

— надлежащее правовое регулирование, предсказуемая правовая среда и правовая определенность38.

3. Искусственный интеллект и права человека в свете концепции «хорошего управления»

Как видно из вышеприведенного перечня, меры, предложенные Европейской комиссией, ставят человека в центр процесса научного и технологического развития, безусловно направлены на защиту его прав и интересов. Однако эффективно обеспечить их в данной ситуации — весьма непростая задача. Содействовать Европейскому Союзу в выполнении этой задачи может ориентация на концепцию «хорошего управления». В силу норм правовых актов ЕС высшей юридической силы — его учредительных документов и судебной практики Суда ЕС эта концепция подлежит применению в деятельности всех органов Европейского Союза, и в первую очередь тех, которые обеспечивают институциональные гарантии соблюдения прав человека в ЕС.

Как мы можем видеть, в числе указанных выше основных направлений инновационной деятельности, прямо обозначенных в документах Европейской комиссии, упоминаются соблюдение прав человека, прозрачность (деятельности и принятия решений), участие (общественности), эффективность, подотчетность (власти) и правовая определенность. Необходимость соответствия закону (верховенство права) следует из содержания всех документов, определяющих направления деятельности ЕС в области искусственного интеллекта. Эти направления являются общими принципами того, что в Европейском Союзе именуется хорошим управлением39.

38 Communication from the European Commission C0M(2018)237 «Artificial Intelligence for Europe». P. 3, 8, 14—17 ; Communication from the European Commission C0M(2018)795 «Coordinated Plan on Artificial Intelligence», items 1, 2.6. European Commission Staff Working Document Liability for emerging digital technologies SWD(2018)137. P. 2—5, 10.

39 Представляется, что имеющиеся в русскоязычных источниках переводы этого термина («эффективное управление», «надлежащее управление», «эффективное государственное управление» и др.) не в полной мере отражают его существо, вкладываемое в него

УНИВЕРСИТЕТА Искусственный интеллект, робототехника имени o.e. кугафина(мгюА) и защита прав человека в Европейском Союзе

В Европейском Союзе хорошее управление — основополагающий публично-правовой принцип, берущий свое начало в различных аспектах европейской государственности.

Шведское исследование, проведенное в 2005 г.40, показало, что европейская культура основывается на определенных общих моральных принципах. «Будущее европейской кооперации и интеграции нуждается в обсуждении наших общих ценностей, но необходимо также обсуждение несовпадающих ценностей и того, как эти различия могут быть выражены в европейских отношениях».

Хорошее управление — это общая концепция, не имеющая единого легального определения. Оно рассматривается и как стандарт для разумной политики развития, лежащий в основе политики расширения ЕС, процесса стабилизации и объединения, европейской политики соседства (идея о том, что создание регулирующей среды является решающим предварительным условием для достижения устойчивого развития)41; и как фактор целостности (англ. integrity), в том числе в административном, юридико-теоретическом и этическом аспектах42; и даже как «один из трех краеугольных камней любого современного государства» наряду с верховенством закона и демократией (концепция, развивающаяся в региональном и международном масштабах)43. Однако можно сказать, что общая концепция хорошего управления разделяется всеми государствами Союза44.

Следование концепции хорошего управления является одним из механизмов, совершенствующих на наднациональном уровне взаимодействие институтов, органов и учреждений ЕС между собой и с гражданами, а также на международной арене. Таким образом, можно сказать, что концепция хорошего управления на современном этапе является выражением «идей прав человека, демократизации и демократии, верховенства закона, гражданского общества, децентрализованного разделения власти и благоразумного публичного администрирования»45, а также фактором, содействующим эффективности и законности проведения Европейским Союзом его политики и в целом ходу процессов интеграции в ЕС.

Принципы хорошего управления выработаны доктриной и судебной практикой. В том значении, которое придается понятию хорошего управления в научных исследованиях, можно выделить три основных направления:

административной и судебной практикой Европейского Союза, включающее в себя не только аспекты эффективности и соответствия (например, какой-либо ситуации или цели), но и ряд других. Поэтому предпочтительно использовать буквальный перевод этого выражения.

40 Principles of Good Administration in the Member States of the European Union // Statskon-toret, 2005. 2005. № 4. URL: www.statskontoret.se.

41 Good governance in the European Union / T. A. Borzel [et. al.] // Berlin Working Paper on Eu- ^ ropean Integration № 7. Berlin, 2008. P. 11, 15—45.

DD

42 Addink G. H. Good governance in EU member states. Utrecht University, 2015. P. 44—45.

43 Cuculoska I. The Right to Good Administration of the EU: Definition, Scope and Content //

lustinianus Primus Law Review. 2014. Vol. 5:2. P. 2—3. m

44 Addink G. H. Op. cit. P. 19. j

45 Communication from the Commission of 20.10.2003 COM(2003)615 «Governance and De-

□ m

velopment». МНЕНИЕ

>

4/2Ü19

Я Я УНИВЕРСИТЕТА

L-—и мени О. Е. Кугафи на (МПОА)

1) хорошее управление как разумное управление, надлежащее администрирование и защита прав человека (направление верховенства права);

2) хорошее управление как органы государственной власти, способствующие прозрачности и активному участию граждан (направление демократии);

3) хорошее управление как правительственные институты, сосредоточенные на эффективности и подотчетности (институциональное направление). Таким образом, в концепции хорошего управления можно выделить шесть

принципов: соответствие, права человека, прозрачность, участие, эффективность и подотчетность (англ. properness, human rights, transparency, participation, effectiveness, accountability). Принципы, относящиеся к аспекту верховенства права — это соответствие и права человека, принципы, относящиеся к аспекту демократии — прозрачность и участие, и принципы, относящиеся к институциональному аспекту — это эффективность и подотчетность. К принципу соответствия относятся подпринципы правовой определенности и правомерных ожиданий46.

Предыстория появления концепции хорошего управления на уровне ЕС обнаруживается в нескольких прецедентах Суда Европейского Союза и ряде документов Европейской комиссии. С момента вступления в силу Лиссабонского договора (01.12.2009) право на хорошее управление является правом граждан ЕС.

Сложность развивающихся отношений в сфере использования ИИ и масштабность связанных с ними изменений в обществе требуют применения принципов хорошего управления при регулировании этих отношений в полной мере.

4. Деятельность Европейского омбудсмена и других органов системы защиты прав человека

Эффективной институциональной гарантией защиты прав и свобод человека, прозрачности и подотчетности деятельности по развитию и использованию ИИ на уровне Европейского Союза может явиться деятельность Европейского омбудсмена.

К компетенции Европейского омбудсмена относится расследование случаев нарушения порядка управления в деятельности институтов, органов и учреждений ЕС, кроме Суда Европейского Союза (ст. 228 ДФЕС от 25.03.1957), при этом обращаться с жалобой к нему вправе как физические, так и юридические лица. Таким образом, контрольные полномочия Европейского омбудсмена являются одной из институциональных гарантий прав и свобод человека и гражданина в ЕС. Являясь органом с контрольными полномочиями, Европейский омбудсмен использует принципы хорошего управления как стандарты для контроля.

Роль Европейского омбудсмена примечательна тем, что при отсутствии юридической обязательности решений он тем не менее вносит вклад в обеспечение защиты прав человека путем развития принципов хорошего управления на наднациональном уровне. Нарушение порядка управления (англ. maladministration) Европейский омбудсмен рассматривает не только как нарушение формально определенных правовых предписаний, но и как нарушение указанных выше прин-

46 Addink G. H. Ор. cit. P. 18, 20, 28, 189.

УНИВЕРСИТЕТА Искусственный интеллект, робототехника 85.7

имени o.e. кугафина(мгюА) и защита прав человека в Европейском Союзе

ципов (прозрачность, подотчетность и т.д.), в совокупности составляющих концепцию хорошего управления, по характеру своей деятельности применяя их все.

Основываясь на предоставленном ему общем полномочии («Омбудсмен принимает положения во исполнение настоящего решения»47), Европейский омбудсмен издает документы общего характера, содержащие как программы действий для него самого, так и положения-ориентиры для других участников отношений.

В ноябре 2014 г. Европейским омбудсменом была утверждена Стратегия Европейского омбудсмена «К 2019» («Towards 2019»), в которой закрепляются его миссия, намерения, стратегические цели и задачи. Согласно указанной Стратегии Омбудсмен способствует хорошему управлению и культуре государственной службы, помогая администрации ЕС работать открыто, эффективно и целостно48.

Стратегия «К 2019» предусматривает, что Омбудсмен воздействует на развитие хорошей административной практики в институтах ЕС посредством информационно-пропагандистской деятельности, путем разработки руководящих принципов и кодексов надлежащей практики. В частности, Европейским омбудсменом изданы Европейский кодекс хорошего административного поведения и Принципы общественной службы для гражданских служащих ЕС. Эти документы не носят юридически обязательного характера, но тем не менее служат ориентиром при оценке Европейским омбудсменом фактов наличия или отсутствия нарушений порядка управления в деятельности институтов, органов и учреждений ЕС. Они являются важным организующим компонентом сформированной в ЕС системы гарантий прав и свобод человека, в том числе в вопросах должного и достаточно демократического надгосударственного управления.

Европейский омбудсмен в соответствии со своей задачей вправе проводить расследования, которые считает обоснованными (если только утверждаемые факты не являются или не являлись объектом судебной процедуры). При этом он может делать это по своей собственной инициативе и обладает для этих целей доступом к любым документам, необходимым для осуществления своих обязанностей. Осуществляя свои полномочия по расследованию, Европейский омбудсмен использует проактивные методы — так называемые стратегические расследования и стратегические инициативы (рассмотрение стратегически важной темы без начала расследования). Результаты выполнения функций Европейского омбудсмена воплощаются в докладах по рассмотренным делам, результатах стратегических расследований, рекомендациях, направляемых субъектам, в действиях которых выявлены нарушения порядка управления.

Решения Европейского омбудсмена, направленные против нарушений порядка управления, затрагивают отношения в различных областях деятельности Европейского Союза, способствуя реализации на практике концептуальных принципов хорошего управления и соблюдению прав человека. Обращает на себя внимание то, что Европейский омбудсмен, вынося решения, руководствуется не только и не

столько формально-юридическим подходом, наличием или отсутствием у органа □

Р

Т

47 Решение № 94/262/ECSC, EC, Euratom Европейского парламента «О правилах и общих m условиях, регулирующих осуществление обязанностей Омбудсмена» от 09.03.1994. j Ст. 14. О

48 URL: https://www.ombudsman.europa.eu. МНЕНИЕ

>

>

тех или иных обязанностей, прямо закрепленных в нормативных актах, а рассматривает дела с точки зрения современного понимания существа и принципов хорошего управления, а также прав граждан в отношении такого управления.

Хотя, как уже отмечалось в настоящей статье, решения Европейского омбуд-смена не имеют юридически обязательной силы, однако они воплощаются в актах институтов ЕС, устанавливающих соответствующие правила уже в качестве обязательных, при этом происходит это в подавляющем большинстве случаев49.

Полномочия Европейского омбудсмена в сочетании со сложившейся в настоящее время практикой их осуществления дают возможность этому органу обеспечивать защиту прав человека и принципы хорошего управления при разработке и использовании систем искусственного интеллекта посредством:

— изучения деятельности органов ЕС в соответствующей области и оценки эффективности внедрения и исполнения нормативных актов;

— обеспечения прозрачности в принятии решений органами ЕС, включая защиту права лиц на получение информации и доступ к документам о разработках в области робототехники и ИИ и их возможных последствиях;

— обеспечения подотчетности органов ЕС, ясности и соответствия административных процедур, защиты права отдельных лиц и представителей общественности на участие в принятии решений, касающихся искусственного интеллекта и затрагивающих их права;

— разработки стандартов этики в деятельности органов ЕС при принятии ими решений, разработке нормативных актов, утверждении и исполнении проектов, относящихся к ИИ, предоставлении грантов;

— издания документов общего характера, имеющих характер «мягкого права», содержащие программы (положения-ориентиры) для участников отношений в области ИИ и единого цифрового рынка;

— инициирования стратегических расследований и стратегических инициатив на предмет наличия системных проблем в правилах и процедурах при реализации соответствующих проектов.

Деятельность Европейского омбудсмена, направленная на обеспечение защиты прав и свобод человека в ЕС, осуществляемая в контексте реализации права граждан ЕС на хорошее управление, может содействовать выбору Европейским Союзом правильных направлений деятельности в высокой динамике политических, социальных, экономических и правовых условий и способствовать разрешению системных проблем в области регулирования отношений по использованию ИИ.

Еще одной институциональной гарантией прав и свобод человека в Европейском Союзе является Европейский совет по защите данных.

Как уже говорилось выше, с 25.05.2018 в ЕС действует новый Регламент № 2016/679, регулирующий защиту физических лиц при обработке персональных данных.

Европейский совет по защите данных, создание которого предусмотрено Регламентом № 2016/679, регулирующим защиту физических лиц при обработке

49 См.: Годовые отчеты Европейского омбудсмена за 2014—2017 гг. // URL: https://www. ombudsman.europa.eu.

в

L-i

УНИВЕРСИТЕТА Искусственный интеллект, робототехника имени o.e. кугафина(мгюА) и защита прав человека в Европейском Союзе

персональных данных, включает в себя главу надзорного органа каждого государства — члена ЕС и Европейского инспектора по защите персональных данных. Данный Совет учрежден в качестве независимого органа Союза, Европейская комиссия не имеет в нем права голоса.

В соответствии со ст. 70 Регламента № 2016/679 (далее — «Регламент») Европейский совет по защите данных:

— контролирует и гарантирует правильное применение Регламента в случаях, предусмотренных в Регламенте;

— рассматривает (в том числе по собственной инициативе) любые вопросы, связанные с применением Регламента;

— издает руководящие указания, рекомендации и стандарты передовой практики, в том числе для надзорных органов50, относительно применения мер в пределах компетенции этих органов и устанавливает административные штрафы за нарушение положений Регламента;

— содействует разработке норм поведения и установлению сертификационных механизмов защиты данных, осуществляет аккредитацию сертификационных органов и их регулярную проверку;

— выдает заключения относительно норм поведения, предназначенных для надлежащего применения Регламента, разработанных на уровне Союза; а также осуществляет ряд других полномочий.

При этом Европейская комиссия посредством имплементационных актов может принять решение о том, что переданные ей с заключением Совета нормы поведения (их изменение или расширение) обладают общей действительностью на территории Союза, принимая такие имплементационные акты в соответствии с процедурой проверки51.

Представляется, что Регламент и закрепленная в нем система сбора, использования и передачи персональных данных на данном этапе могут обеспечить защиту права граждан ЕС на конфиденциальность личной информации. Однако в связи с развитием разработок в области искусственного интеллекта возникнет необходимость в их модификации и совершенствовании.

Иные органы, обеспечивающие институциональные гарантии прав и свобод человека в Европейском Союзе и обладающие полномочиями более узкого характера (в отдельных, частных направлениях реализации таких прав), такие как, например, дипломатические и консульские представительства государств-членов и системы досудебного урегулирования споров, в настоящей статье не рассматриваются ввиду отсутствия непосредственной относимости к вопросам регулирования отношений, связанных с использованием ИИ.

50

Надзорные органы — независимые органы государственной власти, создаваемые в го- ^

сударствах — членах ЕС, ответственные за мониторинг применения Регламента, для

защиты основных прав и свобод физических лиц при обработке данных и для содействия

свободному движению персональных данных в Союзе (ст. 51 Регламента № 2016/679).

См. ст. 40 (9) Регламента № 2016/679; ст. 5 Регламента № 182/2011 от 16.02.2011 Евро- т

пейского парламента и Совета Европейского Союза, устанавливающего правила и общие Н

принципы, касающиеся механизмов контроля государствами — членами ЕС осущест- Е

вления Европейской комиссией исполнительных полномочий. МНЕНИЕ

>

51

4/2Q19

в М УНИВЕРСИТЕТА

L-—и мени О. Е. Кутафи на (МПОА)

Заключение

Все изложенное выше — лишь первые шаги на пути к созданию комплексной системы нормативного регулирования вопроса использования искусственного интеллекта в жизни общества, требующего в настоящее время глубокого осмысления научным сообществом, серьезного теоретико-правового исследования, скрупулезной работы законодателя и последовательного применения на практике.

Добро и возможное зло, исходящие от юнитов искусственного интеллекта, должны быть под четким и строгим правовым контролем человека и государства, их действия необходимо совместить с ответственностью, подотчетностью, а в соответствующих ситуациях — немедленной прекращаемостью.

Поэтому человечеству, идущему вперед по пути прогресса, следует адекватно представлять возможные пути, темпы и последствия этого движения и уметь вовремя остановиться и откорректировать свою деятельность. Отсюда возникает и парадоксальная мысль о необходимости и возможности правового регулирования человеческого инстинкта самосохранения, подумать о коллективном самосохранении человеческого общества и о недопустимости неконтролируемого появления и саморазвития этого «инстинкта» (качества) у интеллектуального робота!

БИБЛИОГРАФИЯ

1. Александр дель Валль. Почему либеральная демократия сдает позиции // URL: https:inosmi.ru/politic/20160328/235889927.html.

2. Глазьев С. Стратегия опережающего развития России в условиях глобального кризиса. — М. : Экономика, 2010.

3. Данилов И. Фукуяма раскрыл секрет Путина и Трампа // РИА новости 17.09.2018. U2L: https://ria/ru/analytics/2018 09 18//15 286 75757.html.

4. Морхат П. В. Искусственный интеллект: правовой взгляд : научная монография. — М., 2017.

5. Постникова Е. В. Некоторые аспекты правового регулирования защиты персональных данных в рамках внутреннего рынка Европейского Союза // Право. Журнал Высшей школы экономики. — 2018. — № 1.

6. Филипова И. А. Правовое регулирование труда — 2020: смена парадигмы как следствие цифровизации экономики // Юрист. — 2018. — № 11.

7. Addink G. H. Good governance in EU member states. — Utrecht University, 2015.

8. Cuculoska I. The Right to Good Administration of the EU: Definition, Scope and Content // lustinianus Primus Law Review. — 2014. — Vol. 5:2.

9. Good governance in the European Union / Borzel T. A. [et. al.] // Berlin Working Paper on European Integration. — 2008. — № 7.

10. Heimans J., Timms H. New Power: What Forces Rule the World — and How to Make Them Work for You. — Alpina Publisher, 2018.

11. Principles of Good Administration in the Member States of the European Union, Statskontoret, 2005. — 2005. — № 4.