Правовые проблемы машинного обучения Текст научной статьи по специальности «Право»

DOI 10.24411 /2076-1503-2020-10634 НАУМОВ Виктор Борисович,

кандидат юридических наук, доцент, старший научный сотрудник сектора информационного права и международной информационной безопасности Института государства и права РАН, доцент Санкт-Петербургского государственного университета, управляющий партнер санкт-петербургского офиса, руководитель российской практики в области интеллектуальной собственности,

ИТ и телекоммуникаций ООО «Дентонс Юроп» е-mail: nau@russianlaw.net

ТЫТЮК Екатерина Владимировна,

магистр юридических наук, младший юрист, ООО «Дентонс Юроп» е-mail: ekaterina.tytiuk@dentons.com

ПРАВОВЫЕ ПРОБЛЕМЫ МАШИННОГО ОБУЧЕНИЯ

Исследование выполнено при финансовой поддержке РФФИ в рамках научного проекта № 18-29-16015 «Комплексное исследование правовых и этических аспектов, связанных с разработкой и применением систем искусственного интеллекта и робототехники».

Аннотация. Статья посвящена правовым вопросам, возникающим в области машинного обучения. Во вводной части статьи авторы предоставляют общую теоретическую информацию относительно специфики машинного обучения и сфер, в которых данная технология используется. Затем последовательно анализируются ключевые проблемы данной сферы, а именно: проблема доступности данных для обучения, проблема «чёрного ящика», этические аспекты машинного обучения. Особое внимание в статье уделяется этическим принципам искусственного интеллекта. Авторы анализируют существующие предложения относительно этических требований к искусственному интеллекту (включая как отечественные, так и зарубежные источники информации), а также выдвигают свои предложения относительно подобных принципов для машинного обучения, приглашая читателей к дискуссии.

Ключевые слова: право, этика, принципы, искусственный интеллект, самообучающиеся алгоритмы, машинное обучение, права человека, автоматизированный транспорт, безопасность, робототехника, идентификация.

NAUMOV Victor Borisovich,

PhD in Law, Senior Researcher of the Information Law Sector of the Institute of State and Law of the Russian Academy of Science, associate Professor of the St. Petersburg State University, St. Petersburg Office Managing Partner, Head of the Russian IP, IT and Telecommunications practice at OOO Dentons Europe

TYTIUK Ekaterina Vladimirovna,

Master of law, junior lawyer, OOO Dentons Europe

LEGAL ISSSUES OF MACHINE LEARNING

The research was performed with financial support of the Russian Foundation for Basic Research as a part of the scientific research No. 18-29-16015 "Comprehensive research of the legal and ethical aspects, connected with development and appliance of the artificial intelligence and robotics systems".

Annotation. The article is dedicated to the legal issues arising in the field of machine learning. In the introductory authors provide general theoretical information about the specifics of machine learning process and the areas in which this technology is used. Then the key problems of this

ОБРАЗОВАНИЕ И ПРАВО № 6 • 2020

sphere are sequentially analyzed, including the problem of data availability for learning, the black box problem, ethical aspects of machine learning. Special attention in the article is paid to the ethical principles of artificial intelligence. Authors analyze proposals on the ethical requirements for artificial intelligence, which already exist (including both domestic and foreign information sources) and put forward their own proposals on such principles for machine learning, inviting readers to the discussion.

Key words: law, ethics, principles, artificial intelligence, self-learning algorithms, machine learning, human rights, automatic transport, security, robotics, identification.

Машинное обучение называют одной из ключевых технологий будущего, а специалистов по разработке алгоритмов обучения уже сейчас относят к числу самых востребованных профессий. Технологии машинного обучения активно внедряются в таких важных для общества сферах, как медицина, транспорт, образование, сельское хозяйство. На практике этот процесс затрудняют объективные проблемы, многие из которых лежат в правовой области. В статье рассматриваются некоторые из них.

Машинное обучение - это метод анализа данных, построенный на идее о возможности алгоритмов обучаться, анализируя данные, выводя из них определённые закономерности (паттерны), и принимать решение на основании сделанных выводов с минимальным вовлечением человека [1]. Существует три ключевых способа машинного обучения [2]. Контролируемое обучение - обучение, основанное на подражании существующим в природе явлениям и процессам. Обучение с подкреплением заключается в оптимизации имеющегося набора данных методом статистических расчётов с учётом установленных критериев. Неконтролируемое обучение - способ обучения, при котором система самостоятельно использует комплекс различных алгоритмов последовательно. Атрибутом искусственного интеллекта (далее - ИИ), в особенности т.н. «сильного искусственного интеллекта», является способность к самообучению [3]. Непрерывное самообучение обеспечивает постоянное развитие и увеличение эффективности искусственного интеллекта, отличая такие системы ИИ от других автоматизированных систем, работающих под управлением программного обеспечения, что делает их все ближе и ближе к человеку, принимающему решения.

Машинное обучение лежит в основе системы принятия решений алгоритмами ИИ [4]. Обучение присутствует на разных этапах жизненного цикла ИИ, а от того, каким образом будет построен процесс обучения, зависит последующая точность его работы. Данные, на которых алгоритм обучается, формируют его опыт, что означает прямую связь между данными для обучения и тем, какие решения будут, в итоге, приниматься алгоритмом.

Доступность данных для обучения

Как известно, разнообразные системы ИИ и роботы могут эффективно обучаться только в том случае, когда для соответствующей обработки им предоставляется очень большой объём данных. Чем больше данных загружено в алгоритм, тем результативнее будет процесс обучения. С другой стороны, много лет в мире наблюдается устойчивая тенденция к законодательному выделению всё большего количества данных, доступ к которым ограничен: персональные данные, медицинские данные, геолокация и информация, содержащая тайну связи, иные сведения, которые в первую очередь могут служить идентификации субъектов и объектов. Часто именно c использованием таких данных связаны основные прорывы в области машинного обучения. Например, ИИ-система диагностики онкологических заболеваний Botkin. AI, разработанная с использованием алгоритмов машинного обучения, способна выявлять заболевания с 95%-ной точностью [5]. Машинное обучение успешно используется в исследованиях, посвящённых диабету, при выявлении рисков развития сердечно-сосудистых заболеваний и т.д. [6]. В связи с этим возникает вопрос: должен ли доступ к данным, которые необходимы для обучения ИИ для решения задач в социально важных сферах, предоставляться на особых, упрощённых основаниях?

В Концепции развития регулирования в сфере технологий искусственного интеллекта и робототехники до 2024 года (далее - Концепция развития ИИ) проблема соблюдения баланса между требованиями по защите персональных данных и необходимостью их использования для обучения систем ИИ названа в числе концептуальных проблем в области правового регулирования ИИ, не имеющих однозначного решения (п. 1.4). По мнению ряда учёных, для решения проблемы необходимо разработать специальные нормы, которые бы определяли пределы использования данных ИИ и позволяли бы соблюсти баланс между принципом сохранения неприкосновенности частной жизни и доступностью разнообразных данных о человеке, необходимых для развития технологии машинного обучения [7]. Защита данных может при этом осуществляться с помощью т.н. «маскировочных» технологий («safe

ОБРАЗОВАНИЕ И ПРАВО № 6 • 2020

harbour»), необходимости получения согласия субъекта данных, а также требований по минимизации использования данных.

В Концепции развития ИИ предлагается разработать специальные нормы с целью обеспечить особые условия (режимы) для доступа к данным, включая персональные данные, в целях проведения научных исследований, обучения искусственного интеллекта и разработки технологических решений на их основе, а также правовые условия для организации идентификации с использованием технологий ИИ и РТ. Однако такие изменения допускаются Концепцией только при условии принятия мер для защиты интересов субъектов персональных данных, включая такую меру, как обезличивание. Концепция также допускает изъятие из общего правила о получении согласия на обработку персональных данных для случаев, когда такая обработка осуществляется при обучении искусственного интеллекта.

Несмотря на то что Концепция развития ИИ определяет развитие предметной области вплоть до 2024 г., эффективность предложенных подходов можно будет оценить раньше благодаря проведению в городе Москве эксперимента по установлению специального регулирования для разработки и внедрения технологий искусственного интеллекта. Вступивший 1 июля 2020 г. в силу Федеральный закон «О проведении эксперимента по установлению специального регулирования в целях создания необходимых условий для разработки и внедрения технологий искусственного интеллекта в субъекте Российской Федерации -городе федерального значения Москве и внесении изменений в ст. 6 и 10 Федерального закона "О персональных данных"» (далее - Закон) предполагает возможность передачи собственниками средств и систем фото- и видеонаблюдений полученных изображений, а также обезличенных персональных данных для целей использования их при машинном обучении1. При этом Закон содержит минимальное количество норм прямого действия, поскольку конкретные меры должны будут разрабатываться Правительством Москвы. Единственным исключением можно назвать принятые одновременно с Законом поправки в ФЗ «О персональных данных». Такой выбор обусловлен тем, что доступность данных, а также необходимость соблюдения баланса между доступностью данных и соблюдением прав субъектов персональных

данных - это одна из ключевых проблем машинного обучения2. В качестве мер, направленных на обеспечение соблюдения прав субъектов персональных данных, предлагается обязательное обезличивание используемых персональных данных, к тому же, передача данных может осуществляться только между участниками эксперимента. Обезличенные персональные данные не могут быть переданы лицам, не являющимися участниками эксперимента, участники экспериментального режима несут ответственность за соблюдение прав субъектов персональных данных (ч. 6. ст. 4 Концепции развития ИИ). Обезличенные персональные данные могут храниться только на территории города федерального значения Москвы.

Однако предлагаемые меры не бесспорны, поскольку обезличивание персональных данных не всегда гарантирует их полноценную защиту. Известен целый ряд случаев, когда, сопоставляя обезличенные данные между собой, удавалось раскрыть субъектов таких данных, в т.ч. и медицинских [8]. С получением согласия также могут возникать проблемы, поскольку не всегда возможно точно определить субъект, которому принадлежат права на данные. Например, в США законодательные подходы отличаются в зависимости от штата, и записи, содержащие медицинские данные, могут принадлежать как пациенту, так и клинике и/или врачу [9]. В России субъектом персональных данных о состоянии здоровья всегда считается физическое лицо, данные которого собираются. Немаловажным фактором в рассматриваемой сфере является и то, что у крупных корпораций возможности по обработке данных гораздо больше, они имеют доступ к большему объёму данных и автоматически находятся в наиболее выигрышном положении. Это приводит к созданию доминирующего положения для небольшого количества крупных компаний, которые используют ИИ для сбора информации о своих пользователях и в своих действиях часто руководствуются только собственными интересами и внутренними политиками3.

Интересным примером развития регулирования сферы ИИ стали отечественные инициативы в отношении беспилотного транспорта. В России в рассматриваемой области регулирование стало развиваться с конца 2018 г., когда было принято постановление Правительства РФ от 26 ноября 2018 г. № 1415 «О проведении эксперимента по опытной эксплуатации на автомобиль-

1 См.: Федеральный закон от 24.04.2020 г. № 123-Ф3 «О проведении эксперимента по установлению специального регулирования в целях создания необходимых условий для разработки и внедрения технологий искусственного интеллекта в субъекте Российской Федерации - городе федерального значения Москве и внесении изменений в статьи 6 и 10 Федерального закона «О персональных данных».

2 См.: Федеральный закон от 27.07.2006 г № 152-ФЗ (ред. от 24.04.2020 г) «О персональных данных».

3 См., например, EDRI, Platform Regulation Done Right: EDRi Position Paper on the EU Digital Services Act. 9 April 2020. URL: https://edri.org/wp-content/ uploads/2020/04/DSA_EDRiPositionPaper.pdf

ОБРАЗОВАНИЕ И ПРАВО № 6 • 2020

ных дорогах общего пользования высокоавтоматизированных транспортных средств»1. Следующим шагом стало распоряжение Правительства РФ от 25 марта 2020 г. № 724-р «О Концепции обеспечения безопасности дорожного движения с участием беспилотных транспортных средств на автомобильных дорогах общего пользования», которое утвердило соответствующую концепцию (далее - Концепция). В числе прочего, в Концепции уделяется внимание сбору необработанных данных в режиме реального времени, на основании которых осуществляется обучение автоматизированной системы вождения. В Концепции подчёркивается, что традиционные методы обработки и хранения такого количества данных не смогут обеспечить удовлетворение потребностей отрасли экономически эффективным способом, в связи с чем необходимо разработать специальные алгоритмы вычисления. Любопытно, что Концепция предусматривает даже новую профессию - сценарист дорожных сцен, т.е. разработчик алгоритмов реагирования высокоавтоматизированных транспортных средств на различные дорожно-транспортные ситуации.

Наконец, интересно отметить, что помимо закрепления в Концепции важных аспектов классификации и использования высокоавтоматизированного транспорта, в ней оказалась норма, которую можно в шутку назвать «мечтой трансгуманистов». В разделе о человеко-машинном интерфейсе об управлении транспортом указано: «Особая необходимость в такой информации существует для высокоавтоматизированных транспортных средств, в которых одновременно присутствуют 2 субъекта, способных выполнять управляющие воздействия, - водитель и автоматизированная система вождения» (выделено авторами). Гипотетически можно допустить, что такая формулировка появилась в результате описки авторов документа.

Проблема «чёрного ящика»

Одним из ключевых отличий ИИ и когнитивных механизмов является невозможность однозначно оценить, каким образом система приняла то или иное решение. Это связано с постоянным процессом обучения ИИ и аккумулирования им новых данных [10]. Проблема «чёрного ящика» всегда указывается в числе ключевых рисков, которые несут в себе новые технологии. В обоб-

1 См.: постановление Правительства РФ от 26.11.2018 г. № 1415 (ред. от 22.02.2020 г.) «О проведении эксперимента по опытной эксплуатации на автомобильных дорогах общего пользования высокоавтоматизированных транспортных средств» (вместе с «Положением о проведении эксперимента по опытной эксплуатации на автомобильных дорогах общего пользования высокоавтоматизированных транспортных средств»).

щённом виде эта проблема сводится к тому, что далеко не всегда лица, использующие какую-либо технологию, понимают, каким образом эта технология работает и на основании чего она принимает то или иное решение. Иными словами, действия алгоритма не являются достаточно прозрачными для человека и, что важно, для юридической науки, теряется возможность четко определить причинно-следственную связь, столь важную для установления фактов и квалификации действий лиц.

С развитием технологий проблема становится всё более актуальной, т.к. чем сложнее технология, тем меньше у пользователей понимания принципов и методов её работы. В случае самообучающихся систем ИИ данная проблема усугубляется ещё и тем, что, поскольку процесс самообучения происходит непрерывно, алгоритм постепенно может менять схемы своего поведения, которые изначально были заложены разработчиком. В первую очередь, эта проблема касается пользователей, не обладающих достаточным уровнем технических знаний. В качестве примера можно привести известный случай, связанный с использованием алгоритма Northpointe [11]. Этот алгоритм на протяжении многих лет использовали суды некоторых штатов США для предсказания рецидивов преступлений - в т.ч. при вынесении приговоров. В своей работе Northpointe использовал различные факторы, в т.ч. возраст, пол, образ жизни семьи, употребление наркотиков, наличие арестов, при этом такой критерий, как раса не был заложен в алгоритм в качестве одного из факторов. Тем не менее, когда выводы Northpointe были проанализированы журналистами, выяснилось, что в случаях, когда подсудимым являлся афроа-мериканец, алгоритм ошибочно удваивал вероятность повторного совершения преступления, хотя такой критерий изначально не был заложен в его механизм. Таким образом, ИИ может находить неверные паттерны, устанавливать ложные корреляции и опираться на них при формулировании своих выводов. В качестве путей решения этой ситуации Европейская Комиссия в своём документе, посвящённом развитию технологий ИИ, предлагает сохранять информацию о наборах данных (data set - англ.), использованных для обучения и тестирования ИИ, а также фиксировать в соответствующей документации все процессы, связанные с программированием, тестированием и обучением ИИ [12]. Для особых случаев предлагается, в т.ч. установить обязанность сквозной архивации данных, на которых происходило обучение. В российской «Модельной конвенции о робототехнике и искусственном интеллекте» в качестве одного из принципов закреплена необходимость фиксации и хранения роботами инфор-

ОБРАЗОВАНИЕ И ПРАВО № 6 • 2020

мации об условиях своего функционирования и всех совершаемых действиях [13]. При всех плюсах подобного подхода, тем не менее, существует риск, что такое требование увеличит ресурсоем-кость и стоимость машинного обучения, что, в свою очередь, может снизить интерес к развитию этой технологии.

Этические аспекты функционирования ИИ

От того, какие данные будут предоставлены для анализа алгоритмам, зависит и то, насколько этичными будут выводы этих алгоритмов: решения, принимаемые ИИ, во многом зависят от данных, на которых обучались системы [14]. Гарри Сурден в свой статье об этике искусственного интеллекта заостряет внимание на том, что данные, предоставляемые алгоритмам, могут в силу исторически сложившейся или институциональной практики содержать элементы дискриминации, которые будут отражены в компьютерных системах, которые, при этом, изначально будет крайне тяжело обнаружить [15].

Так, алгоритм, составлявший на сайте Amazon карты местности с зонами, в которых возможна доставка товаров, исключил ряд зон, где проживает преимущественно темнокожее население. Подобные инструкции не были заложены разработчиками: алгоритм совершил эту ошибку самостоятельно, используя заложенные в него исходные данные [16]. Другим примером может послужить использование PredPol - программы, которая была создана для предсказания наиболее вероятных мест совершения преступления и используемая полицией Окланда. Программа была обучена на данных о том, в каких местах города полиция прежде арестовывала нарушителей. По результатам ее работы вероятность совершения нарушений в районах, где преимущественно проживают афро-американцы, была практически в два раза выше, чем в иных районах, при этом по данным общенациональной статистики нарушения были гораздо более равномерно распределены по территории всего города [17]. Можно привести и другие примеры: распознавание системой поиска контактов в Linkedln женских имен как ошибку и предложение исправить их на мужские, обучение бота Microsoft на сообщениях пользователей Twitter, в результате чего тот начал генерировать антисемитские сообщения и т.д. [18]. Эти примеры наглядно демонстрируют проблему риска создания «предвзятого» искусственного интеллекта.

Для решения проблемы предвзятости искусственного интеллекта необходимо обеспечить, чтобы предоставляемые для обучения данные были максимально объективными. ИИ не должен обучаться на любой доступной информации:

ОБРАЗОВАНИЕ И ПРАВО № 6 • 2020

необходимо ответственно подходить к выбору данных и выбирать только те, которые максимально исключают субъективные оценки. Так, например, Европейской Комиссией предложено разработать некий стандарт для данных, на которых будут обучаться системы ИИ. Используемые данные будут проверяться на соответствие этому стандарту, который, в свою очередь, должен отвечать требованиям применимого права ЕС, включая GDPR [19].

Безусловно, на протяжении всего цикла машинного обучения необходимо обеспечить возможность адекватного вовлечения человека в процесс работы ИИ, особенно, когда речь идёт о ситуациях с высокой степенью риска. Например, предлагается вводить так называемую «тревожную кнопку» для того, чтобы в критический момент управление автоматизированным транспортом было оперативно передано человеку. Однако особую сложность представляют ситуации, когда по ходу обучения автоматизированных систем возникают такие этические вопросы, в отношении которых человечество ещё не нашло однозначных решений. Сейчас этот вопрос особенно актуален в связи с развитием автоматизированного транспорта, поскольку эти технологии постепенно становятся частью нашей жизни. Здесь классическим примером является ситуация попадания беспилотного автомобиля в аварийную ситуацию, когда система должна самостоятельно принять решение о дальнейших действиях из имеющихся сценариев, при этом сценарии могут подразумевать принятие решения о причинении вреда человеку или спасении жизни человека.

В связи с этим уместно будет вспомнить т.н. «проблему вагонетки» («trolley problem»), которая была сформулирована изначально как абстрактная философская концепция, но приобрела вполне практическое значение применительно к автоматизированному транспорту [20]. Какое решение должен принять автопилот в случае, если перед ним будет поставлен выбор: поехать прямо и причинить вред нескольким людям, выбежавшим в нарушение правил дорожного движения на проезжую часть, либо свернуть вбок, чтобы спасти их жизни, но при этом пострадает человек, стоящий на остановке? С точки зрения права в действиях стоящего на остановке человека нет ничего противозаконного, поэтому несправедливо «наказывать» его за правонарушение, которого он не совершал. С другой стороны, если автопилот свернёт, будет сохранено больше жизней в количественном отношении, что может быть более ценно для общества. Ситуация обострится, если добавить дополнительные характеристики, например, на остановке будет стоять человек пожилого

возраста, а на дороге будут находиться дети. Должны ли учитываться возраст пострадавшего, учитываться его физические характеристики (шансы выжить после аварии), как это было продемонстрировано в сюжете фантастического фильм «Я, робот» (2004)? Наконец, производители автоматизированного транспорта будут в первую очередь озабочены безопасностью машин для своих покупателей и, очевидно, будут заинтересованы в том, чтобы системы управления автоматизированным транспортом принимали решение, в первую очередь исходя из причинения наименьшего вреда пассажирам. Все это заставляет объективно повышать роль этики как сферы, определяющей последующее формирование технических и правовых норм.

Ситуация может варьироваться в зависимости от того, сколько людей потенциально задействованы в инциденте, их возраста, пола, национальности и т.д. Логично предположить, что все эти факторы должны учитываться при разработке сценариев поведения автоматизированного транспорта. Однако ряд организаций, включая, к примеру, Институт инженеров электротехники и электроники (IEEE), пропагандирует отказ от любых действий дискриминационного характера, это правило закреплено и в конституциях многих государств [21]. Означает ли это, что обучение автоматизированного транспорта сценариям действий должно исключать оценку любых характеристик, связанных с возрастом, полом, показателями здоровья? Но в таком случае возникает риск того, что решения будут приниматься абсолютно бессистемно. При этом отдельно стоит отметить, что ответы на подобные морально-этические вопросы могут обусловливаться также культурными различиями и «правильный» ответ может отличаться в зависимости от сложившихся морально-этических подходов конкретной страны [22].

Этические и правовые принципы машинного обучения

В России только сейчас начинает формироваться система подходов к изучению и построению принципов машинного обучения. Во многих документах и проектах ранее эта проблематика не рассматривалась. Так, в Национальной стратегии развития искусственного интеллекта на период до 2020 года (утв. Указом Президента РФ от 10 октября 2019 г. № 490) в разделе, посвященном правовому регулированию (п. 48 - 51), машинное обучение в качестве ключевого предмета и направления регулирования не указывалось.

Вопросы, возникающие в связи с машинным обучением, заставляют задуматься о глобальной проблеме: уже сейчас ясно вырисовывается кол-

лизия между необходимостью соблюдения основных прав человека - права на тайну личной жизни, ограничение доступа к персональным данным - и, с другой стороны, потребностью в некоторых особых ситуациях жертвовать такими правами ради научного прогресса и развития общества в целом.

Например, в комментариях Google к т.н. «Белой книге "Об искусственном интеллекте -Европейский подход по совершенствованию и повышению доверия"» важность проблемы риска нарушения искусственным интеллектом основополагающих прав и свобод человека оценивается на 4 балла из 5 [23]. Как верно отмечено в этом документе, одни и те же достижения в области развития технологий могут как приносить пользу, так и создавать угрозу нарушения таких ключевых прав, как свобода слова, доступность информации, тайна личной жизни, безопасность и равенство.

Безусловно, в этой коллизии ключевой задачей является поиск баланса интересов: необходимо найти «точку равновесия» между двумя этими векторами развития технологий. Уже сейчас наблюдается тенденция к тому, что общество в разных государствах не будет разрешать эту коллизию одинаково - упомянутую уже «проблему вагонетки» представители разных культур решают по-разному [24].

Наглядным подтверждением этой мысли может служить современная ситуация, сложившаяся в связи с эпидемией коронавируса: принимаемые в Китае жёсткие меры, в т.ч. контроль и ограничение передвижений, несмотря на продемонстрированную эффективность, были приняты с большим скептицизмом «западным» миром. Можно предположить, что такие же социокультурные различия проявятся и в связи с решениями о доступности данных при развитии технологий: допустимые в одном государстве подходы могут быть неприемлемы в другом. Возможно, каждое государство выберет свой путь, который будет тестироваться сначала в рамках специальных режимов, а потом масштабироваться в размерах всей страны.

Описанные выше проблемы обостряют необходимость разработки ряда этических принципов - специфичных для машинного обучения и направленных на различные его аспекты. В первую очередь эти принципы рассчитаны на разработчиков, «тренирующих» алгоритмы. Однако не стоит забывать, что есть и иные субъекты, принимающие участие в обучении - включая конечных пользователей систем, поскольку в случае с самообучающимися алгоритмами принципы их работы зависят также и от того, каким образом и на каких данных они используются. Необходимо учитывать, что проблемы, возникающие в сфере машин-

ОБРАЗОВАНИЕ И ПРАВО № 6 • 2020

ного обучения, а также пути их решения могут отличаться в зависимости от конкретной задачи и области использования. Так, обеспечение доступа к медицинским данным для обучения систем, используемым в сфере здравоохранения, представляется оправданным, однако предоставление доступа к медицинским данным для обучения алгоритма, к примеру, для создания приложений по персональным тренировкам вызывает вопросы [25].

В любом случае при желании «пожертвовать» чем-либо в основе обучения алгоритмов должно лежать обеспечение соблюдения основополагающих прав человека. В некоторых случаях использование ИИ может привести к неочевидным нарушениям. Например, летом 2020 г. в рамках деятельности ОБСЕ было проведено исследование относительно того, каким образом внедрение ИИ может привести к ограничению свободы слова [26].

Этические принципы должны охватывать различные аспекты машинного обучения, включая процесс отбора данных для обучения. В случае если для обучения были использованы некорректные данные, это может повлиять на работу всего алгоритма в целом и кардинально изменить выдаваемые системой результаты, даже если в самом коде алгоритма ошибок не содержится. Эта проблема наиболее актуальна для самообучающихся систем, которые, в зависимости от загруженных данных, могут существенно изменить схему своего поведения. Представляется разумным, что данные, используемые для машинного обучения, должны анализироваться и документироваться на каждой стадии жизненного цикла самообучающейся системы - проектирование, обучение, тестирование и внедрение [27].

Методы обучения также должны соответствовать определённым принципам, необходимо прямо запретить использование таких методов обучения, в результате применения которых могут быть нарушены права человека, в частности, в контексте доступа алгоритмов к данным для обучения необходимо обеспечить право человека на уважение частной и семейной жизни. По общему правилу, человек должен иметь право самостоятельно принимать информированное решение о предоставлении или не предоставлении своих персональных данных для целей обучения. Учитывая способность алгоритмов ИИ к самообучению, необходимо обеспечить возможность контроля человеком этих процессов и при необходимости корректировать принципы работы алгоритмов. Для обеспечения безопасной работы систем уместно предусмотреть на случай возникновения опасных экстренных ситуаций возможность «переключения» самообучающегося автономного

ОБРАЗОВАНИЕ И ПРАВО № 6 • 2020

алгоритма в режим контроля человеком [28]. Процесс коммуникации с системой ИИ должен быть прозрачным и понятным. Такой подход позволит снизить риски, возникающие в связи с проблемой «black box».

Ошибки, допущенные в ходе процесса обучения, могут привести к фатальным последствиям и нарушению прав человека. Например, в процессе тестирования разработанной Amazon технологии распознавания «Rekognition», которая, по мнению создателей, могла использоваться для правоприменительных целей, алгоритм допустил ошибку и нашёл ложные соответствия между фотографиями представителей Конгресса и фотографиями преступников [29]. В связи с этим отдельного внимания заслуживает вопрос об ответственности разработчиков, отвечающих за машинное обучение. Именно разработчики проектируют дизайн системы, выстраивают логическую цепочку действий программы, обучают системы и производят отбор данных для такого обучения. Качество результатов машинного обучения напрямую связано с корректностью данных, которые были для этого обучения использованы. Тем не менее, поскольку большинство разработок систем ИИ производятся частными компаниями, механизм отбора данных для обучения не всегда является прозрачным [30]. Следует отметить, что на данный момент практически отсутствует возможность получить информацию о том, каким образом происходит обучение алгоритма, кто его производит, на каких данных он обучается. При этом большинство алгоритмов принадлежат частным компаниям, а информация о специфике их работы охраняется как конфиденциальная [31].

Не случайно вопрос разработки этических принципов для ИИ обсуждается достаточно активно. Он раскрывается в таких документах, как «Глобальная инициатива по Этике Автономных и интеллектуальных систем Института инженеров электротехники и электроники», «Этическое руководство правдивого ИИ», разработанное существующей под эгидой Европейской Комиссии Экспертной Группой по Искусственному Интеллекту (AI HLEG). В июле 2020 г. AI HLEG был представлен ещё один интересный документ - «Чек-лист для проверки правдивого Искусственного Интеллекта». Он представляет собой список вопросов, которые должны помочь при проверке исполнения ключевых требований, изложенных в «Этическом руководстве правдивого ИИ». Чек-лист адресован разработчикам ИИ, его цель - помочь при проверке исполнения ключевых принципов правдивого искусственного интеллекта. По мнению его авторов, благодаря данному документу будет возможно обеспечить получение пользователями ИИ максимальной пользы без затраты излишних уси-

лий на проверку выполнения ключевых принципов [32].

Документ содержит определение понятия «непрерывного обучения» [33]. Под ним понимается способность постоянно учиться с течением времени, приспосабливая новые знания и сохраняя при этом ранее приобретенный опыт. Чек-лист включает ряд вопросов с целью проверки процесса обучения алгоритмов. Так, для оценки надёжности систем предлагается ответить на вопрос о том, осуществляется ли непрерывное обучение системы, и если - да, то замечает ли разработчик какие-либо негативные последствия, возникающие в ходе такого обучения, а также происходят ли какие-то изменения в способах подсчёта для оценки результата.

В этом контексте представляется характерным документ под названием «Этические вопросы развития Искусственного Интеллекта», разработанный компанией Microsoft [34]. В документе поднимаются вопросы, которые, по мнению компании, являются первоочередными на данном этапе. Можно согласиться с авторами документа в том, что полноценная реализация потенциала ИИ возможна только при условии того, что будут найдены ответы на такие ключевые морально-этические вопросы. Авторы подчёркивают, что системы ИИ должны быть ориентированы на человека и проектироваться таким образом, чтобы дополнять способность человека к творчеству и созиданию. Кроме того, при создании и применении технологий искусственного интеллекта необходимо учитывать принципы этики, восходящие к вечным моральным ценностям.

В «Этических вопросах развития Искусственного Интеллекта» предлагается следующие шесть ключевых принципов, которые должны быть в основе разработки и внедрения ИИ-решений: справедливость, надежность, конфиденциальность и безопасность, инклюзивность, прозрачность, подотчетность. Первый из них представляется пока нереализуемым и весьма спорным, с остальными можно согласиться.

Документ указывает, что создание «справедливого» и объективного ИИ возможно только в том случае, если на этапе обучения будет обеспечено максимальное разнообразие и репрезентативность данных. Системы ИИ должны отвечать четким параметрам и проходить тщательное тестирование, а также подвергаться регулярным проверкам на стадии эксплуатации, чтобы обеспечить безопасное реагирование на непредвиденные ситуации и не развиваться согласно подконтрольному сценарию. Проектируемые системы должны соответствовать законам о защите частной жизни, применимым стандартам конфиденциальности и обеспечивать защиту персональных данных на

всех этапах, включая сбор, использование и хранение данных. Авторы документа также подчёркивают важность предоставления создателями ИИ информации о том, как действуют ИИ-системы с целью обеспечения понимания пользователями принципов работы ИИ-решений.

Особого внимания заслуживает тот факт, что авторы указывают на важность ответственности разработчиков ИИ: специалисты, занимающиеся разработкой и эксплуатацией ИИ, должны нести ответственность за то, как работают системы, для чего должны быть разработаны нормы ответственности, которые будут применяться как на стадии разработки, так и в процессе дальнейшего использования ИИ.

Что касается отечественных инициатив, уместно вспомнить разработанный в 2017 г. назад проект Модельной концепции о робототехнике и искусственном интеллекте (далее - Модельная концепция), содержащей 11 принципов, призванных обеспечить безопасность роботов: принцип безопасности роботов, запрет причинения вреда по инициативе роботов, ограничение причинения вреда разумными роботами, правило равных рисков, информированность об опасности роботов, защита конфиденциальной информации, защита роботов от несанкционированного доступа, роботы с повышенной степенью опасности, управление роботами с повышенной степенью опасности, контролируемость роботов человеком, «чёрный ящик» (принцип фиксации роботами информации о своём функционировании), «красная кнопка» (принцип аварийного отключения в экстренных ситуациях) [35].

При этом в Модельной концепции в отношении придания роботам субъектов права ее авторы сознательно оставили вопрос о том, должны ли в будущем умные роботы стать субъектами или остаться объектами, за её пределами (ст. 29) [36]. Тем не менее, даже при таком самоограничении для целей использования роботов в обороте требуется их идентификация для того, чтобы отличать роботов от автоматизированных устройств и компьютеров. В первой редакции Модельной концепции в этой связи предложено следующее: «Информация о том, что какое-либо устройство или объект является роботом, должна быть донесена до любого взаимодействующего с ним человека или другого робота, за исключением случаев, когда это продиктовано обстановкой либо не требуется исходя из назначения и специфических условий применения конкретной формы робота» (ст. 25).

В совокупности с принципом ограничения поведения роботов (ст. 26 Модельной концепции), определяющим, что «функционирование роботов должно быть принципиально предсказуемым для

ОБРАЗОВАНИЕ И ПРАВО № 6 • 2020

их создателей и пользователей, соответствовать их конструкции и назначению, быть безопасным и контролируемым», а также обязательной информированностью субъектов о порядке функционирования роботов (ст. 27 Модельной концепции) и, в целом, об опасности роботов (ст. 10 Модельной концепции), этот набор подходов может стать основой для формирования системы этических и правовых принципов, которые должны стать основой развития робототехники в мире.

Выводы

Представляется важным разработать специальные этические и правовые принципы и требования, применимые именно к разработке алгоритмов, устройств и решений на основе искусственного интеллекта и процессу машинного обучения, включая также самообучение, но с учётом особенностей этого процесса.

На первое место здесь следует поставить комплекс принципов безопасности искусственного интеллекта, когда и алгоритмы, и обучение должны создаваться и организовываться таким образом, чтобы искусственный интеллект (а также робот, обладающий таким искусственным интеллектом) был максимально безопасен для человека и человечества. Принципы этой группы потребуют глубокой проработки и раскрытия путем включения в их состав запрета возможности организации обучения с целью создания навыков, направленных исключительно на причинение вреда человеку. Это не найдет поддержки у разработчиков военных роботов, но если данные принципы окажутся нереализованными, то угрозы мировых войн или риски передела мирового порядка станут более реальными.

Вторая группа принципов связаны с надежностью обучения ИИ, когда, в частности, процесс обучения должен быть организован только на основе достоверных данных и только с использованием научно-обоснованных и проверенных практикой алгоритмов, при этом объем данных для обучения должен быть заведомо достаточен, установлен запрет на неправомерное вмешательство в процессы обучения и организована полная и достоверная фиксация всей информации, собираемой и обрабатываемой искусственным интеллектом, и информации о выборе и принятии им всех его решений в процессе обучения. В общей системе принципов о надежном обучении дополнительно необходимо будет выделять специальные принципы для самообучения.

Третья группа принципов связана с идеей подчиненного взаимодействия ИИ с человеком и человечеством, когда человек на современном этапе развития человечества должен иметь возможность осознавать, чем и как он

ОБРАЗОВАНИЕ И ПРАВО № 6 • 2020

управляет, а процессы обучения и последующего функционирования систем ИИ должны быть построены таким образом, чтобы исключить стратегический контроль ИИ над человеком или их взаимное равноправие. Представляется крайне важным при разработке и обучении ИИ создать систему требований, приводящую к самоидентификации устройств, и решений на основе технологий искусственного интеллекта до начала их взаимодействия с физическим лицом, как минимум, по вопросам, затрагивающим права, обязанности и законные интересы гражданина (человека). Это обеспечит человеку и человечеству право знать, с кем они взаимодействуют, позволят принимать осознанное участие в отношениях в связи с использованием ИИ либо отказываться от него.

Безусловно, технологии машинного обучения будут развиваться и дальше, поскольку потребности и реально ожидаемая (а не навеянная фантастикой) от ИИ польза, может быть очень большой: благодаря внедрению ИИ в медицину повысится точность диагностики и станет возможным оказание более эффективной медицинской помощи, внедрение автоматизированного транспорта позволит снизить количество аварий на дорогах. Тем не менее, нельзя идеализировать эти технологии и слепо доверять достигнутым с помощью них результатам: практика показывает, что математические алгоритмы тоже могут «ошибаться», а еще чаще ошибаются люди - их создатели, поэтому, насколько бы использование ни казалось привлекательными, внедряя такие технологии, необходимо помнить о потенциальных опасностях, которые они в себе заключают, в связи с чем процессы обучения и функционирования ИИ должен в обязательном порядке опираться на сбалансированную систему указанных принципов и требований, от скорости разработки и внедрения которых могут зависеть судьбы человечества.

Список литературы:

[1] Machine Learning What it is and why it matters. URL: https://www.sas.com/en_us/insights/ analytics/machine-learning.html (дата обращения: 18.08.2020).

[2] Модели правового регулирования создания, использования и распространения роботов и систем с искусственным интеллектом: монография / под общ. ред. В.Б. Наумова. - СПб.: НП-Принт, 2019. - С. 189.

[3] Hubbard F.P., Sophisticated Robots: Balancing Liability, Regulation, and Innovation. Florida Law Review. 2014. URL: https://ssrn.com/ abstract=2408557 (дата обращения: 18.08.2020).

[4] Preliminary study on the technical and legal aspects relating to the desirability of a stanard-setting instrument on the ethics of artificial intelligence. -2019. - P. 11.

[5] ИИ-система диагностики онкологических заболеваний Botkin.AI доступна в облаке Microsoft Azure. 2019. URL: https://news.microsoft.com/ru-ru/ botkinai-microsoft-azure/ (дата обращения: 18.08.2020).

[6] Byoung Geol Choi, Seung-Woon Rha, Suhng Wook Kim, Jun Hyuk Kang, Ji Young Park, Yung-Kyun Noh. Machine Learning for the Prediction of New-Onset Diabetes Mellitus during 5-Year Follow-up in Non-Diabetic Patients with Cardiovascular Risks. Yonsei Medical Journal. 2019. URL: https://www.ncbi.nlm.nih.gov/pmc/articles/ PMC6342710/ (дата обращения: 18.08.2020). Гусев А.В., Гаврилов Д.В., Корсаков И.Н. и др. Перспективы использования методов машинного обучения для предсказания сердечно-сосудистых заболеваний // Врач и информационные технологии. -2019. - № 3. URL: https://webiomed.ai/media/ publications_files/perspektivy-ispolzovaniia-metodov-mashinnogo-obucheniia-dlia-predskaz_ fulv37y.pdf

[7] Stankovic M., Gupta R., Rossert B., etc. Exploring Legal, Ethical and Policy Implications of Artificial Intelligence. 2017. URL: https://www. researchgate.net/publication/320826467_Exploring_ Legal_Ethical_and_Policy_Implications_of_Artificial_ Intelligence (дата обращения: 18.08.2020).

[8] Dorschel Arianna. Rethinking Data Privacy: The Impact of Machine Learning. Luminovo.AI. 2019. URL: https://medium.com/luminovo/data-privacy-in-machine-learning-a-technical-deep-dive-f7f0365b1d60 (дата обращения: 18.08.2020); Khaled El Emam, Elizabeth Jonker, Luk Arbuckle, Bradley Malin.A Systematic Review of Re-Identification Attacks on Health Data. PLoS One. 2011. URL: https://www.ncbi.nlm.nih.gov/pmc/articles/ PMC3229505/ (дата обращения: 18.08.2020).

[9] Who Owns Medical Records: 50 State Comparison.Health inforamtion and law. URL: http:// www.healthinfolaw.org/comparative-analysis/who-owns-medical-records-50-state-comparison (дата обращения: 18.08.2020).

[10] Preliminary study on the technical and legal aspects relating to the desirability of a stanard-setting instrument on the ethics of artificial intelligence. -2019. - P. 12.

[11] A computer program used for bail and sentencing decisions was labeled biased against blacks. It's actually not that clear // The Washington Post. 2016. URL: https://www.washingtonpost.com/ news/monkey-cage/wp/2016/10/17/can-an-algorithm-be-racist-our-analysis-is-more-cautious-than-propublicas/ (дата обращения: 18.08.2020).

[12] Белая книга «Об искусственном интеллекте - Европейский подход по совершенствованию и повышению доверия» (On Artificial Intelligence - A European approach to excellence and trust), документ Европейской Комиссии от 19 февраля 2020. С. 19, 20. URL: https://ec.europa.eu/info/ sites/info/files/commission-white-paper-artificial-intelligence-feb2020_en.pdf

[13] Наумов В.Б., Незнамов А.В. Модельная конвенция о робототехнике и искусственном интеллекте: подходы к идентификации и вопросам безопасности // Динамика институтов информационной безопасности. Правовые проблемы: сб. науч. тр. / отв. ред. Т.А. Полякова, В.Б. Наумов, Э.В. Талапина. - М.: Канон Плюс, 2018. - С. 125 -137.

[14] Белая книга «Об искусственном интеллекте - Европейский подход по совершенствованию и повышению доверия» (On Artificial Intelligence - A European approach to excellence and trust), документ Европейской Комиссии от 19 февраля 2020. С. 19. URL: https://ec.europa.eu/info/ sites/info/files/commission-white-paper-artificial-intelligence-feb2020_en.pdf

[15] The ethics of artificial intelligence: Teaching computers to be good people. University of Colorado at Boulder. 2019. URL: https://phys.org/news/2019-03-ethics-artificial-intelligence-good-people.html (дата обращения: 18.08.2020).

[16] Letzter R. Amazon just showed us that 'unbiased' algorithms can be inadvertently racist. 2016. URL: https://www.businessinsider.com/how-algorithms-can-be-racist-2016-4?IR=T (дата обращения: 18.08.2020).

[17] Buranyi St. Rise of the racist robots - how AI is learning all our worst impulses. 2017. URL: https://www.theguardian.com/inequality/2017/ aug/08/rise-of-the-racist-robots-how-ai-is-learning-all-our-worst-impulses (дата обращения: 18.08.2020).

[18] How LinkedIn's search engine may reflect a gender bias. 2016. URL: https://www.seattletimes. com/business/microsoft/how-linkedins-search-engine-may-reflect-a-bias/ (дата обращения: 18.08.2020).

[19] Белая книга «Об искусственном интеллекте - Европейский подход по совершенствованию и повышению доверия» (On Artificial Intelligence - A European approach to excellence and trust), документ Европейской Комиссии от 19 февраля 2020. С. 19. URL: https://ec.europa.eu/info/ sites/info/files/commission-white-paper-artificial-intelligence-feb2020_en.pdf

[20] Решение проблемы вагонетки зависит от того, в какой культуре сформировалась личность. URL: https://naked-science.ru/article/psy/reshenie-

ОБРАЗОВАНИЕ И ПРАВО № 6 • 2020

problemy-vagonetki-zavisit-ot-togo-v-kakoj-kulture-sformirovalas-lichnost (дата обращения: 18.08.2020).

[21] Patrick Lin. Why Ethics Matters for Autonomous Cars. 2016. URL: https://www. researchgate.net/publication/303480862_ (дата обращения: 18.08.2020).

[22] Lipton ZCL, Steinhardt J. Troubling trends in machine learning scholarship. ICML 2018 debate papers. 2018. URL: https://www.dropbox.com/s/ ao7c090p8bg1hk3/Lipton%20and%20 Steinhardt%20%20Troubling%20Trends%20in%20 Machine%20Learning%20Scholarship.pdf?dl=0 (дата обращения: 18.08.2020).

[23] Консультация Гугл по Белой книге «Об искусственном интеллекте - Европейский подход по совершенствованию и повышению доверия» (On Artificial Intelligence - A European approach to excellence and trust) от 28.05.2020 г. (Consultation on the white paper on AI - a European approach Google's submission May 28, 2020). С. 20. URL: https://blog.google/documents/77/Googles_ submission_to_EC_AI_consultation_1 .pdf

[24] Awad E., Dsouza S., Shariff A. etc. Universals and variations in moral decisions made in 42 countries by 70,000 participants. 2020. URL: https://www.pnas.org/content/117/5/2332 (дата обращения: 18.08.2020).

[25] Independent high-level expert group on artificial intelligence set up by the European Commission. Ethic guidelines for trustworthy AI. High-Level Expert Group on Artificial Intelligence. -2019. - P. 6.

[26] Spotlight on Artificial Intelligence and Freedom of Expression. Office of the Representative on Freedom of the Media Organization for Security and Co-operation in Europe (OSCE). 2020.

[27] Independent high-level expert group on artificial intelligence set up by the European Commission. Ethic guidelines for trustworthy AI. High-Level Expert Group on Artificial Intelligence. -2019. - P. 19.

[28] Independent high-level expert group on artificial intelligence set up by the European Commission. Ethic guidelines for trustworthy AI. High-Level Expert Group on Artificial Intelligence. -2019. - P. 19.

[29] Top Artificial Intelligence Fails in Image and Facial Recognition. 2019. URL: https://medium.com/ swlh/top-artificial-intelligence-fails-in-image-and-facial-recognition-dfc1527b2295 (дата обраще-ния:18.08.2020).

[30] Preliminary study on the technical and legal aspects relating to the desirability of a standardsetting instrument on the ethics of artificial intelligence. - 2019. - P. 15.

ОБРАЗОВАНИЕ И ПРАВО № 6 • 2020

[31] Privacy International and ARTICLE 19, Privacy and Freedom of Expression In the Age of Artificial Intelligence. - 2018.

[32] The assessment list for trustworthy Artificial Intelligence (ALTAI) for self assessment. 2020. URL: https://ec.europa.eu/digital-single-market/en/news/ assessment-list-trustworthy-artificial-intelligence-altai-self-assessment (дата обращения: 18.08.2020).

[33] The assessment list for trustworthy Artificial Intelligence (ALTAI) for self assessment. 2020. URL: https://ec.europa.eu/digital-single-market/en/news/ assessment-list-trustworthy-artificial-intelligence-altai-self-assessment (дата обращения: 18.08.2020).

[34] Этические вопросы развития Искусственного Интеллекта. URL: https://www.microsoft. com/en-us/ai/responsible-

ai?activetab=pivot1%3aprimaryr6 (дата обращения: 18.08.2020).

[35] Наумов В.Б., Незнамов А.В. Модельная конвенция о робототехнике и искусственном интеллекте: подходы к идентификации и вопросам безопасности // Динамика институтов информационной безопасности. Правовые проблемы: сб. науч. тр. / отв. ред. Т.А. Полякова, В.Б. Наумов, Э.В. Талапина. - М.: Канон Плюс, 2018. - С. 125 -137.

[36] Архипов В.В., Наумов В.Б. О некоторых вопросах теоретических оснований развития законодательства о робототехнике: аспекты воли и правосубъектности // Закон. - 2017. - № 5. - С. 157

- 170.

Spisok literatury:

[1] Machine Learning What it is and why it matters. URL: https://www.sas.com/en_us/insights/ana-lytics/machine-learning.html (data obrashcheniya: 18.08.2020).

[2] Modeli pravovogo regulirovaniya sozdaniya, ispol'zovaniya i rasprostraneniya robotov i sistem s iskusstvennym intellektom: monografiya / pod obshch. red. V.B. Naumova. - SPb.: NP-Print, 2019.

- S. 189.

[3] Hubbard F.P., Sophisticated Robots: Balancing Liability, Regulation, and Innovation. Florida Law Review. 2014. URL: https://ssrn.com/ abstract=2408557 (data obrashcheniya: 18.08.2020).

[4] Preliminary study on the technical and legal aspects relating to the desirability of a stanard-setting instrument on the ethics of artificial intelligence. -2019. - P. 11.

[5] II-sistema diagnostiki onkologicheskih zabolevanij Botkin.AI dostupna v oblake Microsoft Azure. 2019. URL: https://news.microsoft.com/ru-ru/ botkinai-microsoft-azure/ (data obrashcheniya: 18.08.2020).

[6] Byoung Geol Choi, Seung-Woon Rha, Suhng Wook Kim, Jun Hyuk Kang, Ji Young Park,

Yung-Kyun Noh. Machine Learning for the Prediction of New-Onset Diabetes Mellitus during 5-Year Follow-up in Non-Diabetic Patients with Cardiovascular Risks. Yonsei Medical Journal. 2019. URL: https:// www.ncbi.nlm.nih.gov/pmc/articles/PMC6342710/ (data obrashcheniya: 18.08.2020). Gusev A.V., Gavrilov D.V., Korsakov I.N. i dr. Perspektivy ispol'zovaniya metodov mashinnogo obucheniya dlya predskazaniya serdechno-sosudistyh zabolevanij // Vrach i informacionnye tekhnologii. - 2019. - № 3. URL: https://webiomed.ai/media/publications_files/ perspektivy-ispolzovaniia-metodov-mashinno-go-obucheniia-dlia-predskaz_fulv37y.pdf

[7] Stankovic M., Gupta R., Rossert B., etc. Exploring Legal, Ethical and Policy Implications of Artificial Intelligence. 2017. URL: https://www. researchgate.net/publication/320826467_Exploring_ Legal_Ethical_and_Policy_Implications_of_Artificial_ Intelligence (data obrashcheniya: 18.08.2020).

[8] Dorschel Arianna. Rethinking Data Privacy: The Impact of Machine Learning. Luminovo.AI. 2019. URL: https://medium.com/luminovo/data-privacy-in-machine-learning-a-technical-deep-dive-f7f0365b1d60 (data obrashcheniya: 18.08.2020); Khaled El Emam, Elizabeth Jonker, Luk Arbuckle, Bradley Malin. A Systematic Review of Re-Identification Attacks on Health Data. PLoS One. 2011. URL: https://www.ncbi.nlm.nih.gov/pmc/articles/ PMC3229505/ (data obrashcheniya: 18.08.2020).

[9] Who Owns Medical Records: 50 State Com-parison.Health inforamtion and law. URL: http://www. healthinfolaw.org/comparative-analysis/ who-owns-medical-records-50-state-comparison (data obrashcheniya: 18.08.2020).

[10] Preliminary study on the technical and legal aspects relating to the desirability of a stanard-setting instrument on the ethics of artificial intelligence. -2019. - P. 12.

[11] A computer program used for bail and sentencing decisions was labeled biased against blacks. It's actually not that clear // The Washington Post. 2016. URL: https://www.washingtonpost.com/news/ monkey-cage/wp/2016/10/17/can-an-algorithm-be-racist-our-analysis-is-more-cautious-than-propubli-cas/ (data obrashcheniya: 18.08.2020).

[12] Belaya kniga «Ob iskusstvennom intellekte - Evropejskij podhod po sovershenstvovaniyu i povy-sheniyu doveriya» (On Artificial Intelligence - A European approach to excellence and trust), dokument Evropejskoj Komissii ot 19 fevralya 2020. S. 19, 20. URL: https://ec.europa.eu/info/sites/info/files/com-mission-white-paper-artificial-intelligence-feb2020_ en.pdf

[13] Naumov V.B., Neznamov A.V. Model'naya konvenciya o robototekhnike i iskusstvennom intellekte: podhody k identifikacii i voprosam bezopasnosti

// Dinamika institutov informacionnoj bezopasnosti. Pravovye problemy: sb. nauch. tr. / otv. red. T.A. Pol-yakova, V.B. Naumov, E.V. Talapina. - M.: Kanon Plyus, 2018. - S. 125 - 137.

[14] Belaya kniga «Ob iskusstvennom intellekte

- Evropejskij podhod po sovershenstvovaniyu i povy-sheniyu doveriya» (On Artificial Intelligence - A European approach to excellence and trust), dokument Evropejskoj Komissii ot 19 fevralya 2020. S. 19. URL: https://ec.europa.eu/info/sites/info/files/commis-sion-white-paper-artificial-intelligence-feb2020_ en.pdf

[15] The ethics of artificial intelligence: Teaching computers to be good people. University of Colorado at Boulder. 2019. URL: https://phys.org/ news/2019-03-ethics-artificial-intelligence-good-peo-ple.html (data obrashcheniya: 18.08.2020).

[16] Letzter R. Amazon just showed us that YunbiasedY algorithms can be inadvertently racist. 2016. URL: https://www.businessinsider.com/how-al-gorithms-can-be-racist-2016-4?IR=T (data obrash-cheniya: 18.08.2020).

[17] Buranyi St. Rise of the racist robots - how AI is learning all our worst impulses. 2017. URL: https://www.theguardian.com/inequality/2017/ aug/08/rise-of-the-racist-robots-how-ai-is-learning-all-our-worst-impulses (data obrashcheniya: 18.08.2020).

[18] How LinkedIn's search engine may reflect a gender bias. 2016. URL: https://www.seattletimes. com/business/microsoft/how-linkedins-search-en-gine-may-reflect-a-bias/ (data obrashcheniya: 18.08.2020).

[19] Belaya kniga «Ob iskusstvennom intellekte

- Evropejskij podhod po sovershenstvovaniyu i povy-sheniyu doveriya» (On Artificial Intelligence - A European approach to excellence and trust), dokument Evropejskoj Komissii ot 19 fevralya 2020. S. 19. URL: https://ec.europa.eu/info/sites/info/files/commis-sion-white-paper-artificial-intelligence-feb2020_ en.pdf

[20] Reshenie problemy vagonetki zavisit ot togo, v kakoj kul'ture sformirovalas' lichnost'. URL: https://naked-science.ru/article/psy/reshenie-proble-my-vagonetki-zavisit-ot-togo-v-kakoj-kul-ture-sformirovalas-lichnost (data obrashcheniya: 18.08.2020).

[21] Patrick Lin. Why Ethics Matters for Autonomous Cars. 2016. URL: https://www.researchgate. net/publication/303480862_ (data obrashcheniya: 18.08.2020).

[22] Lipton ZCL, Steinhardt J. Troubling trends in machine learning scholarship. ICML 2018 debate papers. 2018. URL: https://www.dropbox.com/s/ ao7c090p8bg1hk3/Lipton%20and%20Stein-hardt%20%20Troubling%20Trends%20in%20

ОБРАЗОВАНИЕ И ПРАВО № 6 • 2020

Machine%20Learning%20Scholarship.pdf?dl=0 (data obrashcheniya: 18.08.2020).

[23] Konsul'taciya Gugl po Beloj knige «Ob isk-usstvennom intellekte - Evropejskij podhod po sover-shenstvovaniyu i povysheniyu doveriya» (On Artificial Intelligence - A European approach to excellence and trust) ot 28.05.2020 g. (Consultation on the white paper on AI - a European approach Google's submission May 28, 2020). S. 20. URL: https://blog. google/documents/77/Googles_submission_to_EC_ AI_consultation_1 .pdf

[24] Awad E., Dsouza S., Shariff A. etc. Universals and variations in moral decisions made in 42 countries by 70,000 participants. 2020. URL: https:// www.pnas.org/content/117/5/2332 (data obrashcheniya: 18.08.2020).

[25] Independent high-level expert group on artificial intelligence set up by the European Commission. Ethic guidelines for trustworthy AI. High-Level Expert Group on Artificial Intelligence. - 2019. - P. 6.

[26] Spotlight on Artificial Intelligence and Freedom of Expression. Office of the Representative on Freedom of the Media Organization for Security and Co-operation in Europe (OSCE). 2020.

[27] Independent high-level expert group on artificial intelligence set up by the European Commission. Ethic guidelines for trustworthy AI. High-Level Expert Group on Artificial Intelligence. - 2019. - P. 19.

[28] Independent high-level expert group on artificial intelligence set up by the European Commission. Ethic guidelines for trustworthy AI. High-Level Expert Group on Artificial Intelligence. - 2019. -P. 19.

[29] Top Artificial Intelligence Fails in Image and Facial Recognition. 2019. URL: https://medium.com/ swlh/top-artificial-intelligence-fails-in-image-and-fa-

cial-recognition-dfc1527b2295 (data obrash-cheniya:18.08.2020).

[30] Preliminary study on the technical and legal aspects relating to the desirability of a standard-setting instrument on the ethics of artificial intelligence. - 2019. - P. 15.

[31] Privacy International and ARTICLE 19, Privacy and Freedom of Expression In the Age of Artificial Intelligence. - 2018.

[32] The assessment list for trustworthy Artificial Intelligence (ALTAI) for self assessment. 2020. URL: https://ec.europa.eu/digital-single-market/en/news/ assessment-list-trustworthy-artificial-intelligence-al-tai-self-assessment (data obrashcheniya: 18.08.2020).

[33] The assessment list for trustworthy Artificial Intelligence (ALTAI) for self assessment. 2020. URL: https://ec.europa.eu/digital-single-market/en/news/ assessment-list-trustworthy-artificial-intelligence-al-tai-self-assessment (data obrashcheniya: 18.08.2020).

[34] Eticheskie voprosy razvitiya Iskusstven-nogo Intellekta. URL: https://www.microsoft.com/ en-us/ai/responsible-ai?activetab=pivot1°/o3aprima-ryr6 (data obrashcheniya: 18.08.2020).

[35] Naumov V.B., Neznamov A.V. Model'naya konvenciya o robototekhnike i iskusstvennom intellekte: podhody k identifikacii i voprosam bezopasnosti // Dinamika institutov informacionnoj bezopasnosti. Pravovye problemy: sb. nauch. tr. / otv. red. T.A. Pol-yakova, V.B. Naumov, E.V. Talapina. - M.: Kanon Plyus, 2018. - S. 125 - 137.

[36] Arhipov V.V., Naumov V.B. O nekotoryh voprosah teoreticheskih osnovanij razvitiya zakonod-atel'stva o robototekhnike: aspekty voli i pravosub"ek-tnosti // Zakon. - 2017. - № 5. - S. 157 - 170.

ЮРКОМПАНИ

^ www.law-books.ru

Юридическое издательство «ЮРКОМПАНИ» издает научные журналы:

• Научно-правовой журнал «Образование и право», рекомендованный ВАК Министерства науки и высшего образования России (специальности 12.00.01,12.00.02), выходит 1 раз в месяц.

• Научно-правовой журнал «Право и жизнь», рецензируемый (РИНЦ, Е-ЫЬгагу), выходит 1 раз в 3 месяца.

V.

г

ОБРАЗОВАНИЕ И ПРАВО № 6 • 2020