CC BY
78
УДК 342.111.42 ББК Х.400.42
DOI: 10.14529/law200216
ПРОБЛЕМЫ СОЦИАЛЬНОЙ ЭФФЕКТИВНОСТИ И ЗАЩИТЫ ПРАВ ЧЕЛОВЕКА ПРИ ИСПОЛЬЗОВАНИИ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА В РАМКАХ СОЦИАЛЬНОГО СКОРИНГА
А. В. Минбалеев1'2
1 Московский государственный юридический университет им. О. Е. Кутафина (МГЮА), г. Москва,
2 Южно-Уральский государственный университет, г. Челябинск
Статья посвящена исследованию социальной эффективности и защиты прав человека при использовании искусственного интеллекта в рамках социального скоринга. Социальный скоринг порождает ряд рисков - несанкционированного сбора персональных данных, вторжения в частную жизнь, дискриминации того или иного человека или социальной группы, незаконного использования персональных данных в рекламных и иных коммерческих целях.
Автор полагает, что официальное использование социального скоринга государством или другими субъектами должно обязательно строиться на принципах информирования о проведении социального скоринга и использовании персональных данных граждан, получения согласия на социальный скоринг, а также открытости и доступности информации об основаниях использования системы; принципах ее работы; персональных данных и иной информации о гражданах, используемой для скоринга; возможностях корректировки данных и оспаривания результатов скоринга. Важно запрещать неофициальное, скрытое использование социального скоринга и устанавливать ответственность за нарушение этих требований и нарушение прав человека и гражданина.
Делается вывод, что риск использования сформированных в рамках социального скоринга данных для влияния на принятие человеком того или иного решения, обусловливает необходимость законодательного ограничения таких действий, если только сам человек явным образом не выразил желание, чтобы полученная информация использовалась для таких целей.
Ключевые слова: социальный скоринг, искусственный интеллект, социальная эффективность, права человека, защита, социальное управление.
Технологии искусственного интеллекта сегодня позволяют правительствам овладеть беспрецедентными возможностями для мониторинга, отслеживания и наблюдения за отдельными людьми или социальными группами на основе их цифровых данных, в том числе полученных из цифровых профилей и активности в сети Интернет, социальных сетях. Для авторитарных политических режимов использование технологических инноваций и цифровых данных граждан имеют огромное преимущество в осуществлении государственного управления и контроля. Государства с демократическим режимом могут иметь искушение злоупотреблять новыми технологическими возможностями в управлении поведением граждан, используя их цифровые профили. При этом такие цифровые технологии как искусственный интеллект, технологии
больших данных, виртуальной и дополненной реальности, нейронные сети позволяют быстро и эффективно отслеживать граждан и их поведение. Одним из таких направлений использования искусственного интеллекта являются процессы использования и управления цифровыми данными граждан при осуществлении социального скоринга [1].
Что представляет собой социальный скоринг? Это система оценивания и дифференцирования тех или иных субъектов (клиентов, работников, пассажиров и др.) интернет-отношений на основании его социальных параметров, характеристик, полученных в результате анализа его активности в сети Интернет и социальных сетях, позволяющая спрогнозировать его поведение. Система эта чаще всего функционирует на базе специализированного программного обеспечения с ис-
пользованием технологий искусственного интеллекта.
Как отмечают исследователи социального рейтинга, он «может в конечном итоге быть более важным, чем резюме при получении работы, особенно на позиции начального уровня... информация будет следовать за вами повсюду и будет доступна каждому человеку, с которым вы встречаетесь, каждому потенциальному работодателю, каждому официанту в вашем любимом ресторане» [2].
Социальный скоринг влечет за собой целый ряд рисков. Проанализируем их и возможности их предотвращения со стороны государства. Прежде всего необходимо выделить риск вторжения в частную жизнь гражданина, нарушение прав на защиту персональных данных. В рамках социального ско-ринга тот или иной человек как потенциальный клиент оценивается по его социальным характеристикам, прогнозируется его поведение с помощью анализа его присутствия в социальных сетях, просмотров тех или иных страниц в сети Интернет, определенных покупок и запросов. В рамках социального ско-ринга используются такие данные, как: пол, возраст, место проживания, должность, длительность работы в одном месте и т.д. В результате человек относится к той или ной категории, например, категории потенциального клиента или нет, потенциального потребителя товаров определенного класса. Клиенту может автоматически присваиваться целочисленный ранг, указывающий степень доверия и внимания, которое ему следует оказывать со стороны бизнеса. Активное использование при этом «такого источника информации, как социальная сеть, дает преимущество оценить клиента и его поведение более объективно в течение продолжительного времени, не учитывая его конкретные намерения в текущий момент» [3].
Помимо риска несанкционированного сбора персональных данных, также существует риски вторжения в частную жизнь, дискриминации того или иного человека или социальной группы. Технологии искусственного интеллекта позволяют осуществлять процедуру социального скоринга в короткие сроки, в том числе с использованием технологий больших данных. В связи с этим возникают риски невозможности отслеживания субъектами персональных данных всех фактов осуществления в отношении него скоринга и тех
выводов, которые делают скоринговые компании или иные организации, которые имеют доступ к этой информации, в отношении него.
Еще одним риском является навязывание рекламы, товаров, услуг на основании использования личной информации, тайных желаний. Социальный скоринг позволяет с одной стороны быстро и эффективно найти потенциальных клиентов, но, с другой стороны, существует риск того, что в дальнейшем потребителю будут навязываться рекламные предложения. Часто, анализируя активность в социальных сетях и в сети Интернет, система социального скоринга позволяет выявить те или иные наклонности человека, его пристрастие к определенным играм, посещению закрытых клубов и т.п. В дальнейшем такая информация, может и не будет использоваться фирмой, осуществляющей социальный ско-ринг, но в связи с развитием киберпреступно-сти сегодня никто не застрахован от возможного взлома и несанкционированного копирования этой информации, ее дальнейшего незаконного использования.
Очень часто сформированные данные о гражданах, полученные в рамках социального скоринга, используются в управлении при принятии решения человеком. Сформировав определенные социальные позиции в отношении того или иного человека как потребителя, выстроив рейтинг потребителей, система социального скоринга с позиции фирм позволяет им осуществлять грамотное управление информационными потоками различной смысловой нагрузки в отношении той или иной группы потребителей. Однако для самих граждан попадание в неприоритетные группы может оказаться сильным фактором в формировании зависимости от компании, стремлении стать лучше, попасть в лучший социальный ранг потребителя. В связи с этим потребители фактически становятся весьма управляемыми и готовы реагировать на любые предложения фирм.
Сегодня наблюдаются и своего рода инструкции и призывы к действию, когда речь идет о социальном скоринге. Например, в следующей форме: «Когда дело доходит до социального скоринга, у вас есть шанс «попасть туда первым» тоже. Как только эти оценки станут мейнстримом - а это уже происходит - все захотят иметь число ... большое число. У вас есть фора для начала. Сделай что-нибудь с этим» [2]. Таким образом, мы
наблюдаем потенциально очень негативный социальный эффект для многих граждан, которые не смогут быть социально дифференцированы как отвечающие тем или иным критериям, происходит риск сегрегации и социального расслоения пользователей.
Технологии искусственного интеллекта при этом позволяют четко отслеживать все реакции таких потребителей, учитывать их малейшие возможности осуществить покупку (это может выражаться во внезапно появляющихся скидках, купонах, предлагаемых потребителя). Как только потребитель просматривает страницу и задерживается чуть дольше на разделе «цена», для автоматизированной системы это сигнал об увеличении возможности совершения потребителем той или иной покупки.
Часто использование искусственного интеллекта в рамках социального скоринга имеет ряд положительных примеров. Например, учет мнения потребителей для повышения эффективности их обслуживания и предоставления более качественных услуг за оперативное время. Так, Amazon серьезно развивает технологии искусственного интеллекта, чтобы облегчить предоставление услуг клиентам. Amazon.com в настоящее время тестируются две программы для обслуживания клиентов с поддержкой ИИ. Одна из тестируемых программ отвечает на вопросы клиентов без какого-либо человеческого взаимодействия. Вторая программа функционирует с поддержкой человека, так что процесс оказания помощи клиентам проходит эффективнее. Вопросы, на которые программа не может ответить, будут переданы фактическому агенту службы персонала. Amazon отказывается от системы, в которой клиентам были представлены только конкретные ответы на конкретные вопросы [4].
Deep Brew, технология Starbucks по искусственному интеллекту (ИИ), является стратегической для компании и планируется активно внедряться в будущем. В настоящее время технология позволяет собирать сведения о клиентах, в том числе голосовые при помощи микрофона, анализировать их и предлагать варианты более эффективного взаимодействия с ними, привлекать их внимание, общаться с ними, что привлекает дополнительных клиентов и влечет прибыль [5].
Но, чаще всего, в случае социального скоринга мы наблюдаем негативные факты вторжения в частную жизнь, нарушение законодательства о персональных данных. Так, с использованием технологий искусственного интеллекта функционируют обманывающие людей и собирающие информацию о них социальные боты - автоматические или полуавтоматические учетные записи, предназначенные для олицетворения людей. Они успешно используются для анализа полученной информации и различного рода злоупотреблений. Современные исследователи уже разработали инструменты искусственного интеллекта, чтобы вооружить общественность в борьбе с социальными ботами, например, Botometer, популярный инструмент обнаружения ботов, разработанный в Университете Индианы (США) [6].
В рамках социального скоринга часто происходит не только навязывание рекламы, товаров и услуг на основе полученной личной информации из профилей, но и провоцирование темных сторон жизни и антисоциальных наклонностей и интересов людей. Искусственный интеллект позволяет маркетологам эффективно распознавать объекты в социальных сообщениях тех или иных потребителей-пользователей, чтобы лучше таргетировать рекламу, усовершенстовать работу чат-ботов и раскрыть скрытые закономерности в наборах больших данных. Ряд приложений искусственного интеллекта функционируют сегодня в сфере маркетинга и рекламы, а пользователи могут толкьо догадываться о масштабах их развития. Социальные сети с их богатством данных и проверенными рекламными экосистемами идеально подходят для применения искусственного интеллекта. Так, в 2017 году 89 % маркетологов посчитали ин-флюенс-маркетинг (1пАиепсег-маркетинг -способ продвижения товаров и услуг через известных блогеров, лидеров мнений) эффективным. ИИ способен просеивать инфлюенс-контент (информация в социальных сетях, подготовленная блоггером, лидером мнений в социальных сетях) и уровни вовлеченности аудитории, сопоставлять бюджет и аудиторию, а также вырабатывать стратегию выхода на рынок с наибольшей вероятностью рентабельности инвестиций, извлекая догадки из весьма субъективного процесса [7].
Опасной является и возможность управления при принятии решения гражданами-пользователями социальных сетей, как в экономических, так и в политических отношениях. Один из наиболее успешных и спорных систем социального скоринга, реализуемых сегодня на правительственном уровне, является Система социального кредита Китая, которая призвана оценить надежность каждого гражданина. Система рассчитана таким образом, что к 2020 году каждый житель Китая будет занесен в обширную национальную базу данных, которая собирает фискальную и правительственную информацию, включая незначительные нарушения правил дорожного движения, и переводит ее в один номер в рамках профиля каждого гражданина, ранжирующий его в масштабах государства. Одним из самых громких проектов является Sesame Credit, финансовое крыло Alibaba. Alibaba активно использует свою уникальную базу данных потребительской информации для составления индивидуальных «социальных кредитов» и подсчета баллов [8]. Самая большая служба знакомств Китая, Baihe, объединилась с Sesame для продвижения клиентов с хорошими кредитными баллами, что дает им видные места на веб-сайте компании. Однако Sesame Credit не разглашает, как вычисляются кредитные баллы, объясняя, что это «сложный алгоритм» [8].
Данный опыт свидетельствует о достаточно больших возможностях системы социального скоринга, построенной таким образом, что она влияет на принятие тех или иных решений человеком, заставляет его подчиняться требованием системы. Она не допускает возможности выбора, альтернативного варианта, построена на необходимости строгого подчинения ей. Кроме того, граждане не имеют фактически возможности понимать, как строится система ранжирования, какие их данные используются для ее формирования.
В этой связи, полагаем, что официальное использование социального скоринга государством или другими субъектами должно обязательно строиться на принципах информирования о проведении социального скорин-га и использовании персональных данных граждан, получения согласия на социальный скоринг, а также открытости и доступности информации об основаниях использования системы; принципах ее работы; персональных данных и иной информации о гражданах, ис-
пользуемой для скоринга; возможностях корректировки данных и оспаривания результатов скоринга. Важно запрещать неофициальное, скрытое использование социального ско-ринга и устанавливать ответственность за нарушение этих требований и нарушение прав человека и гражданина.
Таким образом, риск вторжения в частную жизнь гражданина, нарушения прав на защиту персональных данных при осуществлении социального скоринга, а также многочисленные случаи таких нарушений обусловливает системы требований к процедурам социального скоринга, в частности:
- закрепления недопустимости использования тех или иных персональных данных без согласия субъекта персональных данных, за исключением случаев, когда такой сбор и обработка осуществляются на основании закона;
- недопустимость нарушения иных требований законодательства о персональных данных;
- обязательность получения согласия на проведение социльного скоринга в отношении того или иного человека;
- недопустимость вторжения в частную жизнь к в процессе социального скоринга, так и после на основе полученной информации;
- обязательное уведомление человека о процедуре и результатах социального скорин-га и др.
Навязывание рекламы, товаров, услуг с использованием личной информации, полученной в рамках социального скоринга, не должно допускаться за исключением случаев, когда человек сам дал согласие на его проведение в отношении него и использование результатов в рекламных и иных коммерческих целях. В этом отношении последние рекомендации Экспертной группы высокого уровня ЕС по искусственному интеллекту, что «искусственный интеллект, позволяющий массово оценивать людей» [9], должен быть запрещен, что необходимо жестко регулировать случаи, когда искусственный интеллект и большие данные могут использоваться для выявления угроз национальной безопасности [9], представляются достаточно обоснованными.
Риск использования сформированных в рамках социального скоринга данных для влияния на принятие человеком того или иного решения обусловливает необходимость законодательного ограничения таких дейст-
вий, если только сам человек явным образом не выразил желание, чтобы полученная информация использовалась для таких целей.
Литература
1. Allison Graham Pour l'innovation technologique, s'appuyer sur un Etat autoritaire présente beaucoup d'avantages. URL: https://www.le-monde .fr/idees/article/2019 /07/09/graham-allison -pour-l-innovation-technologique-s-appuyer-sur-un-etat-autoritaire-presente-beaucoup-d-
2. Social scoring will change your life. URL: https: //businesse sgrow.com/2010/11/22/get-ready-social-scoring-will-change-your-life/.
3. Скиба, С. А. Социальный скоринг / С. А. Скиба, В. И. Лойко // Научный журнал КубГАУ. - 2013. - № 91 (07). URL: http://ej.kubagro.ru/2013/07/pdf/89.pdf.
4. Amazon tests AI customer service in webshop. URL: https/www.techzine.eu/news/ trends /45304/amazon-tests-ai-customer-service-in-webshop/.
5. How Starbucks uses AI to counter mobile's isolating effect. URL: https:// www.mobilemarketer.com/news/how-starbucks-uses-ai-to-counter-mobiles-isolating-effect/570384/.
6. Kai-Cheng Yang, Onur Varol, Clayton A. Davis, Emilio Ferrara, Alessandro Flammini, Filippo Menczer Arming the public with artificial intelligence to counter social bots // Hum Behav & Emerg Tech. 2019; E115. DOI: 10,1002 / hbe2.115. URL:https://arxiv.org/abs/1901. 00912.
7. Bosch T. 5 ways AI can enhance social advertising. URL: https://www.digitalcommerce 360.com/2018/06/07/5-ways-ai-can-enhance-social-advertising/.
8. Hatton C. China «social credit»: Beijing sets up huge system. URL: https://www.bbc. com/news/world-asia-china-34592186.
9. Daniel Cooper Experts urge EU to ban AI-designed social credit ranking systems. URL: https://www.engadget.com/2019/06/27/eu-ai-report/.
Минбалеев Алексей Владимирович - доктор юридических наук, профессор, зав. кафедрой информационного права и цифровых технологий, Московский государственный юридический университет им. О. Е. Кутафина (МГЮА), г. Москва, профессор кафедры теории государства и права, конституционного и административного права, Южно-Уральский государственный университет, г. Челябинск. E-mail: alexmin@bk.ru.
Статья поступила в редакцию 30 апреля 2020 г.
DOI: 10.14529/law200216
PROBLEMS OF SOCIAL EFFICIENCY AND HUMAN RIGHTS PROTECTION IN THE USE OF ARTIFICIAL INTELLIGENCE IN THE FRAMEWORK OF SOCIAL SCO RING
A. V. Minbaleev1'2
1 Kutafin Moscow State Law University (MSAL), Moscow, Russian Federation
2 South Ural State University, Chelyabinsk, Russian Federation
The article is devoted to the study of social effectiveness and protection of human rights when using artificial intelligence in the framework of social scoring. Social scoring creates a number of risks - unauthorized collection of personal data, invasion of privacy, discrimination of a particular person or social group, illegal use of personal data for advertising and other commercial purposes.
The author believes that the official use of social scoring by the state or other entities should be based on the principles of informing about the conduct of social scoring and the use of personal data of citizens, obtaining consent to social scoring, as well as openness and availability of information about the grounds for using the system; the principles of its operation; personal data and other information about citizens used for scoring; opportunities to correct data and challenge the results of scoring. It is important to prohibit the unofficial, hidden use of social scoring and establish responsibility for violations of these requirements and violations of human and civil rights.
It is concluded that the risk of using data generated in the framework of social scoring to influence a person's decision-making makes it necessary to restrict such actions by law, unless the person has explicitly expressed a desire to use the information obtained for such purposes.
Keywords: social scoring, artificial intelligence, social efficiency, human rights, protection, social management.
References
1. Allison Graham Pour l'innovation technologique, s'appuyer sur un Etat autoritaire présente beaucoup d'avantages. URL: https://www.le-monde.fr/idees/article/2019/07/09/graham-allison -pour-l-innovation-technologique-s-appuyer-sur-un-etat-autoritaire-presente-beaucoup-d-
2. Social scoring will change your life. URL: https://businessesgrow.com/2010/11/22/get-ready-social-scoring-will-change-your-life/.
3. Skiba S. A., Lojko V. I. Social'nyj skoring [Social scoring]. Nauchnyj zhurnal KubGAU [The scientific journal of the Kuban state agrarian University], 2013, no. 91 (07). Available at: ej .kubagro.ru/2013/07/pdf/89.pdf.
4. Amazon tests AI customer service in webshop. URL: https/www.techzine.eu/news/ trends /45304/amazon-tests-ai-customer-service-in-webshop/.5. How Starbucks uses AI to counter mobile's isolating effect. URL: https:// www.mobilemarketer.com/news/how-starbucks-uses-ai-to-counter-mobiles-isolating-effect/570384/.
6. Kai-Cheng Yang, Onur Varol, Clayton A. Davis, Emilio Ferrara, Alessandro Flammini, Fil ippo Menczer Arming the public with artificial intelligence to counter social bots // Hum Behav & Emerg Tech. 2019; E115. DOI: 10,1002 / hbe2.115. URL:https://arxiv.org/abs/1901. 00912.
7. Bosch T. 5 ways AI can enhance social advertising. URL: https://www.digitalcommerce 360.com/2018/06/07/5-ways-ai-can-enhance-social-advertising/.
8. Hatton C. China «social credit»: Beijing sets up huge system. URL: https://www.bbc. com/news/world-asia-china-34592186.
9. Daniel Cooper Experts urge EU to ban AI-designed social credit ranking systems. URL: https://www.engadget.com/2019/06/27/eu-ai-report/.
Aleksey Vladimirovich Minbaleev - Doctor of Sciences (Law), Professor, head Department of Information Law and Digital Technologies of Kutafin Moscow State Law University (MSAL), Moscow, Professor of the Department of Theory of State and Law, Constitutional and Administrative Law, South Ural State University, Chelyabinsk, Russian Federation. E-mail: alexmin@bk.ru.
Received 30 April 2020.
ОБРАЗЕЦ ЦИТИРОВАНИЯ
Минбалеев, А. В. Проблемы социальной эффективности и защиты прав человека при использовании искусственного интеллекта в рамках социального скоринга / А. В. Минбалеев // Вестник ЮУрГУ. Серия «Право». - 2020. - Т. 20, № 2. - С. 96-101. Б01: 10.14529/^200216.
FOR CITATION
Minbaleev A. V. Problems of social efficiency and human rights protection in the use of artificial intelligence in the framework of social scoring. Bulletin of the South Ural State University. Ser. Law, 2020, vol. 20, no. 2, pp. 96-101. (in Russ.) DOI: 10.14529/law200216.
