Научная статья на тему 'ВЗАИМООТНОШЕНИЯ «ЧЕЛОВЕК-АЛГОРИТМ - ЧЕЛОВЕК» КАК СОЦИАЛЬНАЯ ПРОБЛЕМА И ПРОБЛЕМА ДЛЯ СОЦИОЛОГОВ. РЕЦ. НА КН.: CATHY O'NEIL. WEAPONS OF MATH DESTRUCTION: HOW BIG DATA INCREASES INEQUALITY AND THREATENS DEMOCRACY. NEW YORK: CROWN PUBLISHERS, 2016'

ВЗАИМООТНОШЕНИЯ «ЧЕЛОВЕК-АЛГОРИТМ - ЧЕЛОВЕК» КАК СОЦИАЛЬНАЯ ПРОБЛЕМА И ПРОБЛЕМА ДЛЯ СОЦИОЛОГОВ. РЕЦ. НА КН.: CATHY O'NEIL. WEAPONS OF MATH DESTRUCTION: HOW BIG DATA INCREASES INEQUALITY AND THREATENS DEMOCRACY. NEW YORK: CROWN PUBLISHERS, 2016 Текст научной статьи по специальности «СМИ (медиа) и массовые коммуникации»

CC BY
254
72
i Надоели баннеры? Вы всегда можете отключить рекламу.

Аннотация научной статьи по СМИ (медиа) и массовым коммуникациям, автор научной работы — Иванова А. А.

Сегодня исследования взаимоотношений «человек - алгоритм - человек» вызывают все возрастающий интерес среди представителей разных дисциплин. Рецензируемая книга вносит вклад в эту область и предлагает критический взгляд на нерефлексивное внедрение алгоритмов в жизнь общества. Предлагая оригинальный термин «оружие математического поражения» (weapons of math destruction, ОМП), автор книги Кэти О’Нил формулирует основной тезис: в современном американском обществе именно такой тип моделей оказывает все более пагубное влияние на жизнь людей. Книга посвящена анализу проблем, возникающих с проникновением ОМП в различные сферы: от выбора университета до приема на работу, от оценки здоровья сотрудников до получения кредита, от организации работы полиции до выдачи новостей в социальных сетях. Некоторые из описанных алгоритмов подпадают под определение искусственного интеллекта, некоторые могут потенциально им стать при дальнейшем развитии технологий.

i Надоели баннеры? Вы всегда можете отключить рекламу.
iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

HUMAN-ALGORITHM-HUMAN RELATIONSHIP AS A SOCIAL PROBLEM AND A SOCIOLOGICAL PROBLEM. BOOK REVIEW: CATHY O’NEIL “WEAPONS OF MATH DESTRUCTION: HOW BIG DATA INCREASES INEQUALITY AND THREATENS DEMOCRACY”. NEW YORK: CROWN PUBLISHERS, 2016

Today the human-algorithm-human relationship is becoming a focal point for research in numerous disciplines. This book is a contribution to the topic and provides a critical perspective on non-reflexive introduction of algorithms into social life. Using “WMD” (weapons of math destruction) as a specific term, Cathy O’Neil sets forward her main thesis stating that this very type of models has an increasingly negative impact on the America society. The book analyses the problems related to the “WMD” penetration into various spheres of life ranging from university choices to employment, from health evaluation to loans, from police performance to news content on social media. Some algorithms fit the definition of artificial intelligence; some may become one with further development of technologies. In the first part of the review the author considers the theses of the book and the arguments proving these ideas. The second part of the review addresses the following issues: Why would Russian readers be interested in this book? Would it be of interest to social scientists? In what way would the review’s author be interested in the social scientists’ studies? The author concludes that the weapons of math destruction have considerable heuristic value for social science.

Текст научной работы на тему «ВЗАИМООТНОШЕНИЯ «ЧЕЛОВЕК-АЛГОРИТМ - ЧЕЛОВЕК» КАК СОЦИАЛЬНАЯ ПРОБЛЕМА И ПРОБЛЕМА ДЛЯ СОЦИОЛОГОВ. РЕЦ. НА КН.: CATHY O'NEIL. WEAPONS OF MATH DESTRUCTION: HOW BIG DATA INCREASES INEQUALITY AND THREATENS DEMOCRACY. NEW YORK: CROWN PUBLISHERS, 2016»

РЕЦЕНЗИЯ НА КНИГУ

DOI: 10.14515/monitoring.2021.1.1900

А. А. Иванова

ВЗАИМООТНОШЕНИЯ «ЧЕЛОВЕК — АЛГОРИТМ — ЧЕЛОВЕК» КАК СОЦИАЛЬНАЯ ПРОБЛЕМА И ПРОБЛЕМА ДЛЯ СОЦИОЛОГОВ.

РЕЦ. НА КН.: CATHY O'NEIL. WEAPONS OF MATH DESTRUCTION: HOW BIG DATA INCREASES INEQUALITY AND THREATENS DEMOCRACY. NEW YORK: CROWN PUBLISHERS, 2016

Правильная ссылка на статью:

Иванова А. А. Взаимоотношения «человек — алгоритм — человек» как социальная проблема и проблема для социологов//Мониторинг общественного мнения: экономические и социальные перемены. 2021. № 1. С. 387—397. https://doi.org/10.14515/ monitoring.2021.1.1900. Рец. на кн.: Cathy O'Neil. Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy. New York: Crown Publishers, 2016. For citation:

Ivanova A. A. (2021) Human-Algorithm-Human Relationship as a Social Problem and a Sociological Problem. Monitoring of Public Opinion: Economic and Social Changes. No. 1. P. 387-397. https://doi.org/10.14515/monitoring.2021.1.1900. Book Review: Cathy O'Neil "Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy". New York: Crown Publishers, 2016. (In Russ.)

ВЗАИМООТНОШЕНИЯ «ЧЕЛОВЕК — АЛГОРИТМ — ЧЕЛОВЕК» КАК СОЦИАЛЬНАЯ ПРОБЛЕМА И ПРОБЛЕМА ДЛЯ СОЦИОЛОГОВ. РЕЦ. НА КН.: CATHY O'NEIL. WEAPONS OF MATH DESTRUCTION: HOW BIG DATA INCREASES INEQUALITY AND THREATENS DEMOCRACY. NEW YORK: CROWN PUBLISHERS, 2016

ИВАНОВА Анастасия Андреевна — аспирант факультета социологии, Санкт-Петербургский государственный университет, Санкт-Петербург, Россия E-MAIL: [email protected] https://orcid.org/0000-0003-4296-8530

Аннотация. Сегодня исследования взаимоотношений «человек — алгоритм — человек» вызывают все возрастающий интерес среди представителей разных дисциплин. Рецензируемая книга вносит вклад в эту область и предлагает критический взгляд на нерефлексивное внедрение алгоритмов в жизнь общества. Предлагая оригинальный термин «оружие математического поражения» (weapons of math destruction, ОМП), автор книги Кэти О'Нил формулирует основной тезис: в современном американском обществе именно такой тип моделей оказывает все более пагубное влияние на жизнь людей. Книга посвящена анализу проблем, возникающих с проникновением ОМП в различные сферы: от выбора университета до приема на работу, от оценки здоровья сотрудников до получения кредита, от организации работы полиции до выдачи новостей в социальных сетях. Некоторые из описанных алгоритмов подпадают под определение искусственного интеллекта, некоторые могут потенциально им стать при дальнейшем развитии технологий.

HUMAN-ALGORITHM-HUMAN RELATIONSHIP AS A SOCIAL PROBLEM AND A SOCIOLOGICAL PROBLEM. BOOK REVIEW: CATHY O'NEIL "WEAPONS OF MATH DESTRUCTION: HOW BIG DATA INCREASES INEQUALITY AND THREATENS DEMOCRACY". NEW YORK: CROWN PUBLISHERS, 2016

Anastasia A. IVANOVA1—Post-Graduate Student, Faculty of Sociology E-MAIL: [email protected] https://orcid.org/0000-0003-4296-8530

1 Saint Petersburg State University, Saint Petersburg, Russia

Abstract. Today the human-algorithm-human relationship is becoming a focal point for research in numerous disciplines. This book is a contribution to the topic and provides a critical perspective on non-reflexive introduction of algorithms into social life. Using "WMD" (weapons of math destruction) as a specific term, Cathy O'Neil sets forward her main thesis stating that this very type of models has an increasingly negative impact on the America society. The book analyses the problems related to the "WMD" penetration into various spheres of life ranging from university choices to employment, from health evaluation to loans, from police performance to news content on social media. Some algorithms fit the definition of artificial intelligence; some may become one with further development of technologies. In the first part of the review the author considers the theses of the book and the arguments proving these ideas. The second part of the review addresses the following issues: Why would Russian readers be interested in this book? Would it be of interest to social scientists? In what way would the review's author be inter-

В первой части рецензии автор описывает основные тезисы, изложенные в книге, и аргументацию, подкрепляющую эти утверждения. Во второй части содержание книги рассматривается через попытку ответить на три вопроса: почему книга будет интересна российскому читателю? чем она интересна социальному ученому? чем исследования социальных ученых могли бы быть интересны автору рецензируемой монографии? Автор приходит к выводу, что понятие «оружие математического поражения» обладает значительной эвристической ценностью для социальных наук.

ested in the social scientists' studies? The author concludes that the weapons of math destruction have considerable heuristic value for social science.

Благодарность. Исследование выполнено при финансовой поддержке РФФИ и Министерства по науке и технологиям Тайваня в рамках научного проекта № 21-511-52002.

Acknowledgments. The study was supported by RFBR and the Ministry of Science and Technology (Taiwan), project No. 21-511-52002.

Развитие современной медицины предполагает внедрение технологий искусственного интеллекта (ИИ): эта тенденция универсальна [Резаев, Трегубова, 2019]. Страновая специфика заключается в том, что агенты ИИ внедряются с разной скоростью и в разных направлениях. Вместе с тем разработчики ИИ и потенциальные пользователи сталкиваются с многочисленными проблемами, которые ограничивают разработку, внедрение и устойчивый рост применения ИИ в области медицины и здравоохранения.

Много проблем связано с тем, что в литературе называют пристрастностью алгоритмов (algorithmic bias). Одно из обоснований внедрения агентов ИИ в медицину состоит в том, что от них ожидают объективности, которая понимается как способность судить в соответствии с универсальными критериями. Другое обоснование заключается в указании на эффективность, на способность достигать цель с минимальными затратами. Однако если алгоритм по некоторым причинам отдает предпочтение одним пациентам перед другими, то его внедрение не только не усилит объективность и эффективность, но и приведет к значительным ухудшениям в работе медицинских организаций. И в сочетании со слепым доверием к алгоритмам такая ситуация может сохраняться достаточно долго.

Рецензируемая книга посвящена анализу именно такого рода проблем, которые возникают с проникновением алгоритмов в повседневную жизнь людей. Книга содержит многочисленные примеры из различных сфер: от образования до здравоохранения, от кредитования до организации работы полиции. Некоторые

из описанных алгоритмов подпадают под определение ИИ, другие могут потенциально им стать при дальнейшем развитии технологий.

***

Многие социальные ученые опасаются математики. С одной стороны, они выражают беспокойство возможностью просчитывания их действий вездесущими алгоритмами в интересах корпораций, государства или иных лиц. Из этих опасений и из специальной терминологии, возникающей вокруг них, возникают новые темы и новые области исследований. С другой стороны, в социальных науках и гуманитарных дисциплинах «боятся» математики потому, что она зачастую представляется чем-то непонятым и сложным. Мы анализируем социальные условия создания и внедрения алгоритмов, рассматриваем, каким образом работа некоторого устройства зависит от того, как понимают и воспринимают его разные люди, выясняем, как действия одних технологий способствуют или препятствуют действию других. Однако сам алгоритм обычно остается для исследователей «черным ящиком», в который лишь немногие имеют желание (и смелость) заглянуть 1.

Иными словами, опасливое отношение социальных ученых к математике, стоящей за алгоритмами, является и стимулом, и препятствием к изучению этих самых алгоритмов.

Что на это могли бы ответить математики? Книга Кэти О'Нил «Оружие математического поражения: как большие данные усиливают неравенство и угрожают демократии» [O'Neil, 2016] 2 может быть прочитана как ответ на подобный вопрос, способный усилить одни страхи и развеять другие. Она представляет собой исследование того, как разные виды человеческой глупости в сочетании с ошибками алгоритмов приводят к возникновению новых феноменов, которых мы как люди должны опасаться и при этом бесстрашно анализировать — как ученые.

Автор книги — бывший университетский математик, бывший аналитик в нескольких финансовых организациях, в настоящее время — писатель, автор блога 3 и основательница консалтинговой компании по внедрению алгоритмов 4. В своей монографии Кэти О'Нил рассматривает проблемы, интересующие современных социальных ученых. Однако она выходит на эти проблемы с других позиций—опираясь на свой опыт работы в финансовых корпорациях и стартапах, знание математики, а также на повседневный опыт жизни в американском обществе. Из-за разницы в перспективах книга получается одновременно и скромнее, и точнее, и по-своему амбициознее многого из того, что сегодня публикуют социальные ученые.

Ключевой тезис книги может быть сформулирован следующим образом: в современном американском обществе все более пагубное влияние на жизнь людей оказывает «оружие математического поражения» / ОМП (weapons of math

1 В современных социальных науках возникает целое новое направление исследования алгоритмов, в рамках которого авторы по-разному формулируют, что именно они собираются исследовать, а что оставляют за рамками анализа. Подробнее см. [Lee, Larsen, 2019].

2 Автор отсылает читателя к понятию Weapons of Mass Destruction — «оружие массового поражения». В 2018 г. книга была переведена на русский язык под названием «Убийственные большие данные. Как математика превратилась в оружие массового поражения» (М. : Издательство АСТ).

3 Mathbabe. Exploring and Venting About Quantitative Issues. URL: https://mathbabe.org/ (дата обращения: 22.02.2021).

4 O'Neil Risk Consulting & Algorithmic Auditing. URL: https://orcaarisk.com/ (дата обращения: 22.02.2021).

destruction, WMD). Следуя за аргументацией автора, следует рассмотреть а) саму идею ОМП, б) различные примеры работы ОМП (или того, что может им стать), в) оценку влияния ОМП на жизнь людей.

Ключевое словосочетание для понимания того, что такое ОМП, — плохая модель. В современном мире используются многочисленные математические модели самых разных процессов, более или менее точные и более или менее полезные (вредные). В качестве примера хороших моделей автор приводит те, что используют бейсбольные команды для подготовки игроков и определения состава команды. Такие модели основаны на понятных («прозрачных») показателях, которые измеряют именно то, что призваны измерить,— различные аспекты игры. Информация об этих показателях накапливается и постоянно обновляется. Существует обратная связь: прогноз об игре, выданный моделью, сравнивается с действительным исходом игры, что позволяет корректировать модель. Наконец, такие модели приносят пользу и командам, и болельщикам, улучшая качество игры.

ОМП представляют собой противоположность по всем пунктам, кроме одного. Эти модели 1) также основаны на большом количестве данных, но при этом 2) непрозрачны: те, чью активность измеряют, не знают или не понимают, что именно измеряют и почему; 3) основаны на косвенных показателях, редко измеряют то, что призваны измерять; 4) не имеют обратной связи, которая позволяла бы корректировать исходную модель. Как следствие, ОМП наносят вред тем, чью деятельность они прогнозируют, хотя при этом могут приносить прибыль компаниям или поддержку политикам. Таким образом, ОМП — это идеальный тип (в веберовском смысле) математической модели, на основании которой люди или алгоритмы принимают решения: в реальности модели могут обладать лишь некоторыми из четырех свойств, и вред моделей, согласно логике автора, зависит от того, в какой мере они этими свойствами обладают.

В книге рассматривается много интересных кейсов ОМП и социальных механизмов, стоящих за их внедрением, в различных ситуациях: от выбора университета до приема на работу, от получения кредита до вынесения судебного приговора, от организации работы полиции до выдачи новостей в социальных сетях. Приведем лишь один пример, с которого начинает автор,—систему оценки деятельности учителей в школах США.

Программа по оценке работы школьных учителей направлена, в частности, на сокращение сотрудников, набравших меньше всего баллов. Кэти О'Нил рассказывает историю молодой учительницы, которая была уволена в соответствии с результатами оценки, несмотря на то, что и ученики, и другие учителя высоко оценивали ее работу. После своего увольнения учительница, имея хорошие рекомендации, устроилась в гораздо более престижную школу в другом штате. Еще один случай, о котором повествует автор,—история опытного учителя, имеющего постоянный контракт. В один год педагог получил 6 баллов из 100, а в следующий —96. Если бы у этого учителя не было постоянного контракта, администрация школы была бы вынуждена его уволить после первого тестирования.

Чем объясняется очевидная «глупость» алгоритмов, оценивающих учителей? Именно теми свойствами, которые позволят отнести данную модель к ОМП.

Модель оценки учителей основана на большом объеме данных, но она непрозрачна. Сами учителя не знают точно, что именно измеряется и какие показатели имеют какой вес. При этом модель основана на косвенных показателях—в частности, использует такие упрощенные показатели, как ежегодные тесты успеваемости учеников, на которые влияют самые разные факторы и которые, к тому же, поддаются манипулированию. Что даже более важно — модель не имеет механизмов корректировки. Данные о том, что один и тот же педагог получает кардинально различающиеся баллы в разные годы, или о том, что уволенная в соответствии с рекомендацией модели сотрудница успешно устраивается на новую работу, никак не учитываются моделью. Как следствие, возникает самосбывающееся пророчество: те, кто классифицируется алгоритмами как «негодный», остаются в этой категории; более того — алгоритмы влияют на жизнь людей, они способны значительно осложнить ее, подтверждая тем самым собственный «приговор» 5.

Следующий вопрос состоит в том, почему столь неэффективная система продолжает работать. Ответ стоит искать в том, для кого именно система неэффективна. Для учителей — безусловно, для учеников, их родителей и школы как сообщества —тоже. Однако для административного аппарата такая система вполне эффективна: она позволяет провести сокращение персонала, опираясь на внешне «объективные» и стандартизированные критерии. Иными словами, ОМП действуют в интересах тех, кто их внедряет, и эти интересы, как правило, формализуются: в числе «оптимизированных» кадров, в доле раскрытых преступлений, в сумме прибыли. Содержательные же характеристики, важные для тех, чью деятельность моделируют ОМП, остаются за рамками рассмотрения тех, кто принимает решения.

Критика ОМП в монографии сосредотачивается (как это видно из названия) на проблеме социального неравенства и на угрозах демократии. Под «угрозой демократии» понимается то обстоятельство, что одни люди принимают решения, а другие сталкиваются с последствиями этих решений. Посредником между первыми и вторыми и выступает ОМП, причем такой посредник блокирует обратную связь, которая могла бы повлиять на решения финансовых и административных элит.

Это особенно проблематично, если учитывать второй аспект — усиление неравенства: ОМП по-разному действует в отношении представителей разных классов. Согласно аргументации автора, действия ОМП поддерживают благосостояние высшего класса и усиливают у него иллюзию собственных достижений, при этом консервируют или поддерживают бедность и «размывают» средний класс. Это происходит по нескольким причинам, наиболее важная из которых — соотношение между данными на «входе» и «выходе» модели. ОМП дают рекомендации об индивидах, исходя из прогнозов, построенных на разделении людей

5 Это не так очевидно в примере с учителями, где рекомендации коллег все еще имеют вес. Однако монография содержит многочисленные примеры, где это становится ясно. Более суровый приговор суда, основанный на решении алгоритма (которое, например, может быть основано на наличии преступников среди знакомых обвиняемого), приводит к меньшим возможностям устроиться на хорошую работу после выхода из тюрьмы. Низкооплачиваемая работа приводит к худшим условиям в получении кредита и страховки, исходя из рисков, рассчитываемых математическими моделями. Значительные траты на кредит и страховку при низких доходах вынуждают снимать жилье в непрестижных районах, которые, в соответствии с рекомендациями алгоритмов, усиленно патрулируются полицией—что увеличивает шанс привлечения к суду даже за незначительные правонарушения. Круг замыкается, и это лишь одна из схем, описываемых автором.

на категории. Например, при расчете стоимости страховки автомобиля модель опирается на предположение, что люди с хорошей кредитной историей будут более ответственными водителями. В результате принадлежность к категории «обладатель хорошей кредитной истории» оказывается более значимой при расчете страховки, чем эпизоды вождения в нетрезвом виде в личной истории водителя. Кроме того, важно, что различные виды ОМП усиливают друг друга: расчет кредитного рейтинга учитывается при расчете страховки и при сортировке резюме при приеме на работу, поиск низкооплачиваемой работы в интернете стимулирует выдачу рекламы «хищных» вузов и микрокредитования и т. п. Как следствие, те, кто попал в категорию «бедных» и «неперспективных», с большой вероятностью останутся в ней, каким бы ни было их личное поведение. Модели «видят» их не как отдельных людей, а как представителей определенной категории, в итоге люди и алгоритмы, принимающие решения, обращаются с ними соответствующим образом.

В заключение монографии автор призывает к действию: аналитиков данных — не допускать создания плохих моделей, законодателей—создавать новые законы о защите личной информации, широкую общественность — обсуждать опасности распространения ОМП, оказывая тем самым давление на элиты. Математические модели способны принести столько же пользы, сколько и вреда, а вред этот может оказаться гораздо более значительным, чем сейчас.

Рассуждая о содержании данной книги, поставим три вопроса:

— Почему книга будет интересна российскому читателю?

— Чем книга интересна социальному ученому?

— Чем исследования социальных ученых могли бы быть интересны автору книги?

На первый вопрос ответить просто. Во-первых, хотя автор рассматривает процессы, происходящие в американском обществе, те явления, которые она называет «оружием математического поражения», возникают и распространяются в разных странах мира, и Россия не исключение. Университетские рейтинги, расчет кредитной истории, персонализированная «хищная» реклама в интернете — все это знакомо и российскому читателю.

Во-вторых, в монографии описываются особенности американского общества, которые задают критерии для сравнительного анализа. Как различается нормативное регулирование использования личной информации в системах с разными типами права? Что происходит, когда ОМП используются там, где ведущая роль принадлежит не бизнесу, а государству (например, в случае системы социального кредита в Китае)? Чем воспроизводство расового неравенства отличается от воспроизводства этнических иерархий (как в случае мигрантов на территории бывшего СССР)? Список вопросов может быть продолжен. Иными словами, взгляд на американское общество поможет увидеть общее и отличное в том, какие формы может принимать ОМП в России.

Наконец, исследование «хороших» и «плохих» моделей прогнозирования и принятия решений на их основе, безусловно, актуально в период пандемии С0УЮ-19. Регулирование поведения людей, внедрение различных мер той или иной степени обязательности принимаются в значительной степени на основе моделей, кото-

рые разрабатывают ученые 6. И здесь знание того, какими свойствами обладает хорошая модель, становится ключевым для понимания ситуации.

На второй вопрос — чем книга будет интересна социальному ученому—также легко ответить. Основное достоинство книги — в сочетании насыщенного эмпирического материала с ключевой идеей ОМП, вокруг которой этот материал организован. Кроме того, особый интерес представляет то, как автор прослеживает возникновение интереса к проблеме ОМП в связи с поворотами в собственной профессиональной карьере на фоне финансового кризиса.

Богатство эмпирических примеров и размышление над биографией автора мы оставляем читателю, а здесь прокомментируем ключевую идею книги. Само понятие «оружие математического поражения» обладает значительной эвристической ценностью для социальных наук. Прежде всего, оно указывает на то, что модели могут быть «хорошими» и «плохими». Даже основанные на сложном математическом моделировании алгоритмы работают неэффективно, если математический аппарат плохо «подсоединен» к реальности. Становится ясно, на какие именно аспекты модели нужно смотреть в первую очередь, какие вопросы задавать. Имеется ли возможность скорректировать модель на новых данных или она превращается в самосбывающееся пророчество? На основании каких—относящихся к кому—данных делается прогноз об индивидуальном поведении? Существует ли механизм отслеживания ошибок при сборе данных? И каковы последствия неверного прогноза для тех, кто моделирует, и для тех, кого моделируют? Наконец, в концепцию ОМП входит положение о том, что модель изменяет поведение людей, которых она моделирует, и это изменение должно быть учтено теми, кто оценивает работу модели 7.

Еще одно важное достоинство книги заключается в ясной постановке проблемы. В том, как Кэти О'Нил характеризует ОМП, можно различить отголоски и публичной социологии Майкла Буравого, и концепции великой трансформации Карла Поланьи. С одной стороны, это старая идея — оградить гражданское общество от наступления рынка и государства в эпоху капитализма. С другой стороны, речь все-таки идет о принципиально новых феноменах, новых проблемах и новых угрозах. Пример, который приводит автор: в XX веке при приеме на работу алгоритмы исправляли предрассудки людей, а сейчас люди исправляют «предрассудки» алгоритмов. Чем глупость и несправедливость людей отличается от глупости моделей и несправедливости алгоритмов? Как соединить деятельность людей и алгоритмов так, чтобы они компенсировали, а не усиливали ошибки друг друга? Вот вопросы, ключевые для социальной науки XXI века, и рассматриваемая монография намечает пути их исследования.

Книга ставит проблему не только для позитивной науки, но и для этики. Автор показывает, что при построении моделей возникает выбор между анализом всей возможной информации и сохранением приватности, между повышением прибыли за счет категоризации клиентов и готовностью пойти на риск, чтобы дать шанс преуспеть конкретным людям, между частными и общественными интересами.

6 При этом результаты прогнозирования, выполненные на основании разных моделей, могут различаться кардинально. См., например: Как СПбГУ и Политех пик второй волны высчитывали: почему их прогнозы отличаются в несколько раз // Фонтанка. 2020. 7 декабря. URL: https://www.fontanka.ru/2020/12/07/69607966/.

7 Здесь можно заметить перекличку с базовыми идеями кибернетики об обратной связи и о роли наблюдателя.

Можно не соглашаться с ответами, которые предлагает монография, но проблема «или-или» поставлена, и игнорировать ее нельзя.

Третий вопрос — чем исследования социальных ученых могут быть интересны автору книги — не столь тривиален. Легко заметить (как мы это уже сделали), что социальная критика автора основана на идее разделения между рынком, государством и гражданским обществом, представленной, в частности, в работах Карла Поланьи, а предложенный курс действий пересекается с программой публичной социологии. Однако эти идеи были сформулированы в прошлом веке и стали чем-то вроде «здравого смысла» для социальных ученых (с которым можно, но утомительно спорить). Более того, они не специфичны для анализа тех конфигураций моделей и алгоритмов, которые рассматривает Кэти О'Нил. Что может предложить социальная наука XXI века? Здесь следует выделить несколько направлений.

Во-первых, это исследования алгоритмов, которые существуют в основном в рамках STS и принимают разные теоретические и методологические установки [Lee, Larsen, 2019; Ziewitz, 2016]. Здесь интересен анализ отдельных кейсов взаимодействия людей и алгоритмов: любой из примеров рассматриваемой монографии мог бы стать предметом для подобного анализа. Иными словами, исследования алгоритмов способны продолжить эмпирический анализ, намеченный в книге.

Во-вторых, это анализ новых форм капитализма, связанных с распространением цифровых технологий. Здесь следует выделить концепции «надзорного капитализма» (survelliance capitalism) Шушаны Зубофф [Zuboff, 2019] и «капитализма платформ» Ника Срничека [Срничек, 2019]. Данные концепции помещают анализ Кэти О'Нил в более широкий социально-экономический контекст, где возникновение и распространение ОМП становится лишь одним из следствий трансформаций современной экономики.

В-третьих, более глубокий анализ изменений социальной структуры в связи с деятельностью сортирующих алгоритмов представлен в исследованиях орди-нализации Марион Фуркад [Fourkade, 2016; Fourkade, Healy, 2017]. Если анализ трансформаций капитализма позволяет ответить на вопрос, почему и для кого выгодно использовать ОМП, то концепция ординализации отвечает на вопрос, как использование ОМП соотносится со стратификацией современного общества, а также ценностями и конфликтами, лежащими в ее основании.

Наконец, следует выделить литературу по социальной теории, которая могла бы подкрепить подход к анализу деятельности людей и алгоритмов, представленный в рассматриваемой монографии. Кэти О'Нил рассматривает человека не как атомизированного индивида, а как находящегося в отношениях с другими людьми, причем эти отношения опосредуются, определяются и искажаются действием алгоритмов. Сама идея о человеке как совокупности отношений является ключевой для социальной науки, начиная с Маркса и заканчивая представителями «реляционной социологии» [Emirbayer, 1997; Gergen, 2009]. Вместе с тем для анализа того, что происходит с общественными отношениями в эпоху развития математических моделей и алгоритмов, перспективна концепция «искусственной социальности» [Резаев, Стариков, Трегубова, 2020].

В заключение вернемся к тому, с чего начинали,— к проблеме разделения между социальными учеными и математиками, «гуманитариями» и «технарями» или — используя другой понятийный ряд,— «лириками» и «физиками». В 1956 г. Ч. П. Сноу сформулировал проблему «двух культур» — разделения между технической и художественной интеллигенцией [Сноу, 1985]. С тех пор данная проблема многократно обсуждалась, само это различение оспаривалось и уточнялось, и, тем не менее, проблема «двух» культур продолжает возникать в различных формах и контекстах. Сегодня она явно наблюдается в разработках и исследованиях искусственного интеллекта и машинного обучения, в рамках которых и возникает ОМП: разработчики восхищаются своими изобретениями и превозносят их ценность для человечества, в то время как писатели, философы, социальные критики формулируют все новые претензии и страхи в отношении этих изобретений. Однако дискуссии зачастую не возникает: стороны остаются глухи к аргументам друг друга, и не в последнюю очередь потому, что плохо разбираются в том, о чем говорят их оппоненты. В этом отношении монография Кэти О'Нил представляет собой шаг вперед: автор понимает и техническую, и «человеческую» сторону того, о чем пишет, более того — способствует пониманию и приглашает к обсуждению проблемы все заинтересованные стороны. В том числе и социальных ученых.

Подводя итоги, следует безусловно рекомендовать к прочтению книгу «Оружие математического поражения: как большие данные усиливают неравенство и угрожают демократии». Монография обладает несомненными достоинствами: широкий охват, свежий взгляд на проблему, концептуальная ясность и увлекательный стиль, сочетание ясного анализа и горячей социальной критики делают книгу привлекательной для самых разных читателей. Некоторая категоричность автора в обсуждении этических вопросов, спорные интерпретации, а также отсутствие полноты в анализе отдельных кейсов можно рассматривать как приглашение к дискуссии и дальнейшим исследованиям. Эти особенности полностью компенсируются смелостью, с которой автор подводит читателей к рассмотрению новых проблем, касающихся нас и как рядовых граждан, и как исследователей.

Список литературы (References)

Резаев А. В., Стариков В. С., Трегубова Н. Д. Социология в эпоху «искусственной социальности»: поиск новых оснований // Социологические исследования. 2020. № 2. С. 3—12. https://doi.org/10.31857/S013216250008489-0. Rezaev A. V., Starikov V. S., Tregubova N. D. (2020) Sociology in the Age of 'Artificial Sociality': Search of New Bases. Sociological Studies. No. 2. P. 3—12. https://doi.org/ 10.31857/S013216250008489-0. (In Russ.)

Резаев А. В., Трегубова Н. Д. Искусственный интеллект и искусственная социальность: новые явления и проблемы для развития медицинских наук // Эпистемология и философия науки. 2019. Т. 56. № 4. С. 183—199. https://doi.org/10.5840/ eps201956475.

Rezaev A. V., Tregubova N. D. (2019) Artificial Intelligence and Artificial Sociality New Phenomena and Problems for Medical and Life Sciences Advance. Epistemology

& Philosophy of Science. Vol. 56. No. 4. P. 183—199. https://doi.org/10.5840/ eps201956475. (In Russ.)

Сноу Ч. П. Две культуры и научная революция // Портреты и размышления. М. : Прогресс, 1985. C. 195—226.

Snow Ch. P. (1985) The Two Cultures and the Scientific Revolution. In: Snow Ch. P. Portraits and Reflections. Moscow: Progress. (In Russ.)

Срничек Н. Капитализм платформ / пер. с англ. и науч. ред. М. Добряковой. М. : Изд. дом Высшей школы экономики, 2019.

Srnicek N. (2019) Platform Capitalism. Moscow: The Higher School of Economics Publishing House. (In Russ.)

Emirbayer M. (1997) Manifesto for a Relational Sociology. The American Journal of Sociology. Vol. 103. No. 2. P. 281—317. https://doi.org/10.1086/231209.

Fourcade M. (2016) Ordinalization: Lewis A. Coser Memorial Award for Theoretical Agenda Setting 2014. Sociological Theory. Vol. 34. No. 3. P. 175—195. https://doi.org/ 10.1177/0735275116665876.

Fourcade M., Healy K. (2017) Seeing Like a Market. Socio-Economic Review. Vol. 15. No. 1. P. 9—29. https://doi.org/10.1093/ser/mww033.

Gergen K. (2009) Relational Being: Beyond Self and Community. Oxford: Oxford University Press.

Lee F., Larsen L. B. (2019) How Should We Theorize Algorithms? Five Ideal Types in Analyzing Algorithmic Normativities. Big Data & Society. Vol. 6. No. 2. https://doi.org/10.1177/ 2053951719867349.

O'Neil C. (2016) Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy. New York: Crown Publishers.

Ziewitz M. (2016) Governing Algorithms: Myth, Mess, and Methods. Science, Technology, & Human Values. Vol. 41. No. 1. P. 3—16. https://doi.org/10.1177/ 0162243915608948.

Zuboff S. (2019) The Age of Surveillance Capitalism: The Fight for a Human Future at the New Frontier of Power. New York, NY: PublicAffairs.

i Надоели баннеры? Вы всегда можете отключить рекламу.