Научная статья на тему '«АЛГОРИТМ НИЗОВОГО УРОВНЯ»:ДВА СТИЛЯ АВТОМАТИЗИРОВАННОГО ПРАВОПРИМЕНЕНИЯ В РАБОТЕ ПРИЛОЖЕНИЯ «СОЦИАЛЬНЫЙ МОНИТОРИНГ»'

«АЛГОРИТМ НИЗОВОГО УРОВНЯ»:ДВА СТИЛЯ АВТОМАТИЗИРОВАННОГО ПРАВОПРИМЕНЕНИЯ В РАБОТЕ ПРИЛОЖЕНИЯ «СОЦИАЛЬНЫЙ МОНИТОРИНГ» Текст научной статьи по специальности «Право»

CC BY-NC-ND
64
14
i Надоели баннеры? Вы всегда можете отключить рекламу.
Область наук
Ключевые слова
ПРАВОПРИМЕНЕНИЕ / БЮРОКРАТ НИЗОВОГО УРОВНЯ / АЛГОРИТМ НИЗОВОГО УРОВНЯ / НАБЛЮДЕНИЕ И НАДЗОР / ПАНДЕМИЯ

Аннотация научной статьи по праву, автор научной работы — Серебренников Дмитрий, Ходжаева Екатерина, Шепелева Ольга

Во время пандемии COVID-19 многие государства создавали различные приложения для контроля передвижений граждан. Одним из таких экспериментов стало московское приложение по контролю режима самоизоляции для больных коронавирусом «Социальный мониторинг» (СМ). Алгоритм подвергся большой критике, как за технические характеристики, так и за концептуальную идею, когда приложение самостоятельно выносило решение о том, штрафовать ли больного за нарушение или нет. Такой дизайн фактически означал, что оно становится автоматизированной заменой бюрократа «низового уровня», следящего за соблюдением правил. Однако можем ли мы говорить, что у него, как у чиновника, может быть свой стиль правоприменения? В этой статье мы предлагаем концептуальное описание приложения как социотехнического ансамбля отношений, выполняющих государственные исполнительные функции - «алгоритм низового уровня» (street-level algorithm). На материале качественных интервью с пользователями СМ, низовыми бюрократами и его создателями мы иллюстрируем два стиля правоприменения СМ, свойственных первой и последующим волнам пандемии: «жесткий» (hard-enforcement) и «мягкий» (soft-enforcement). Мы показываем, что жесткий стиль принуждения, сопровождающийся автоматически налагаемыми санкциями и одновременно технически несовершенным механизмом оспаривания, чреват издержками не только для пользователей, но и для властей (перегружая ведомства и суды) и уменьшает уровень доверия в чрезвычайной ситуации пандемии. Более мягкое принуждение, сопряженное с проговариваемой заботой, оказывается более комфортным механизмом контроля, особенно в ситуации большего потока больных.

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по праву , автор научной работы — Серебренников Дмитрий, Ходжаева Екатерина, Шепелева Ольга

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

STREET-LEVEL ALGORITHM':TWO STYLES OF AUTOMATED LAW ENFORCEMENTBY THE SOCIAL MONITOR APPLICATION

During the COVID-19 pandemic, many states actively began to create various apps to surveil citizens. One of the most famous such experiments in Russia was the 'Social Monitoring' (SM) application for monitoring the self-isolation regime for coronavirus patients in Moscow. Immediately after its appearance, the algorithm was heavily criticized, both for its technical quality and for the conceptual idea that the app independently decides whether or not to fine a patient for a violation. This design effectively meant that it became an automated substitute for a street-level bureaucrat enforcing the rules. However, can we say that it, just like humans, can have its own style of law enforcement? In this article, we offer a conceptual description of the application as a sociotechnical ensemble of relations performing state executive functions - 'street-level algorithm.' Using qualitative interviews with SM users, street-level bureaucrats, and its creators, we illustrate two styles of SM enforcement inherent in the first and subsequent waves of the pandemic: hard-enforcement and soft-enforcement. Finally, we show that a hard-enforcement style with automatically imposed sanctions, in a bundle with a technically flawed appeal mechanism, is costly not only for users, but also for the authorities (overburdening state agencies and courts) and reduces the level of trust in a pandemic emergency. Soft- enforcement, coupled with spoken care, is a more comfortable control mechanism, especially in a situation of a greater flow of patients.

Текст научной работы на тему ««АЛГОРИТМ НИЗОВОГО УРОВНЯ»:ДВА СТИЛЯ АВТОМАТИЗИРОВАННОГО ПРАВОПРИМЕНЕНИЯ В РАБОТЕ ПРИЛОЖЕНИЯ «СОЦИАЛЬНЫЙ МОНИТОРИНГ»»

оо

THE JOURNAL OF SOCIAL POLICY STUDIES_

ЖУРНАЛ

ИССЛЕДОВАНИЙ СОЦИАЛЬНОЙ

ПОЛИТИКИ •••

СОЦИАЛЬНЫЕ ЭФФЕКТЫ ПАНДЕМИИ COVID-19

Дмитрий Серебренников, Екатерина Ходжаева, Ольга Шепелева

«АЛГОРИТМ НИЗОВОГО УРОВНЯ»:

ДВА СТИЛЯ АВТОМАТИЗИРОВАННОГО ПРАВОПРИМЕНЕНИЯ В РАБОТЕ ПРИЛОЖЕНИЯ «СОЦИАЛЬНЫЙ МОНИТОРИНГ»

Во время пандемии COVID-19 многие государства создавали различные приложения для контроля передвижений граждан. Одним из таких экспериментов стало московское приложение по контролю режима самоизоляции для больных коронавирусом «Социальный мониторинг» (СМ). Алгоритм подвергся большой критике, как за технические характеристики, так и за концептуальную идею, когда приложение самостоятельно выносило решение о том, штрафовать ли больного за нарушение или нет. Такой дизайн фактически означал, что оно становится автоматизированной заменой бюрократа «низового уровня», следящего за соблюдением правил. Однако можем ли мы говорить, что у него, как у чиновника, может быть свой стиль правоприменения? В этой статье мы предлагаем концептуальное описание приложения как социотехнического ансамбля отношений, выполняющих государственные исполнительные функции - «алгоритм низового уровня» (street-level algorithm). На материале качественных интервью с пользователями СМ, низовыми бюрократами и его создателями мы иллюстрируем два стиля правоприменения СМ, свойственных первой и последующим волнам пандемии: «жесткий» (hard-enforcement)

Дмитрий Серебренников - исследователь, Институт проблем правоприменения, Европейский университет в Санкт-Петербурге, Россия. Электронная почта: [email protected]

Екатерина Ходжаева - к.социол.н., н.с., Институт проблем правоприменения, Европейский университет в Санкт-Петербурге, Россия. Электронная почта: [email protected]

Ольга Шепелева - руководитель направления «Цифровое право», Центр перспективных управленческих решений (ЦПУР), Санкт-Петербург, Россия. Электронная почта: [email protected]

© Журнал исследований социальной политики. Том 21. № 1

и «мягкий» (soft-enforcement). Мы показываем, что жесткий стиль принуждения, сопровождающийся автоматически налагаемыми санкциями и одновременно технически несовершенным механизмом оспаривания, чреват издержками не только для пользователей, но и для властей (перегружая ведомства и суды) и уменьшает уровень доверия в чрезвычайной ситуации пандемии. Более мягкое принуждение, сопряженное с проговариваемой заботой, оказывается более комфортным механизмом контроля, особенно в ситуации большего потока больных.

Ключевые слова: правоприменение, бюрократ низового уровня, алгоритм низового уровня, наблюдение и надзор, пандемия

DOI: 10.17323/727-0634-2023-21-1-7-24

На фоне пандемии COVID-19 правительства многих стран экспериментировали с инструментами контроля за распространением заболевания. Среди активно используемых оказались мобильные приложения, контролирующие изоляцию заболевших, либо отслеживающие их контакты с другими людьми на момент заболевания (Collado-Borrell et al. 2020). В силу разного протекания пандемии в регионах, центральные правительства нередко давали региональным и местным органам власти широкие полномочия на введение необходимых мер, и Россия не стала исключением (Orlova, Morris 2021). В апреле 2020 г. Правительство Москвы принимает ряд правок в региональное законодательство: устанавливает штрафы за нарушение изоляции больными и за невыполнение других противоэпидемических предписаний, разрешает выявление таких нарушений при помощи технических средств. В это же время Департамент информационных технологий (ДИТ) г. Москвы создал приложение «Социальный мониторинг» (СМ) для контроля за больными COVID-19, проходящими лечение на дому. Приложение предусматривало мониторинг местоположения больных и автоматическое информирование о признаках нарушения изоляции организаций, уполномоченных выписывать штрафы.

В первые же недели приложение раскритиковали как жители города, так и правозащитные организации. ДИТ вносил технические корректировки в работу приложения, при этом почти не меняя нормативные акты, по которым оно функционировало. В результате, ко второй волне пандемии приложение стало вызывать меньше недовольных отзывов и практически не получало критику по техническим аспектам в третью волну (см. ниже). Может показаться, что залог успеха СМ - в регулярном исправлении технических недостатков приложения. Однако наше исследование показывает, что со временем кардинально изменилась сама бюрократическая логика правоприменения. Автоматизация принятия репрессивных решений оказалась в глубоком противоречии не только с логикой контролируемых граждан, но также и с практиками бюрократии «низового уровня» (Lipsky 2010 [1980]), что в результате привело к отказу использования СМ как репрессивного

инструмента. На данный момент в социологической литературе есть единственное описание действия СМ по отношению к трудовым мигрантам (Grigorieva 2022). Данная статья продолжает его с точки зрения изучения приложения как элемента правоприменительной системы.

На основе дискуссии о трансформации бюрократии «низового уровня» в результате использования новых технологий, мы предлагаем методологически рассматривать СМ как единую социотехническую сборку отношений наблюдения (Haggerty, Ericson 2000), которая одновременно состоит и из низовых бюрократов, и самого приложения - «алгоритма низового уровня» (Alkhatib, Bernstein 2019). Опираясь на качественные и количественные данные о пользовательском опыте, мы показываем, какие стили правоприменения появляются во время совместной работы низовых бюрократов и автоматизацированных агентов правосудия. Рассматривая трансформацию правоприменительной практики на основе СМ, мы фокусируемся на временной динамике волн эпидемии. Сами волны - четко не зафиксированное понятие, поэтому мы самостоятельно проводим их границы с опорой на данные статистики заболевших в Москве (Стопкоронавирус.рф 2022). Первая волна (апрель - июнь 2020) характеризовалась низкой определенностью, техническим несовершенством СМ как правоприменительного инструмента в сочетании с жестким алгоритмом правоприменения при участии более широкого круга низовых бюрократов. Вторая волна (конец октября 2020 -февраль 2021): высокая численность заболевших, перегруженность медицинской системы и ослабление СМ как правоприменительного инструмента превратили его из репрессирующего в упреждающий механизм. Во время последующих волн (мы провели интервью лишь в третью волну - май-июль 2021) происходит снижение роли СМ как инструмента контроля.

Эмпирической основой статьи стали 28 полуструктурированных интервью с реальными и потенциальными пользователями СМ1: восемь из них болели COVID-19 в первую волну; 13 - во вторую, девять респондентов использовали СМ во время заболевания в третью волну пандемии. Поиск информантов производился через открытые онлайн площадки, а также методом «снежного кома» до насыщения выборки. В группу опрошенных попало 18 чел. до 30 лет, это сместило выборку в сторону уверенных пользователей смартфона и приложений. Одновременно это позволило нам с помощью информантов отследить и проанализировать «нулевой» случай - если с какими-то проблемами сталкивалась даже они, то у более возрастных категорий можно ожидать большего числа трудностей. Также проведено пять экспертных интервью: с врачами (3); юристом-правозащитником, представляющим интересы пользователей СМ в судах; с представителем ДИТ г. Москвы. Также взято интервью у волонтера, помогавшего в полицейских поквартирных обходах заболевших в первую волну. Исследовательская

1 Два участника исследования болели дважды.

команда предпринимала в течение 2021 г. большие усилия, чтобы обеспечить доступ к разработчикам и представителям низовой бюрократии с целью получения данных о практиках правоприменителей. Однако в силу закрытости государственных ведомств и медицинских служб, официального доступа для исследования получить не удалось. В связи с этим большинство выводов о том, как работала бюрократическая машина по контролю за заболевшими через СМ мы делаем преимущественно на основе анализа пользовательского опыта самоизолировавшихся граждан.

Исследование проводилось с целью обнаружения стилей правоприменения и их динамики, поэтому выбрана качественная методология, благодаря которой удалось (с рядом ограничений) выделить основные паттерны интересующего нас феномена. Для дополнительной валидации результатов мы привлекли и другие данные: информацию из СМИ, отзывы на приложение СМ в Google PlayMarket (Информационный город... 2022) и данные о заболеваемости COVID-19 в Москве (Карта. 2022).

В статье мы показываем два стиля правоприменения «Социального мониторинга», которые свойственны сборкам приложения, и низовых бюрократов в разные волны пандемии. Первый - hard-enforcement, устанавливает жесткие требования к установке и использованию СМ, а также автоматически налагает санкции за их неисполнение. Он связан с типичной бюрократической логикой легалистского и неукоснительного исполнения правила без дискреции правоприменителя. Сопряженный с недоработкой приложения и отсутствием системы технической поддержки пользователей, этот стиль правоприменения в первую волну породил высокую степень недовольства автоматизировано сгенерированными протоколами, а также сопротивление судов. Так, по сообщениям СМИ, если москвич решался обжаловать и отменить назначенный автоматически через СМ штраф, то в 90 % случаев ему это удавалось (Forbes-Russia 2020). Второй стиль - soft-enforcement, характеризуется мягкими минимальными требованиями к контролируемым (лишь напоминающими о необходимости изоляции и возможных санкциях за нарушение), при полном отказе от репрессии именно на основе данных приложения. В этом случае СМ скорее «подталкивает» больного к совершению определенных действий, в чем можно усмотреть эффект рыночной логики управления, проникающий в работу бюрократии через IT-индустрию (Zouridis et al. 2020).

Информатизация правоприменения и стили низовой бюрократии

СМ функционально задумывался не только как регистратор правонарушения, но и средство автоматизации правоприменения. Хотя формально решение о санкции принимает человек, при жестком варианте правоприменения у него нет опции ее не накладывать. В этом случае, когда нарушение и фиксируется автоматически и обязательно приводит

к репрессии, именно алгоритм можно концептуализировать как новый тип бюрократа «низового уровня» или Street-level bureaucracy (SLB).

SLB впервые описывает Майкл Липски: как чиновник, который, ежедневно сталкиваясь с гражданами, репрезентирует государство. Классическими примерами считаются полицейский, учитель и социальный работник. Такая концептуализация родилась из желания показать, что осуществление государственных программ не идет строго в управленческой логике «сверху-вниз». Те, кто находится на нижнем этаже государства, напрямую создают условия для успешности или провала различных инициатив власти, поскольку у них всегда есть дискреция, зона свободного действия при осуществлении своих полномочий (Lipsky 2010 [1980]: 14).

Однако эту свободу ограничивают условия работы SLB. При принятии решения бюрократ всегда зажат между Сциллой жестких правил, которые вынуждает его выполнять спускаемая сверху отчетность, и Харибдой имеющихся у него ограниченных ресурсов (в первую очередь - времени) (Zacka 2018). Эта позиция вынуждает бюрократа упрощать свою работу и чаще ориентироваться на социальные ожидания и стереотипы. Из таких классификаций и быстрых решений складывается рутинная работа «низового бюрократа». Однако это меняет смысл государственных программ, которые SLB призваны осуществлять. Бюрократы могут представляться не только как «исполнители», но и как «законодатели» (policymakers), а реальная государственная политика создаваться в «переполненных людьми офисах низовых бюрократов» (Lipsky 2010 [1980]: 13).

SLB постоянно решает вопросы о распределении ресурсов и выборе критериев для этого. Ответы на них часто нельзя вынести без субъективной оценки, из которой рождается стиль правоприменения бюрократа. Ноор де Бур выделяет три основных компонента стиля SLB: юридический - стремление неукоснительно соблюдать предписанные правила; содействия - возможность помогать гражданам, например, интерпретировать для них законы; ориентация на коллег (de Boer 2019). Предполагается, что каждый из них является неким градиентом, в котором бюрократ находит свой спектр.

С появлением новых технических систем на службе государства, дискреция бюрократов, а вместе с ней и стиль их правоприменения начал существенно меняться. Введение концепта «низового бюрократа» в академическую дискуссию произошло в 1970-1980-е гг., но вместе с тем массовое распространение компьютеров, начавшееся в 1960-х гг. существенно изменило их рутину. Теперь бюрократы все реже встречаются с гражданами лично и все больше обслуживают их опосредовано - через введение информации в разнообразные формы. Марк Боуэнс и Ставрос Зуридис (Bovens, Zouridis 2002) называют их «бюрократией-у-экрана» (screen-level bureaucrats). Эти изменения снижают свободу действий работника, дискреция ограничивается способами интерпретировать информацию при оформлении запроса от индивида. В результате желание содействовать гражданам уменьшается,

а стремление придерживаться строго-юридического стиля в работе становится доминирующим (de Boer, Raaphost 2021).

В 1990-е гг. начинается вторая трансформация «низовой бюрократии». Вместе с распространением автоматизированных систем, в определенных сферах «бюрократия-у-экрана» перестала выглядеть необходимым элементом. Ей на смену пришли алгоритмы, которые в автономном режиме могут фиксировать инциденты и выносить решения по ним. Теперь решения о способах реализации политики принимаются на этапе программирования алгоритма, а дискреция смещается к создателям и разработчикам программ. Боуэнс и Зуридис называют их «бюрократы-системные-разработчики» (system-level bureaucrats1), которые создают и поддерживают технические системы. Они фактически не встречаются с гражданами, но при этом должны переносить правовые нормы в механику работы алгоритма, обеспечивающего функционал SLB. Это же обуславливает другую их особенность - достаточно сильную независимость от вышестоящих бюрократов, при наличии относительно широкой автономии в работе. От того, как будет запрограммировано приложение или веб-сайт теперь зависит реализация государственной политики, а дискреция сводится к вопросу: что стоит автоматизировать и как? (Bovens, Zouridis 2002: 175).

Наиболее поздняя концептуализация нового типа бюрократии связана с вопросом о все большей сложности принимающих решение алгоритмов. В случае комплексной системы, призванной заменить SLB, граждане взаимодействуют с приложением или сайтом, за работу которого отвечает большое количество органов власти (для приложения СМ - это пять ведомств). Ответственность между ними зачастую распределена не очевидно, рассматриваемые вопросы становятся неоднозначными, масштаб систем растет, а сами современные алгоритмы при вынесении решения часто представляются «черным ящиком», в котором трудно выявить дискрецию и стиль работы каждого конкретного «бюрократа-системного-разработчика». С точки зрения пользовательского опыта и прямого взаимодействия индивида и государства, такие разработки можно представить как отдельного агента. Али Альхатиб и Майкл Бернштейн называют такие явления «алгоритм низового уровня» (street-level algorithm - SLA) (Alkhatib, Bernstein 2019).

В социально значимых областях для использования полностью алгоритмических систем существует ряд препятствий. Одна из ключевых проблем - реактивность SLA. «Низовой бюрократ» более гибок и чувствителен к поступающим со стороны граждан сигналам - если SLB осознает, что работает некорректно и имеет возможности, то сможет быстро исправить это. Алгоритм же будет работать со сбоями до тех пор, пока его создатели-разработчики не заметят наличие проблемы и не исправят ее. SLA может быть «рефлексивным» только после серии определенных решений и, обычно,

1 Перевод авторов

только тогда, когда эти решения привели к негативным последствиям (Alkhatib, Bernstein 2019). Более того, в силу специфики работы бюрократического механизма, решения принимаются легко, но отменяются сложно, через подачу многочисленных жалоб или обращений в суд. Бовенс и Зуридис называют это проблемой «lex dura sed lex» (Bovens, Zouridis 2002: 182). Наверное, самым известным SLA являются системы автоматического распознавания автомобильных номеров с последующим выставлением штрафа за превышение скорости. Вынесение решений для таких систем может быть полностью автоматизированным, уровень дискреции связан с техническими вопросами (качество распознавания), при этом пользователи зачастую могут оспорить вынесенное решение только через суд (Slobogin, Brayne 2022).

Приложение «Социальный мониторинг» мы также трактуем как «алгоритм низового уровня». Он является продуктом работы множества органов власти, но с точки зрения повседневного взаимодействия с гражданами, предстает «черным ящиком», который выносит свои решения о соблюдении самоизоляции как «низовой бюрократ». Обычно он делает это справедливо, но может и ошибаться. В этом смысле СМ является далеко не первым российским алгоритмом такого рода, достаточно вспомнить программу для надзора за строителями в Москве от Gaskar Group, выполненную по похожей технологии (Grigorieva 2022). Однако, по нашему мнению, СМ выделяется среди других надзорных приложений одновременным сочетанием трех факторов: (1) автоматизированным вынесением решения с последующим административным штрафом; (2) масштабом; (3) степенью проникновения в частную жизнь пользователей.

При этом корректнее будет говорить о приложении «Социальный мониторинг», как о части большой системы надзора за больными коро-навирусом, в которой работали также и другие типы бюрократов: операторы созданной со временем службы поддержки (как 'screen-level bureaucrats') помогали пользователям разобраться с алгоритмом, а врачи как SLB, буквально вводили его в «жизнь» когда оформляли больным предписание по использованию программы.

Нормативная модель и технический алгоритм СМ

Хотя об использовании цифровых инструментов для контроля за соблюдением противоэпидемических мер было объявлено почти сразу после начала пандемии в столице (Указ мэра... 2020) - 5 марта 2020 г., разработка, принятие и публикация комплекса регулирующих этот вопрос нормативных правовых актов (НПА) заняла почти месяц. Эти акты устанавливали: обязательную изоляцию больных COVID-19 и ряда других категорий граждан; наказания за нарушение изоляции; порядок контроля

1 Лат. «Суров закон, но закон».

за соблюдением изоляции при помощи цифровых технологий; особенности обращения с информацией, собранной в рамках такого контроля; полномочия различных органов, организаций и специалистов в связи с контролем за соблюдением изоляции. Разработка приложения заняла меньше двух месяцев, оно выпущено вместе с регламентирующими его работу документами в конце апреля (Распоряжение. ДИТ 2020а).

В создании и последующей работе приложения принимали участие пять основных органов власти мэрии Москвы. Сама мэрия создавала общие юридические условия для функционирования приложения (Указ мэра. 2020). ДИТ Москвы отвечал за разработку приложения (Распоряжение ДИТ. 2020а). Департамент здравоохранения обеспечивал связь работников поликлиник и СМ, а также регламентировал алгоритм их работы (Приказ департамента. 2020). Главконтроль и Объединение административно-технических инспекций (ОАТИ) выполняли техническую работу по оформлению штрафов на основании собранных приложением данных (Распоряжение ДИТ 2020Ь). Функционирование приложения обеспечивала Государственная информационная система «Единый центр хранения и обработки данных» (ЕЦХД).

С момента введения СМ, в случае если при обращении к врачу или поступлении в больницу у индивида были симптомы СОУ1Б-19 или ОРВИ, но не наблюдалось тяжелого состояния, врачу следовало назначить пациенту лечение на дому с соблюдением режима изоляции. После чего больному следовало подписать согласие на использование «Социального мониторинга». В случае отказа больного можно было отправлять в обсерватор. В течение 24 часов после подписания согласия, он должен был установить приложение. При отсутствии такой возможности, городские власти должны были выдавать заболевшему телефон на время изоляции (14 дней). После установки приложения пользователь был обязан несколько раз в день по запросу приложения сфотографировать себя и отправить фотографию с данными своего геотэга -так система контролировала, что больной находится дома. Нарушением требований городского законодательства считалось: невыполнение установки приложения и регистрации в нем, отсутствие подтверждения изоляции путем отправки фотографии с геотэгом по запросу приложения, изменение местоположения более чем 50 м. от указанного при регистрации в приложении месте, удаление приложения. За нарушение больному грозил штраф в размере четырех тыс. рублей за первое и каждое повторное нарушение. Причем отдельного состава административного правонарушения введено не было. Позже нормы, касающиеся СМ, неоднократно редактировались. Изменения по большей части касались круга лиц, подлежащих изоляции и контролю с помощью СМ, оснований прекращения изоляции и отдельных технических аспектов работы СМ. Общая же нормативная рамка СМ концептуально сохранялась. Однако как мы покажем далее, изменилась не только техническая сторона приложения, но и реальное правоприменение.

Трансформация СМ во времени: технические и правоприменительные аспекты

Первая и вторая волны коронавируса -два стиля правоприменения СМ

Интервью с пользователями приложения и врачами/операторами службы поддержки как низовыми бюрократами показывают, что между первой и второй волнами пандемии в Москве наблюдалось существенное различие в характере работы приложения СМ (которое мы концептуализируем как «стиль» его работы)1 В то же время для того, чтобы наши последующие описания различий между стилями выглядели более обоснованными, мы кратко проиллюстрируем фактические изменения в работе приложения на примере данных о количестве заболевших COVID-19 в Москве (Карта... 2022) и отзывов о СМ в Google PlayMarket (Информационный город ГКУ 2022), через которые мы операционализируем пользовательский опыт (рис. 1,2). Мы понимаем всю ненадежность такого хода. Например, такие данные могут также свидетельствовать об активности пользователей, а не только о репрессивности алгоритма, однако не обладаем другими данными для количественной валидации своих результатов.

(и 600

ь 2020 сен 2020 ноя 2020 янв 202' Неделя

ь 2020 сен 2020 ноя 2020 янв 202' Неделя

Рис. 1. Понедельное количество заболевших COVID-19 в Москве

Рис. 2. Понедельное количество отзывов на приложение «Социальный мониторинг» в GooglePlay Market

Количество отзывов визуально связано со всплесками заболеваемости во время пандемии (рис. 1,2). Однако если следовать этой логике линейно, то число отзывов во вторую волну должно было резко увеличиться, ведь численность заболевших после конца сентября 2020 г. выросла кратно и стала резко больше, чем в первую волну (см. эту разницу на рис. 3., где отображена разница стандартизированного количества отзывов и стандартизированного числа заболевших). Показатель на графике выше ноля означает, что на данном

1200

900

40000

Ч 20000

300

2020

1 В последующие волны в этом смысле не наблюдается изменений по сравнению со второй и третьей волнами.

этапе относительное число отзывов превалировало над числом заболевших и наоборот (при линейном развитии этих величин мы получили бы линию, которая балансировала возле ноля). Если допускать линейность трендов, отзывов во вторую волну слишком мало для такого числа заболевших.

Предположим, что репрессивность приложения не изменилась, просто число отзывов в силу каких-то причин стало меньше. В таком случае некоторый показатель «жесткости» приложения должен измениться не так сильно и в итоге в первой и второй волнах можно ожидать, что он вырастет одинаково сильно. Мы решили использовать в качестве такого показателя упоминания словоформы «штраф» в отзывах (см. рис. 4)

i 1 | : ! 5 i 1 1 1 1 § i

40 о _ Ё -Ш

it

1 1

г Ihl Illll ■ if 20

II J ш [,

■II my 1 fall. Ju. ■hi

L..

й 2020 июль 2020 сен 2020 ноя 2020 Неделя

ь 2020 сен 2020 ноя 2020 янв 202' Неделя

Рис. 3. Разница стандартизированного Рис. 4. Понедельное количество отзывов

понедельного количества отзывов и количества заболевших

на приложение «Социальный мониторинг» с упоминанием словоформы «штраф» в GooglePlay Market

4

з- 2

янв 202'

2020

И хотя и во вторую волну наблюдается рост отзывов, содержащих слово «штраф», их количество остается невелико. Но, что важно, в начале периода между волнами таких отзывов наблюдается относительно много. В июле фиксируется их резкий спад. Мы трактуем это как следствие изменения стиля работы СМ, которое шло с июля по октябрь 2020 г.

Технические особенности работы приложения

Пользователи СМ в первую волну отмечали ощущение неопределенности и страха из-за высоких рисков быть оштрафованными. Неудобный интерфейс, частые технические сбои, нехватка информации о том, как работает приложение - создавали эти риски. Те, кто не столкнулся с проблемами и будучи наслышанными о сложностях от других пользователей, оценили свою ситуацию как везение (инф. 1, 2). Пользователи отмечали, что запросы на фотографирование не высвечивались как непрочитанные, из-за этого они испытывали тревогу (инф. 5). Некоторые проверяли СМ в течение дня, чтобы не пропустить запрос (инф. 4), к этому добавилась проблема доступности службы технической поддержки (инф. 1, 5, 8).

Во вторую волну ситуация меняется: количество технических сбоев уменьшается, помощь техподдержки можно получить как по телефону (инф. 5, 24, 25), так и через систему ботов (инф. 28). Изменения к лучшему подтверждают те, кто болел и пользовался СМ как в первую, так и во вторую волну (инф. 5). Единственный технический недостаток в период второй и третьих волн, на который обратили внимание пользователи - неочевидность окончания мониторинга. Однако переболевшие могли удалить СМ без штрафов после того, как он переставал запрашивать информацию (инф. 10, 24), что было непозволительно в начале пандемии. Таким образом, если в первую волну приложение действовало технически как независимый алгоритм правоприменения, с которым у пользователей не было связи, то в последующем были подключены новые типы бюрократов (техподдержка, Телеграм-бот), помогающие разобраться с алгоритмом и избежать санкций.

Информирование и контроль: различия в дискреции SLB

В начале пандемии не было понятно, какое из ведомств станет основным проводником работы СМ. Первоначальные разъяснения, оформление согласий и постановлений должны были собираться и заполняться врачами районных поликлиник, там же аккумулировались и передавались сведения о заболевших (и нередко контактных) для внесения в СМ. Однако некоторые федеральные ведомства (полиция и Роспотребнадзор) осуществляли самостоятельный контроль за исполнением изоляции через личные визиты и звонки в первую волну (волонтер, инф. 6, 8). К осени 2020 г. между службами была налажена коммуникация и единственными низовыми бюрократами, с которыми сталкивались заболевшие (за редким исключением), остались врачи. При обращении с подозрением на СОУЮ-19 или ОРВИ больного тестировали. Если тест был положительным, а течение болезни легким, индивиду выдавали постановление об изоляции на дому и требовали подписать уведомление о его получении и согласие на обработку персональных данных СМ. Подписанные документы передавались администрации медицинских учреждений и далее загружались в цифровые системы учета.

В интервью один из врачей упомянул, что администрация ожидала, что медики предоставят подписанные документы для СМ от всех, чей статус больного был зарегистрирован. Все респонденты-врачи указывали, что сотрудничество с СМ было для них второстепенной задачей, менее значимой по сравнению с оказанием медицинской помощи. Возможно, именно поэтому не все врачи тратили время на объяснения правил работы СМ. Это подтверждают и опрошенные пользователи СМ. Они указали, что врачи лишь дали им бумаги на подпись, не разъяснив ничего о приложении. О приложении больные зачастую узнавали только из смс, в котором сообщалось о необходимости установить СМ (инф. 4, 17, 28). Впрочем, отдельные специалисты, накопившие ко второй-третьей волне знания об особенностях работы СМ,

делились ими с пациентами. Например, врач, столкнувшись с пациентом, который в силу возраста и слепоты не мог пользоваться СМ, объяснил ему и родственникам, как освободиться от подключения приложения (инф. 2). Несмотря на то, что заболевшие во вторую волну уже знали о возможности отказа от установки СМ в рамках правового поля, они не всегда пользовались этим. На установку работал мягкий инфорсинг со стороны врачей. Кроме того, некоторые заболевшие сначала отказывались от СМ, но меняли свое мнение после того, как начинали получать смс-сообщения о том, что за неустановку им грозит штраф (инф. 12, 26).

Во вторую волну, на фоне значительно большего потока заболевших, наблюдался рост дискреции у низовых исполнителей. Врачи еще не намекают на возможность отказа от СМ (как это они станут делать в третью волну), но могут «не замечать» и не регистрировать отдельных больных. «Врач-инфекционист, который нас оформлял, он был довольно честен с нами... И он прямо говорил, что если не хотите, не надо» (инф. 22). В третью волну отмечались случаи, когда СМ устанавливали кому-то одному из семьи, а остальных не оформляли или даже если получали подпись и согласие, то не требовали установки (инф. 22, 27).

Среди информантов, болевших во вторую волну, три женщины избежали контроля: одну просто не внесли в систему (инф. 11), две другие (инф. 13, 15), имевшие все признаки заболевания, получили отрицательный тест и не были учтены даже как контактные. Неопределенность контроля за контактными гражданами давала врачам еще большие дискреционные возможности. С одной стороны, некоторые заболевшие отмечали, что нередко скрывали от врачей других членов домохозяйств, которые проживали вместе с ними. С другой стороны, контактным, но незаболевшим, врачи в разные периоды пандемии применяли правила СМ не с той же настойчивостью как к заболевшим (имеющим положительный тест). «На следующий день, в воскресенье, мне пришло СМСустановить "Соц-мониторинг". Моей соседке это не пришло, ребенку тоже не пришло, то есть они не устанавливали» (инф. 24).

Еще одним сдвигом мониторинга больных со второй волны стало более внимательное отношение к состоянию здоровья москвичей. Если в начале пандемии заболевшие говорили, что им никто не звонил или они не могли дозвониться в медицинские службы сами, то информанты второй и третьей волны отмечали, что им постоянно звонили из Депздрава, городской службы телемедицины или поликлиники и интересовались самочувствием (инф. 25, 23). Особенно повышенная забота проявлялась к тем, у кого были высокие риски осложнений, например, пневмонии:

Каждый день мне звонят из поликлиники. Утром спрашивают, как я себя чувствую., какая у меня температура, появились ли у меня какие-то новые симптомы, на месте ли мое обоняние. Я каждый раз им говорю, что все хорошо (инф. 23).

Штрафы на основе СМ:

путь SLA от репрессивности к отсутствию санкции

Нормативная рамка СМ предполагала, что зафиксированные данные о нарушении изоляции направляются в уполномоченный орган, который принимает решение о наложении штрафа. При этом процедура наложения штрафа не предусматривала получения объяснений от нарушителя или иных способов проверки о предполагаемом нарушении. Ко второй половине мая 2020 г. в системе СМ было зарегистрировано около 60 тыс. пользователей и выписано около 54 тыс. штрафов, на общую сумму 216 млн руб. Штрафы получили примерно 30 % пользователей (Ведомости 2020; Orlova, Morris 2021: 159-161).

Двое информантов (инф. 1, 6) были оштрафованы во время первой волны. В обоих случаях причиной послужили технические сложности с установкой приложения и несовершенство его работы. Информанты были наслышаны о том, как много было начислено штрафов в первую волну и как сложно было их опротестовывать. Штрафы выносились за любое формальное невыполнение правил, даже в тех ситуациях, когда больной физически не мог этого сделать. Например, его везли на скорой в больницу из-за ухудшения состояния. Назначение штрафов в автоматическом режиме вызвало массовые обращения к уполномоченному по правам человека и другим органам власти, в итоге в июле 2020 г. мэрия вынуждена была отменить большинство выписанных штрафов (Стопкоронавирус.рф 2020).

Во вторую и третью волну автоматическое назначение штрафов на основе данных СМ прекратилось (Специалист ДИТ). Только один из информантов сообщил о назначении штрафа во вторую волну (инф. 14). Санкция была применена по отношению к заболевшей, действительно не соблюдавшей режим самоизоляции и поводом для составления протокола стали не данные СМ, а данные камеры в подъезде. Некоторые опытно знали, что во вторую волну за не вовремя отправленные фотографии или неточные геометки, а то и вовсе неустановку приложения, никаких штрафов к ним применять не будут (инф. 13, 19, 20, 22). Они только получали напоминания и просьбы быть бдительнее. Тем не менее во вторую и последующие волны, пользователи все же ощущали риск санкций. Сам факт установки приложения имел дисциплинирующий эффект, и даже знающие об отсутствии санкций старались соблюдать изоляцию, в том числе и по соображениям заботы о здоровье окружающих. Часть информантов все же выходили в вечернее время на прогулки или в магазины, без телефонов и, боясь наружных камер, изменяли или скрывали свою внешность. Однако зная о том, что за отсутствие реагирования в СМ не будет никаких санкций, все равно продолжали отвечать на уведомления.

Я понимаю, что с одного раза, конечно, штрафа не будет, но раз его не будет, то, может, и от второго не будет и от третьего... Приложение, скорее, не для того, чтобы контролировать и наказывать, не как карательный инструмент, а как инструмент дисциплины (инф. 26).

Таким образом, по нашим данным и по данным СМИ (Стопкоронавирус. рф 2020), штрафы на основе СМ выписывались только во время первой волны. При наличии больших технических сбоев и недоработке самого приложения, отсутствия технической поддержки, досудебного порядка обжалования, приостановки работы судов, сложностях для заболевших соблюсти все процедуры, автоматическое назначение штрафов привело к высокому уровню недовольства алгоритмом. Во вторую и последующие волны СМ не использовался как репрессивный инструмент (штрафы если и накладывались, то по данным камер подъездов, а не по данным СМ), но все увещевания врачей о том, что нужно соблюдать изоляцию, угрожающие предупреждения в смс-сообщениях и в самом приложении имели дисциплинирующее воздействие и трактовались как таковое пользователями.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

Заключение

Основываясь на анализе качественных данных (интервью с заболевшими, как пользователями СМ, так и избежавшими его установки, врачами и представителем ДИТ), мы выделили два варианта стиля: hard-enforcement (жесткое правоприменение) и soft-enforcement (мягкое правоприменение), которые различаем по техническим проблемам в работе приложения и характеру его правоприменения (табл. 1).

Таблица 1

Эмпирическая операционализация правоприменения на основе СМ и технических аспектов работы приложения

Hard-enforcement

(первая волна)

Soffenffoccment (вторая и последующие волны)

Правоприменение

1. Высокая репрессивность: большие штрафы и их неограниченное число.

1. Неочевидная репрессивность: есть предупреждения о штрафах, но свидетельств о массовом штрафовании нет.

2. Автоматизация принятия решений, отсутствие обратной связи и досудебных процедур обжалования.

2. Есть обратная связь, возможность опротестовать спорные случаи, доказать технические сбои.

3. Сопровождение полицейским контролем.

3. Сопровождение заботливыми звонками о самочувствии.

4. Высокая степень инвазивности, жесткие требования к ответам на запросы.

4. Расширен функционал, дающий пользователю больше свободы (тихий час).

5. Сверхконтроль, напоминания приходили даже ночью.

5. Основная задача не покарать, а дать сигнал, что за самоизолированным следят.

Технические особенности

1. Большой объем технических проблем, сбоев.

1. Техническая оптимизация.

2. Нет информации и разъяснения 2. Эффективная техподдержка

как пользоваться и большая информированность

Разделив внедрение СМ на технические и правоприменительные аспекты, мы увидели, что высокая социальная конфликтность в первую волну была связана с сочетанием технического несовершенства приложения и жесткого механизма применения. Начиная со второй волны, благодаря выстраиванию связей между врачами как SLA и операторами службы поддержка как screen-level-бюрократами подобных жалоб поступало меньше. В третью волну они практически исчезли.

Представляя это как два стиля правоприменения SLA мы можем говорить о «жестком» (в первую волну эпидемии) или «мягком» стиле (в последующие волны). В первом случае алгоритм превращался в бюрократа-надсмотрщика с репрессивностью, полной автоматизацией принятия решений, «полицейским» контролем, предоставлением пользователю минимальной свободы, а также с многочисленными техническими сбоями и проблемами. Ситуацию усугубляло отсутствие дискреции SLB, работавших с населением в начале пандемии. Во вторую волну наблюдалось большее количество заболевших, что требовало больших ресурсов для эффективного правоприменения и высокой репутационной цены повторения неудач ранних версий приложения. В результате помимо технической оптимизации, алгоритм стал работать в режиме «подталкивания» пользователей к соблюдению изоляции. Была организована эффективная обратная связь, реализована гибкость использования приложения. Одновременно врачи начали применять низовую дискрецию: если в первую волну избежать мониторинга могли лишь контактные граждане, то со второй волны практикуется дискреция и в отношении заболевших. И создатели СМ «сверху», и низовые бюрократы «снизу» сменили жесткое правоприменение на настойчивые убеждения изолироваться. В результате алгоритм для пользователя стал менее репрессивным.

Эти свойства СМ перекликаются с тем, как реализуется работа бюрократических механизмов в ТГ-компаниях - ненасильственно, кооперативно, через логику «подталкивания» (nudging) к определенным действиям (Zouridis et al. 2020). «Подталкивание» - инструмент, отталкивающийся от идеи всепроникающей природы алгоритма, но при этом слабой возможности обязать индивида исполнять правила. Задача управляющего - подтолкнуть индивида, к совершению определенного действия (Gritsenko, Wood 2022). В случае СМ - к соблюдению изоляции.

К сожалению, мы не можем представить, как работал бы СМ в hard-enforced режиме, если бы был технически оснащен лучше. Во время второй и особенно третьей волны алгоритм работал с меньшими сбоями, но одновременно снизилась и жесткость правоприменения. Поэтому мы не можем согласиться с тем, что изменение стиля работы было связано только лишь с решением технических проблем (на это указывают и приведенные в статье графики). «Социальный мониторинг» как SLA проделал путь от жесткого легалистского стиля работы, свойственного «старой»

бюрократии к мягкому подталкиванию граждан на совершение действий, более привычных «бюрократам-системным администраторам».

Выражение признательности

Исследование проведено под руководством Ольги Шепелевой. Авторы благодарны Нине Любарской, Виктории Чугунковой и Ивану Вторушину за помощь в сборе и первичном анализе данных. Авторы признательны анонимному рецензенту и приглашенным редакторам выпуска за комментарии, позволившие улучшить первоначальный текст.

Редакция благодарит программу «Университетское партнерство» за поддержку и возможность опубликовать данную статью.

Материалы для анализа

Ведомости (2020) Пользователям «Социального мониторинга» выписали штрафов более чем на 200 млн рублей. Доступно по ссылке: https://www.vedomosti.ru/technology/ articles/2020/05/20/830668-sotsialnii-monitorng (дата обращения: 31 марта 2022).

Информационный город ГКУ (2022) Социальный мониторинг. Доступно по ссылке: https://play.google.com/store/apps/details?id=ru.mos.socmon&hl=ru&gl=US&pli=1 (дата обращения: 31 марта 2022).

Карта коронавируса COVID-19 онлайн (2022) Статистика распространения коронави-руса в Москве на сегодня. Доступно по ссылке: https://coronavirus-monitor.info/country/ russia/moskva/ (дата обращения: 31 марта 2022).

Приказ Департамента здравоохранения г. Москвы (2020) Об алгоритме действий врача при поступлении в стационар пациента с подозрением на внебольничную пневмонию предположительно коронавирусной этиологии, № 355 от 6.04. 2020 г.

Распоряжение ДИТ г. Москвы (2020a) № 64-16-236/20 от 29.05.2020

Распоряжение ДИТ г. Москвы (2020 b) Об утверждении Порядка применения технологии электронного мониторинга местоположения гражданина в определенной геолокации с использованием мобильного приложения «Социальный мониторинг», № 64-16-186/20 от 29.04.2020 г.

Сайт мэра Москвы (2020) Ежедневно аннулируется около трех тысяч пропусков, оформленных москвичами с коронавирусом и ОРВИ. Доступно по ссылке: https://www.mos.ru/ news/item/74230073/ (дата обращения: 31 марта 2022).

Стопкоронавирус.рф (2020) Большинство штрафов, оформленных через «Социальный мониторинг» в Москве, отменены. Доступно по ссылке: https://стопкоронавирус.рф/ news/20200715-1515.html (дата обращения: 31 марта 2022).

Стопкоронавирус.рф (2022) Доступно по ссылке: стопкоронавирус.рф (дата обращения: 31 марта 2022).

Указ мэра г. Москвы (2020) О введении режима повышенной готовности № 12-УМ от 5.03.2020 г.

Forbes-Russia (2020) Москвичи обжаловали в судах штрафы за нарушение карантина более чем на 270млн рублей. Доступно по ссылке: https://www.forbes.ru/obshchestvo/412083-moskvichi-obzhalovali-v-sudah-shtrafy-za-narushenie-karantina-bolee-chem-na-270?ysclid=lbjwgrma 8f32169198 (дата обращения: 19 декабря 2022).

Dmitriy Serebrennikov, Ekaterina Khodzhaeva, Olga Shepeleva

'STREET- LEVEL ALGORITHM':

TWO STYLES OF AUTOMATED LAW ENFORCEMENT BY THE SOCIAL MONITOR APPLICATION

During the COVID-19 pandemic, many states actively began to create various apps to surveil citizens. One of the most famous such experiments in Russia was the 'Social Monitoring' (SM) application for monitoring the self-isolation regime for coronavirus patients in Moscow. Immediately after its appearance, the algorithm was heavily criticized, both for its technical quality and for the conceptual idea that the app independently decides whether or not to fine a patient for a violation. This design effectively meant that it became an automated substitute for a street-level bureaucrat enforcing the rules. However, can we say that it, just like humans, can have its own style of law enforcement? In this article, we offer a conceptual description of the application as a socio-technical ensemble of relations performing state executive functions - 'street-level algorithm.' Using qualitative interviews with SM users, street-level bureaucrats, and its creators, we illustrate two styles of SM enforcement inherent in the first and subsequent waves of the pandemic: hard-enforcement and soft-enforcement. Finally, we show that a hard-enforcement style with automatically imposed sanctions, in a bundle with a technically flawed appeal mechanism, is costly not only for users, but also for the authorities (overburdening state agencies and courts) and reduces the level of trust in a pandemic emergency. Soft- enforcement, coupled with spoken care, is a more comfortable control mechanism, especially in a situation of a greater flow of patients.

Keywords: law enforcement, street-level bureaucrat, street-level algorithm, surveillance, pandemic

DOI: 10.17323/727-0634-2023-21-1-7-24

References

Alkhatib A., Bernstein M. (2019) Street-level Algorithms: A Theory at the Gaps between Policy and Decisions. In: S. Brewster, G Fitzpatrick (eds.) CHI Conference on Human Factors in Computing Systems: 1-13.

Dmitriy Serebrennikov - Junior researcher at the Institute for the Rule of Law at European University at Saint Petersburg, Russian Federation. Email: [email protected]

Ekaterina Khodzhaeva - Cand. Sci. (Sociol.), Researcher at the Institute for the Rule of Law at European University at Saint Petersburg, Russian Federation. Email: [email protected]

Olga Shepeleva - Head of Department 'Digital Law,' Center for Advanced Governance, Saint Petersburg, Russian Federation. Email: [email protected]

Bovens M., Zouridis S. (2002) From Street-level to System-level Bureaucracies: How Information and Communication Technology is Transforming Administrative Discretion and Constitutional Control. Public Administration Review, 62 (2): 174-184.

CoUado-BorreU R., Escudero-Vilaplana V., Villanueva-Bueno C., Herranz-Alonso A., Sanjuijo-Saez M. (2020) Features and Functionalities of Smartphone Apps Related to COVID-19: Systematic Search in App Stores and Content Analysis. J Med Internet Res, 22 (8): 1-7.

de Boer N. (2019) Street-level Enforcement Style: A Multidimensional Measurement Instrument. International Journal of Public Administration, 42 (5): 380-391.

de Boer N., Raaphorst N. (2021) Automation and Discretion: Explaining the Effect of Automation on How Street-Level Bureaucrats Enforce. Public Management Review, 1-21.

Grigorieva K. (2022) Nadzor za migrantami, stroiteljami i bol'nymi COVID-19: novye tehnologii na strazhe 'opasnyh klassov' [Surveillance of Migrants, Construction Workers and Patients under COVID-19: New Technologies on Guard of 'Dangerous Classes']. So-ciologicheskoe obozrenie [Russian Sociological Review], 21 (2): 105-130.

Gritsenko D., Wood M. (2022) Algorithmic Governance: A Modes of Governance Approach. Regulation & Governance, 16 (1): 45-62.

Haggerty K. D., Ericson R. V. (2000) The Surveillant Assemblage. British Journal of Sociology, 51 (4): 605-622.

Lipsky M. (2010 [1980]) Street-level Bureaucracy: Dilemmas of the Individual in Public Service. Russell Sage Foundation.

Orlova G., Morris J. (2021) Pandemija v (bez)umnom gorode: cifrovye protezy i affordansy moskovskoj samoizoljacii [The Pandemic in the (Not-so) Smart City: Digital Protheses and Affordances in Moscow Quarantine]. In: E. Lapina-Kratasjuk, O. Zaporozhec, A. Voz'janova (eds.) Seti goroda: Ljudi. Tehnologii. Vlasti [City Networks. People. Technologies. Authorities]: 135-179.

Slobogin C., Brayne S. (2022) Surveillance Technologies and Constitutional Law. Annual Review of Criminology, (6): 14.1-14.22.

Zacka B. (2018) When the State Meets the Street. Harvard university press.

Zouridis S., Eck M., Bovens M. (2020) Automated Discretion. In: T. Evans, P. L. Hupe (eds.) Discretion and the Quest for Controlled Freedom. London: Palgrave Macmillan: 313-329.

i Надоели баннеры? Вы всегда можете отключить рекламу.