CC BY
19
СЕТРА Х.С. СЛАБАЯ ПОПЫТКА ЗАЩИТИТЬ ТЕХНОКРАТИЮ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА : ИССЛЕДОВАНИЕ ПОЛИТИЧЕСКОГО ВРЕДА АЛГОРИТМИЧЕСКОГО УПРАВЛЕНИЯ В ГОСУДАРСТВЕННОЙ СФЕРЕ.
Реф. ст. : S^TRA H.S. A shallow defence of a technocracy of artificial intelligence : Examining the political harms of algorithmic governance in the domain of government // Technology in society. - 2020. - Vol. 62, 101283. - P. 1-10. - DOI: https://doi.org/10.1016/j.techsoc.2020. 101283
Ключевые слова: наука и государство; государственный сектор; искусственный интеллект; демократия; технократия; эписто-кратия; меритократия; алгоритмическое управление; легитимность; участие общества в принятии решений.
Для цитирования: Булавинова М.П. Реф. ст. : Сетра Х.С. Слабая попытка защитить технократию искусственного интеллекта: Исследование политического вреда алгоритмического управления в государственной сфере = Sstra H.S. A shallow defence of a technocracy of artificial intelligence : Examining the political harms of algorithmic governance in the domain of government // Technology in society. - 2020. - Vol. 62, 101283. -P. 1-10 // Социальные и гуманитарные науки. Отечественная и зарубежная литература. Сер. 8: Науковедение. - 2021. - № 1. - С. 46-53.
Автор, сотрудник Эстфолдского университетского колледжа (Норвегия), рассматривает проблемы использования искусственного интеллекта (ИИ) в сфере управления государством, в частности преимущества и недостатки алгоритмического управления (algorithmic governance).
Алгоритмическое управление - явление не новое, и различные виды вреда от использования ИИ в сфере государственного управления были исследованы в деталях. Это понятие тесно связа-
но со множеством других понятий, касающихся государственного регулирования, - конфиденциальностью, надзором, неравенством, прозрачностью процедур, свободой и автономией, а также с понятием «технократия». И для того чтобы разобраться, что такое технократия ИИ, необходимо определить ее основные составляющие.
Технократия - термин, означающий правление экспертов, т.е. экспертов в науке и технике (а не экспертов в политике), обладающих властью. Технократия отличается от других форм правления - эпистократии и меритократии. Эпистократия - это форма правления, при которой правят те, кто обладает особыми познаниями в политике, истории, экономике и т.д., - «правление мудрых». Меритократия часто связана с умственными и когнитивными способностями управленцев, не зависящими от конкретных знаний по тому или иному предмету (от английского слова merit - достоинство, качество, заслуга).
Термин «технократия» имел различные толкования. Дж. Мей-но, например, давал следующее определение: «Система управления, в которой руководят эксперты на основе своих специальных знаний и положения в доминирующих политических и экономических институтах» [цит. по: с. 2]. Таким образом, эксперты становятся технократами и обладают властью, основанной на технических знаниях. Р.Д. Патнэм под термином «технократ» имеет в виду сторонников технократии, а автор реферируемой статьи - технических специалистов у власти.
Автор выделяет несколько аргументов в защиту и против технократии, которые можно условно обозначить как отрицательные и положительные. Отрицательные аргументы в основном заключаются в том, что при демократическом правлении люди неспособны управлять эффективно, а в самой демократической системе имеются большие изъяны. Как правило, люди имеют личные интересы и стараются следовать им, в то время как государственные деятели и администраторы должны работать исключительно на благо общества. Более того, люди могут и не обладать всеми нужными для управления качествами и знаниями. Другие аргументы связаны с рассмотрением демократии как системы, которая, как и все другие системы, страдает недостатками и часто бывает неэффективна, несправедлива и нестабильна. Положительные аргументы в основном сосредоточены на преимуществах
технократического управления: эффективности, рациональности и оптимизации. Они основаны на уверенности в том, что с помощью технократического управления можно достигнуть рациональной оптимизации в политике и что, поскольку большинство проблем являются техническими, их можно решить техническими средствами. Автор подчеркивает, что технократия обычно процветает во времена больших кризисов, поскольку тогда наиболее очевидна потребность в эффективной и оптимальной политике.
Однако важно отметить тот факт, продолжает автор, что, несмотря на то что в технократическом обществе граждане большую часть управления отдают в руки технических специалистов, технократы все же не обладают полной властью, поскольку не могут определять цели общественного развития. Технократы не являются специалистами в области политики и морали, и невозможно свести все ситуации, где важны моральные и политические ценности, к чисто техническим проблемам, которые решаются с помощью математических вычислений и логики. Поэтому, по мнению автора, нужно создать управленческий аппарат, состоящий из двух составляющих - политической, которая определяла бы направление развития общества, его политику и цели, и технократической, которая отвечала бы за эффективное исполнение политических решений.
Автор приводит несколько принципов, на которых основаны аргументы против технократии: 1) привилегированные классы и расы, имеющие специальные знания и образование, могут проявлять определенную предвзятость, что недопустимо; 2) технократический процесс, в отличие от политики участия, не может предоставить легитимность; 3) совещательный процесс может дать лучшие результаты; 4) понятие децентрализации, связанное с понятием рассеянного знания Ф. Хайека: ни один человек или группа людей не могут накопить полную информацию или знание. Знание рассеяно среди людей, и каждый человек обладает частицей знаний.
Прежде чем начать обсуждение технократии ИИ, автор замечает, что политику можно понять как процесс, направленный на реализацию наилучших возможных стратегий. Но какая политика считается лучшей, можно решить только после выяснения того, какие критерии нужно применить. Следовательно: 1) политика
должна оцениваться на основе фундаментальных моральных ценностей общества, и поиск этих ценностей является первоочередной задачей политики; 2) на основе этого должна быть реализована наиболее эффективная политика. Затем автор приводит несколько оснований для использования ИИ в государственной сфере.
1. ИИ превосходит человеческий интеллект во многих аспектах - в решении больших и сложных проблем, требующих стратегического планирования, прогнозирования долгосрочных эффектов и анализа огромного количества данных. Алгоритмическое управление - термин, описывающий использование алгоритмов в упорядочивании человеческих действий в целом и в традиционных политических структурах. ИИ уже широко используется во многих сферах общественной жизни: в управлении движением транспорта, навигации, распознавании речи, переводах на или с иностранного языка, играх, прогнозах погоды и т.д. Государственное управление, экономика и охрана окружающей среды - области, наиболее часто упоминаемые в литературе, посвященной применению ИИ в государственном секторе.
Примеры текущих приложений можно найти в таких областях, как здравоохранение, транспорт, образование, безопасность, связь. Здесь широко применяются различные системы - идентификации рисков, оптимизации, реагирования, анализа и прогнозирования. «Предиктивная полиция» (predictive policing) - еще одна область, в которой ИИ используется для предотвращения преступлений, управления потоками иммиграции или расчета социальных льгот и преимуществ. Большой потенциал имеет применение ИИ в вопросах оптимизации, поскольку большинство проблем политики -это сверхсложные проблемы оптимизации.
2. Автор сравнивает ИИ с волшебным ящиком для принятия решений (magical decision box), который принимает задания и выдает ответы. Волшебный ящик, конечно, во многом отличается от ИИ, тем не менее есть определенные сходства, которые могут прояснить основные проблемы, связанные с возражениями против использования ИИ в политике. Как и волшебный ящик, ИИ представляет собой «черный ящик», работа которого не всегда полностью понятна. Даже если можно выявить принципы, задействованные в создании передовых моделей машинного обучения, результат предсказать невозможно. Теперь есть возможность пе-
редать компьютерам принятие экспертных заключений, и благодаря передовому машинному обучению компьютеры могут принимать более эффективные решения, чем люди.
3. Еще один аргумент в защиту ИИ - его превосходство. ИИ лучше людей умеет быстро находить и применять эффективные стратегии в определенных областях, касающихся науки, техники, и в решении сложных социальных и макроэкономических проблем.
Очевидные возражения против технократического управления в основном базируются на политическом вреде такого управления: 1) люди - политические животные, и им просто необходимо участие в политике; 2) легитимность тесно связана с основами демократии; 3) ИИ не может обладать моральными качествами; 4) проблема прозрачности, связанная с ИИ; 5) принятие решений, основанных на использовании ИИ, порождает проблему определения ответственности.
1. Первый аргумент связан с тем, что, по выражению Аристотеля, «люди - это политические животные» (с. 5). Людям просто необходимо полное участие в политической жизни, чтобы удовлетворить свою потребность как общественного существа. По мнению Ф. А. Хайека, участие в политической жизни для «хороших обществ» не так важно, как экономическая свобода. Следуя этому аргументу, он заявляет, что демократия не обязательно является лучшим способом правления и что «демократия вполне может обладать тоталитарной властью, и вполне возможно, что авторитарное правительство может действовать, основываясь на либеральных принципах» (цит. по: с. 5).
2. Второй аргумент заключается в том, что для того чтобы политические системы были легитимными, необходимо участие общественности в политике и широкое обсуждение различных вопросов. Даже если бы лучшие решения принимал диктатор, они не были бы легитимными, если бы у граждан не было политической власти. Здесь важно различать законную власть и эффективную власть. Таким образом, ИИ может быть чрезвычайно эффективным, но все же не иметь легитимности. Возражение против технократии заключается в том, что легитимность теряется, когда граждане лишены важнейших политических прав и им отказано в участии в принятии решений.
Граждане не будут считать правительство, в котором они не участвуют, законным. По мнению автора, технократия ИИ делает их более равными, чем они были бы в любой демократии - одинаково свободными участвовать в моральных дебатах, связанных с выбором направления, по которому должно развиваться общество, а также одинаково лишенными участия в формировании политики.
Даже в сегодняшних демократических обществах участие в политике ограничено, несмотря на то что теоретический шанс для этого есть у всех. Размер и сложность современных обществ привели к непомерному разрастанию бюрократии, правления экспертов и к косвенной демократии, поэтому, отмечает автор, переход к ИИ-технократии, возможно, не так уж радикален, как может показаться на первый взгляд. Одно очевидное потенциальное преимущество цифровизации и увеличения способности общаться с помощью цифровых инструментов - это возможность напрямую вовлекать в политические процессы гораздо большее число граждан.
3. Третий аргумент против использования ИИ в политике -проблемы морали и нравственных ценностей. Моральных машин не существует, машины не могут быть моральными агентами, они не могут действовать в соответствии со своими нравственными убеждениями. Возражение заключается в том, что компьютеры не должны принимать решения, которые отрицательно влияют на жизнь и благосостояние людей. Основной вопрос здесь - возможно ли создать машину, обладающую моральными ценностями? Некоторые специалисты верят, что это возможно. Например, на это направлен проект Moral Machine, который вызвал огромный интерес в мире. Это попытка собрать воедино моральные принципы людей разных национальностей, чтобы научить компьютер отличать хорошее от плохого и определять этические принципы для управления машинным поведением.
По мнению автора статьи, контраргумент заключается в том, что если машины не могут быть моральными, они не могут быть и неморальными. Например, если власть может быть коррумпирована, то машине это несвойственно.
4. Прозрачность принимаемых решений - еще один важный вопрос, связанный с аргументом против использования ИИ в политическом управлении. Люди должны осуществлять контроль над решениями, принимаемыми машиной. Однако если невозмож-
но понять, какие основания лежат за тем или иным решением, нельзя добиться прозрачности и контроля. Непрозрачность - основной аргумент против ИИ.
Дело в том, что полным пониманием того, как работают сложные алгоритмы, обладают только немногие специалисты в области информационных наук. Однако, отмечает автор, и простые граждане мало понимают то, как работают нынешние системы управления.
5. В связи с проблемой прозрачности возникает и следующая проблема - ответственности. Если решение принимает компьютер, кто будет за него отвечать? До тех пор пока роботы не получат права и обязанности, кто-то другой должен будет отвечать за принимаемые ими решения, например авторы программ или владельцы роботов. Этот круг проблем носит название «пробел в плане ответственности» (accountability gap). Эти вопросы оказываются всё более актуальными, поскольку технологии становятся всё более продвинутыми. Усложнение создает ситуацию, когда создатель машины не может предугадать и прогнозировать все возможные варианты ее работы.
Таким образом, пятый аргумент - ответственность за последствия политических решений - должен быть четко прописан, но когда решения принимает система ИИ, такой ясности нет. Различные эксперты предлагают разные решения этой проблемы -например, ответственность должны нести производители машин или можно создать совет, состоящий из разных представителей -людей, которые будут осуществлять контроль за ИИ.
Таким образом, автор рассмотрел все «за» и «против» использования ИИ в управлении государством. Он называет следующие «положительные» аргументы.
1. Политика должна оцениваться на основе фундаментальных моральных принципов и ценностей общества, и установление этих ценностей является первой целью политики.
2. Должна быть реализована наиболее эффективная политика в соответствии с оценкой, описанной в первой предпосылке.
3. ИИ лучше человека в обнаружении и принятии наиболее эффективной политики в областях, касающихся науки и техники, и в решении сложных социальных и макроэкономических проблем.
К «отрицательным» автор относит следующие аргументы.
1. Гражданам крайне необходимо полное участие в политической жизни.
2. Граждане не будут считать правительство, в котором они не участвуют, законным.
3. Компьютеры не должны принимать решения, влияющие на жизнь и благополучие людей.
4. ИИ непрозрачен и, следовательно, не полностью поддается контролю человека.
5. Ответственность за последствия политических решений должна быть четко прописана, что является сложной проблемой в случае ИИ.
В заключение автор отмечает, что технократия ИИ, способная преодолеть эти возражения, должна доказать, что люди сохранят власть в определении основных целей политики - фундаментальных ценностей и представлений о том, что такое хорошее общество. Если граждане сумеют сберечь эту роль и убеждение в том, что процесс является демократическим, параметры участия и легитимности будут сохранены. Кроме того, по мнению автора, отсутствие моральных ценностей у машин не является проблемой, если ответственность будет возложена на каких-либо агентов, соприкасающихся с системами ИИ.
Необходимо, по мнению автора, серьезное обсуждение описанных проблем, поскольку, во-первых, ИИ уже используется во многих сферах государственного сектора, а во-вторых, применение ИИ в управлении государством может возродить демократию, значительно увеличить участие общества в политике и обеспечить более эффективные результаты.
М.П. Булавинова1
1 Булавинова М.П., 2021.
Булавинова Марина Петровна - научный сотрудник Центра научно-информационных исследований по науке, образованию и технологиям ИНИОН РАН.
